Zum Inhalt springen
  • BTC $62.654 −2,0%
  • ETH $1.750 −2,1%
  • SOL $72,97 +0,5%
  • BNB $579,79 −1,2%
  • XRP $0,9720 +1,2%
  • DOGE $0,0583 −0,4%
  • ADA $0,1508 −0,9%

Kanadas Untersuchung im Gesundheitswesen vertieft sich, da Fehler im Deloitte-Bericht neue Bedenken hinsichtlich KI in der Politikarbeit aufwerfen

Fehler im Deloitte-Bericht werfen Fragen zu KI-generierten Zitaten in einer kostspieligen kanadischen Gesundheitsüberprüfung auf und deuten auf Lücken in der Governance hin.

Dieser Artikel wurde mit Systemen der künstlichen Intelligenz erstellt und unter der redaktionellen Verantwortung von Amelia Tomasicchio veröffentlicht. So arbeiten wir

deloitte report errors
Deloitte report errors spark AI citation concerns in Canada

Die zunehmende Überprüfung von Forschungsergebnissen zur öffentlichen Politik intensiviert sich, nachdem Fehler im Deloitte-Bericht in einer vielbeachteten kanadischen Gesundheitsüberprüfung aufgedeckt wurden.

Wie traten KI-verbundene Probleme in der Gesundheitsüberprüfung von Neufundland und Labrador zutage?

Eine von der kanadischen Regierung in Auftrag gegebene Gesundheitsanalyse von Deloitte, die fast 1,6 Millionen Dollar kostet, enthält laut einer Untersuchung von The Independent offenbar KI-generierte Ungenauigkeiten. Das 526-seitige Dokument, das im Mai von der Regierung von Neufundland und Labrador veröffentlicht wurde, stellt einen der teuersten jüngsten Beratungsverträge im Gesundheitssektor der Provinz dar.

Der Bericht wurde für das damals liberal geführte Ministerium für Gesundheit und Gemeindedienste erstellt. Er untersuchte virtuelle Pflege, Anreize zur Mitarbeiterbindung und die Auswirkungen der COVID-19-Pandemie auf Gesundheitsarbeiter, zu einer Zeit, in der Neufundland und Labrador mit ernsthaften Engpässen bei Krankenschwestern und Ärzten konfrontiert sind. Allerdings hat die anschließende Medienüberprüfung Fragen zur Zuverlässigkeit der Beweise aufgeworfen, die diesen Empfehlungen zugrunde liegen.

The Independent, ein progressives Medium, das sich auf die östlichste Provinz Kanadas konzentriert, entdeckte mehrere potenzielle Ungenauigkeiten und Anomalien. Darüber hinaus legt seine Untersuchung nahe, dass einige der zugrunde liegenden Forschungszitate möglicherweise mit Hilfe von künstlichen Intelligenz-Werkzeugen erstellt oder verzerrt wurden, obwohl die Hauptgeschichte nicht maschinell verfasst wurde.

Welche Arten von Fehlern in kanadischen Gesundheitsberichten haben Ermittler aufgedeckt?

Laut The Independent enthielt der Deloitte-Bericht falsche akademische Zitationen, die auf erfundene wissenschaftliche Arbeiten verwiesen. Diese fiktiven Quellen wurden verwendet, um Kosten-Nutzen-Analysen zu unterstützen, ein entscheidender Bestandteil bei der Gestaltung von Gesundheitsausgabenentscheidungen. Der Bericht schrieb auch echten Forschern Studien zu, an denen sie nie gearbeitet hatten, wodurch der Anschein robuster Beweise entstand, wo keine existierten.

Einige Zitate gingen weiter und beschrieben Arbeiten, die angeblich von Forschern mitverfasst wurden, die sagten, sie hätten nie zusammengearbeitet. Dennoch behauptete die Überprüfung nicht, dass jede Referenz fehlerhaft sei. Stattdessen konzentriert sich die Besorgnis auf ein Muster von Zitationsproblemen, das das Vertrauen in die Schlussfolgerungen des Berichts über Personalplanung, virtuelle Pflege und Systemreform untergraben könnte.

Der Bericht zitierte auch einen Artikel, der angeblich im Canadian Journal of Respiratory Therapy veröffentlicht wurde. Allerdings konnten die Ermittler das Papier in der Datenbank des Journals nicht finden, was die Befürchtungen verstärkt, dass generative Werkzeuge möglicherweise plausibel klingende, aber nicht existierende Quellen erfunden haben könnten.

Wie hat Deloitte auf die Vorwürfe von KI-generierten Zitaten reagiert?

In einer Stellungnahme gegenüber Fortune verteidigte ein Sprecher von Deloitte Kanada den Inhalt der Arbeit. „Deloitte Kanada steht fest hinter den in unserem Bericht vorgelegten Empfehlungen“, sagte der Sprecher. „Wir überarbeiten den Bericht, um eine kleine Anzahl von Zitationskorrekturen vorzunehmen, die die Ergebnisse des Berichts nicht beeinflussen.“

Der Sprecher fügte hinzu, dass künstliche Intelligenz den schriftlichen Bericht nicht selbst erstellt habe. Stattdessen, so sagten sie, wurde KI „selektiv verwendet, um eine kleine Anzahl von Forschungszitaten zu unterstützen.“ Angesichts des Umfangs der Gesundheitsstudie und der finanziellen Interessen argumentieren Kritiker jedoch, dass selbst eine begrenzte Abhängigkeit von maschinell generierten Referenzen eine viel strengere Überprüfung und Transparenz erfordert.

Darüber hinaus hat die Haltung des Unternehmens, dass die Korrekturen der Zitate die Schlussfolgerungen des Berichts nicht beeinflussen, für Aufmerksamkeit gesorgt. Einige Akademiker und politische Entscheidungsträger hinterfragen, wie gefälschte oder falsch zugeordnete Forschung korrigiert werden kann, ohne dass nachgelagerte Modelle zur Kostenwirksamkeit oder Prognosen zur Belegschaft neu bewertet werden.

Was sagen betroffene Forscher über den Faktenprüfungsprozess der Beratungsfirma?

Gail Tomblin Murphy, eine außerordentliche Professorin an der School of Nursing der Dalhousie University in Nova Scotia, gehörte zu den falsch zitierten Personen. Sie sagte gegenüber The Independent, dass Deloitte sie in einem akademischen Papier erwähnt habe, das „nicht existiert.“ Sie bemerkte, dass sie nur mit drei der sechs anderen Autoren, die in der falschen Zitierung genannt wurden, jemals zusammengearbeitet habe, nicht mit der gesamten beschriebenen Gruppe.

„Es klingt, als ob bei der Erstellung solcher Dinge möglicherweise stark auf KI zurückgegriffen wird,“ sagte Tomblin Murphy. Ihre Kommentare unterstreichen die wachsende Besorgnis in der akademischen Gemeinschaft darüber, wie generative Werkzeuge überzeugende, aber ungenaue Bibliografien erstellen können, insbesondere wenn Berater nicht jede Referenz sorgfältig überprüfen.

Sie warnte außerdem, dass Berichte, die die öffentliche Politik leiten, durch validierte, qualitativ hochwertige Beweise gestützt werden müssen. Darüber hinaus betonte Tomblin Murphy, dass Regierungen und die Öffentlichkeit erhebliche Summen für solche Arbeiten zahlen, daher müssen sie „genau, evidenzbasiert und hilfreich sein, um Dinge voranzubringen.“ Ihre Kritik hebt einen wahrgenommenen Mangel an Sorgfaltspflicht hervor, anstatt einen einzelnen technischen Fehler.

Wie viel kostete der von der Regierung in Auftrag gegebene Bericht, und was sind die politischen Konsequenzen?

Laut einem Informationszugangsantrag, der letzten Mittwoch in einem Blogpost veröffentlicht wurde, zahlte die kanadische Regierung knapp 1,6 Millionen Dollar für die Deloitte-Studie, die in acht Raten ausgegeben wurde. Bis Montag war der Bericht weiterhin auf der Website der Regierung von Neufundland und Labrador verfügbar, trotz der aufkommenden Kontroversen über seine Referenzen und Methodik.

Die politische Führung in der Provinz hat sich seit der Vorlage des Berichts geändert. Tony Wakeham, der Vorsitzende der Progressive Conservative Party in Neufundland und Labrador, wurde Ende Oktober als neuer Premier der Provinz vereidigt. Weder das Büro des Premiers noch das Gesundheits- und Gemeindedienstministerium haben jedoch umgehend auf die Fragen von Fortune zum Bericht vom Mai geantwortet, und sie haben die Bedenken bisher nicht öffentlich angesprochen.

Dieses Schweigen lässt Fragen offen, ob die Empfehlungen des Berichts weiterhin die Gesundheitspolitik leiten werden. Es wirft auch die Möglichkeit auf, dass provinzielle Gesetzgeber oder föderale Aufsichtsbehörden genauer prüfen, wie die Forschung von Beratungsfirmen überprüft wird, bevor sie die zentralen öffentlichen Dienstleistungen beeinflusst.

Wie vergleichen sich diese Fehler im Deloitte-Bericht mit dem australischen Sozialfall?

Die kanadischen Enthüllungen folgen ähnlichen Problemen in Australien. Im Juli erstellte Deloitte einen Bericht im Wert von 290.000 USD, um der australischen Regierung zu helfen, die Einhaltung der Sozialhilfevorschriften zu verschärfen. Die 237-seitige Studie stützte sich ebenfalls auf generative Technologie und enthielt später „Halluzinationen„, darunter Verweise auf nicht existierende akademische Forschung und ein erfundenes Zitat aus einem Urteil eines Bundesgerichts.

Nachdem ein Forscher die Probleme aufgezeigt hatte, veröffentlichte Deloitte eine überarbeitete Version der australischen Studie. Der aktualisierte Bericht, der letzten Monat stillschweigend auf der Regierungswebsite hochgeladen wurde, räumte ein, dass das Unternehmen das generative Sprachsystem Azure OpenAI verwendet hatte, um das ursprüngliche Dokument zu erstellen. Dieses Eingeständnis erfolgte erst, nachdem externe Überprüfungen die fehlerhaften Zitate aufgedeckt hatten.

Im aktualisierten australischen Bericht schrieb Deloitte, dass „die vorgenommenen Aktualisierungen in keiner Weise den wesentlichen Inhalt, die Ergebnisse und Empfehlungen im Bericht beeinflussen oder beeinträchtigen.“ Kritiker argumentierten jedoch, dass erfundene Quellen grundsätzlich Zweifel an der Integrität von evidenzbasierten Empfehlungen aufkommen lassen, nicht nur an kosmetischen Details. Darüber hinaus hat diese zweite Episode die Debatte über deloitte ai hallucinations und die Robustheit der internen Faktenprüfung des Unternehmens intensiviert.

Welche finanziellen Konsequenzen hat Deloitte erfahren, und was bleibt für Kanada ungelöst?

Im Rahmen des australischen Falls musste die lokale Mitgliedsfirma von Deloitte der Bundesregierung eine teilweise Rückerstattung für den fehlerhaften Sozialbericht leisten. Diese finanzielle Strafe deutete darauf hin, dass die Beamten die KI-bezogenen Ungenauigkeiten als ernst genug betrachteten, um eine Entschädigung zu rechtfertigen.

Im Gegensatz dazu wurden noch keine Informationen über eine mögliche Rückerstattung oder vertragliche Abhilfe im Zusammenhang mit dem kanadischen Gesundheitsbericht veröffentlicht. Dennoch könnte der Druck steigen, da politische Entscheidungsträger, Gesundheitsarbeiter und Steuerzahler fragen, ob sie den vollen Wert für eine Studie erhalten haben, die nun nach der Veröffentlichung Korrekturen an ihrer Beweisgrundlage benötigt.

Im weiteren Sinne heben beide Episoden die zunehmenden Risiken hervor, wenn Regierungen auf große Beratungsunternehmen setzen, die generative Technologien ohne strenge Schutzmaßnahmen nutzen. Sie deuten auch darauf hin, dass öffentliche Institutionen stärkere Standards zur Überprüfung von Quellen benötigen, insbesondere in langen, komplexen Politikberichten, die kritische Dienstleistungen über Jahre hinweg prägen können.

Zusammenfassend unterstreicht die sich entfaltende Prüfung von Deloittes kanadischer Gesundheitsüberprüfung und der australischen Wohlfahrtsstudie die dringende Notwendigkeit für verlässliche Beweise, transparente Methodik und robuste Aufsicht, wann immer KI-unterstützte Forschung öffentliche politische Entscheidungen informiert.

Satoshi Voice

Dieser Artikel wurde mit Hilfe von künstlicher Intelligenz erstellt und von unserem Journalistenteam überprüft, um Genauigkeit und Qualität zu gewährleisten.

Alle Artikel von Satoshi Voice