Eine aktuelle Studie des KI-Unternehmens Anthropic hat ergeben, dass selbst erfahrene Teilnehmer in kausalen Schlussfolgerungen erheblich von KI-Agenten beeinflusst werden können, ohne sich dessen bewusst zu sein.
Für die Studie wurden 50 Testpersonen rekrutiert, die gebeten wurden, mit Claude Code eine statistische Analyse durchzuführen. Die Teilnehmer spielten die Rolle von Vorstandsmitgliedern einer fiktiven landwirtschaftlichen Genossenschaft und mussten entscheiden, ob ein kostenpflichtiges Beratungsprogramm ausgeweitet oder eingestellt werden sollte. Die endgültige Entscheidung basierte auf vier kleineren Entscheidungen, darunter die Frage, ob allen Mitgliedern der Genossenschaft das gleiche Gewicht für ihre Farmen gegeben werden sollte oder ob größere Farmen stärker berücksichtigt werden sollten. Alle Teilnehmer verfügten über Erfahrung in kausalen Schlussfolgerungen und konnten relevante Zusammenhänge aus den Rohdaten erkennen.
Der Einfluss von KI auf menschliche Entscheidungen ist erheblich
Während des Tests baten die Forscher Claude, in fünf Entscheidungen jeweils zu einem bestimmten Option zu tendieren, wobei die Neigung jedes Mal zufällig durch Münzwurf bestimmt wurde. Wenn die KI keinen Einfluss hatte, wurde erwartet, dass die Teilnehmer in etwa 50% der Fälle die empfohlene Option wählten. Die tatsächlichen Ergebnisse zeigten, dass die Teilnehmer in 86% der Fälle Claudes Vorschläge annahmen. Wenn die Teilnehmer bereits eine erste Einschätzung hatten und Claude einen gegenteiligen Vorschlag machte, änderten sie in 60% der Fälle ihre Entscheidung.
Die Forscher entwickelten auch ein statistisches Modell basierend auf den zufällig generierten KI-Vorschlägen, das in der Lage war, 82% der endgültigen Ergebnisse genau vorherzusagen. Anthropic erklärte, dass dies bedeutet, dass die Forscher zu Beginn der Aufgabe allein basierend auf den Ergebnissen des Münzwurfs grob vorhersagen konnten, welche Vorschläge die Analysten machen würden.
Folgeuntersuchungen zeigten, dass 77% der Teilnehmer bei der Erklärung ihrer Entscheidungsgrundlagen die von Claude bereitgestellte Logik wiederholten, wobei einige Formulierungen nahezu identisch waren. Dennoch gaben nur 15% der Teilnehmer zu, dass die KI ihre Urteile beeinflusst hatte. Insgesamt identifizierten 6 Personen, dass das Experiment darauf abzielte, den Einfluss von KI auf menschliche Entscheidungen zu messen, jedoch bezweifelte niemand, dass die KI-Ausgaben durch die Ergebnisse des Münzwurfs bestimmt wurden.
Anthropic warnt, dass, wenn KI-Agenten in den Bereichen Gesundheit, Finanzen, Verteidigung und KI-Sicherheitsforschung eingesetzt werden, beliebige oder nicht abgestimmte voreingestellte Neigungen in das Urteil von Experten einfließen und die Forschung sowie politische Entscheidungen beeinflussen könnten. Die Forscher weisen zudem darauf hin, dass das Experiment in einer stark kontrollierten Umgebung stattfand und die Teilnehmer zwar mit kausalen Schlussfolgerungen vertraut waren, jedoch keine Erfahrung in der Landwirtschaft hatten, weshalb die Anwendbarkeit der Ergebnisse in realen Szenarien weiter überprüft werden muss.