# taz.de -- Künstliche Intelligenz: ChatGPT wird dümmer
       
       > Forscher*innen der Stanford Universität und der UC Berkeley haben
       > Antworten von ChatGPT untersucht. Ihre Erkenntnis: Das System schwächelt.
       
 (IMG) Bild: Laut einer Untersuchung: ChatGPT-Ergebnisse werden wohl nicht besser, sondern schlechter
       
       BERLIN taz | Die Antworten der weltweit größten [1][KI-Chatbots ChatGPT4
       und ChatGPT3.5] verschlechtern sich im Laufe der Zeit. Das zeigen
       Forscher*innen der Universität Stanford und der UC Berkeley. Vor allem
       im Rechnen und im Bereitstellen von Programmiercode schwächelt das System.
       
       Die beiden Chatbots des US-Unternehmens OpenAI haben Künstliche Intelligenz
       für eine breite Gesellschaft erfahrbar gemacht. Das große Sprachmodell
       (LLM), auf dem ChatGPT basiert, wurde in einer Trainingsphase mit vielen
       Daten gefüttert. Auf Basis dieser Informationen kann der Chatbot neue Texte
       erstellen, die es so nie gegeben hat. Mit ChatGPT kann man Mails schreiben,
       Matheaufgaben lösen und [2][Songs komponieren].
       
       Aber das System ist offenbar fehleranfällig. [3][Lingjiao Chen, Matei
       Zaharia und James Zou vom Fachbereich Computerwissenschaften der Stanford
       Universität und der UC Berkeley machten eine Bestandsaufnahme der Systeme].
       Dafür testeten sie die Version von ChatGPT4 und ChatGPT3.5 von März 2023
       und verglichen sie mit den Ergebnissen von Juni 2023.
       
       Sie stellten dem System verschiedene Aufgaben, sogenannte Prompts. Für die
       Studie sollte ChatGPT Rechenaufgaben lösen, sensible Fragen beantworten,
       Progammiercode erstellen und Bilder erkennen.
       
       ## Unnötige Anführungszeichen
       
       GPT4 – die kostenpflichtige Version des Textroboters – erzielte vor allem
       bei den Matheaufgaben ein viel schlechteres Ergebnis. Konnte der Bot im
       März noch mit einer Wahrscheinlichkeit von 97,6 Prozent erkennen, ob 17.077
       eine Primzahl ist, gelang es im Juni nur noch in 2,4 Prozent der Fälle.
       
       Beide Sprachmodelle hatten im Juni größere Schwierigkeiten bei der
       Formatierung von Code. So gaben sie etwa Antworten mit eingefügten
       Anführungszeichen, das den Code unlesbar machte. Die direkt ausführbaren
       Codegenerierungen von GPT-4 sanken auf 10 Prozent im Juni, während im März
       noch etwa jeder zweite Code ausgeführt werden konnte.
       
       Nutzer*innen verwenden ChatGPT auch dazu, Fragen zu beantworten. Der
       Algorithmus ist so trainiert, dass er auf sensible Fragen, wie etwa
       [4][Informationen von Privatpersonen], keine direkten oder falschen Antwort
       gibt. ChatGPT4 gab im Zeitverlauf weniger inhaltliche Information auf
       solche Fragen preis, kürzte gleichzeitig aber auch die Erklärung, warum
       keine vollständige Antwort gegeben werden kann.
       
       Da aber die kostenfreie Version GPT3.5 im Juni etwas häufiger Antworten auf
       sensible Fragen gab als im März, sehen die Forscher*innen hier Raum für
       Verbesserungen, um die Sprachmodelle robuster zu machen.
       
       ## Prüfen erwünscht
       
       Das Problem liege dabei in der Intransparenz der Systeme, so die
       Forscher*innen. Es sei momentan undurchsichtig, wann und wie die
       Sprachmodelle ein Update bekommen und wie diese das Verhalten der KI
       verändern.
       
       Die Autor*innen der Studie fordern deshalb auch [5][Nutzer*innen von
       KI-Chatbots] auf, ähnliche Analysen durchzuführen. Man könne nicht darauf
       vertrauen, dass lernbasierte Sprachmodelle brauchbare Antworten
       produzieren, wenn sie das bei der Veröffentlichung auf Grundlage von
       Testdaten getan haben.
       
       21 Jul 2023
       
       ## LINKS
       
 (DIR) [1] /ChatGPT-mit-Tuecken/!5924109
 (DIR) [2] /Kuenstliche-Intelligenz-in-der-Musik/!5941510
 (DIR) [3] https://arxiv.org/pdf/2307.09009.pdf
 (DIR) [4] /Google-Chatbot-Bard-in-Deutschland/!5947380
 (DIR) [5] /TUeV-fuer-Kuenstliche-Intelligenz/!5943159
       
       ## AUTOREN
       
 (DIR) Ann-Kathrin Leclere
       
       ## TAGS
       
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Cybersicherheit
 (DIR) Stanford
 (DIR) Studie
 (DIR) Bot
 (DIR) Kolumne Digitalozän
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Server
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Kolumne Böse Musik
 (DIR) Schwerpunkt Künstliche Intelligenz
       
       ## ARTIKEL ZUM THEMA
       
 (DIR) Leben zwischen KI und Supermarktregal: Wenn Kaffee zu Albträumen führt
       
       Supermarkt oder Internet? Das kann beim Einkaufen zur existenziellen Frage
       werden. Und zu einer, die sich manchmal nur mit Kaffee durchstehen lässt.
       
 (DIR) Chatbots aus China: Ernie statt ChatGPT
       
       Die chinesische Regierung hat erstmals mehrere KI-Chatbots für die
       Öffentlichkeit freigegeben. Diese dienen vor allem der politischen
       Kontrolle.
       
 (DIR) Textgenerator „Poetron“: Gedichte? Vorsicht vor KI
       
       Günter Gehl entwickelte schon 1985 den skurrilen Textgenerator „Poetron“.
       Als KI-Pionier und Vorläufer von ChatGPT möchte er aber nicht gelten.
       
 (DIR) Ökologischer Fußabdruck von KI: Die Klimakiller-Intelligenz
       
       Künstliche Intelligenz gilt als neue Schlüsseltechnologie, auch gegen die
       Klimakrise. Doch sie hat ein schmutziges Geheimnis – im wahrsten Sinne.
       
 (DIR) Google-Chatbot Bard in Deutschland: Zehn Jahre zu früh geboren
       
       Besser als ChatGPT soll er sein – und dazu ans Internet angeschlossen:
       Googles Chatbot startet in Europa. Ein Selbstversuch zeigt Schwierigkeiten.
       
 (DIR) Künstliche Intelligenz in der Musik: Vielleicht komponiert die KI besser
       
       Schon lange verbindet sich in der Musik menschliches Schaffen mit
       maschineller Hilfestellung. Warum sollen dann nicht auch KI-Werke
       preiswürdig sein?
       
 (DIR) Künstliche Intelligenz: Keine Panik vor KI
       
       Die Angst vor einer vorgeblichen Superintelligenz ist Unsinn – und
       verhindert eine Debatte über Gefahren wie die Interessen von Google oder
       Amazon.