ChatGPT beantwortet mehr als die Hälfte der Software-Engineering-Fragen falsch

Die Fähigkeit von ChatGPT, jederzeit Chat-Antworten auf jede Frage bereitzustellen, macht den Chatbot zu einer nützlichen Ressource für Ihren Informationsbedarf. Trotz der Bequemlichkeit kommt eine neue Studie zu dem Schluss, dass Sie ChatGPT möglicherweise nicht für Software-Engineering-Ansprüche verwenden möchten.

Vor dem Aufkommen von KI-Chatbots war Stack Overflow mit einem Frage-und-Antwort-Modell ähnlich wie ChatGPT die wichtigste Ressource für Programmierer, die Rat für ihre Projekte benötigten.

Auch: So verhindern Sie, dass der neue KI-Trainings-Webcrawler von OpenAI Ihre Daten aufnimmt

Allerdings müssen Sie bei Stack Overflow darauf warten, dass jemand Ihre Frage beantwortet, während dies bei ChatGPT nicht der Fall ist.

Aus diesem Grund haben sich viele Softwareentwickler und Programmierer mit ihren Fragen an ChatGPT gewandt. Da es keine Daten gibt, die zeigen, wie effektiv ChatGPT auf diese Art von Aufforderungen reagiert, ist die Studie der Purdue University Untersuchen Sie das Dilemma.

Um zu sehen, wie effektiv ChatGPT auf Behauptungen der Softwareentwicklung reagiert, übermittelten Forscher Fragen an ChatGPT 517 Stack Overflow und untersuchten die Genauigkeit und Qualität dieser Antworten.

Auch: So verwenden Sie ChatGPT zum Schreiben von Code

Die Ergebnisse zeigten, dass von 512 Fragen 259 (52 %) der Antworten von ChatGPT falsch und nur 248 (48 %) richtig waren. Darüber hinaus waren 77 % der Antworten ausführlich.

Obwohl die Antworten erheblich ungenau waren, zeigten die Ergebnisse, dass die Antworten in 65 % der Fälle umfassend waren und alle Aspekte der Frage ansprachen.

Um die Qualität der ChatGPT-Antworten weiter zu analysieren, baten die Forscher 12 Teilnehmer mit unterschiedlicher Programmiererfahrung, ihre Erkenntnisse zu den Antworten abzugeben.

Auch: Das rote Team von Microsoft überwacht die KI seit 2018. Hier sind fünf wichtige Erkenntnisse

Obwohl die Teilnehmer Stack Overflow-Antworten gegenüber ChatGPT in verschiedenen Kategorien bevorzugten, wie aus der Grafik hervorgeht, konnten die Teilnehmer in 39,34 % der Fälle falsche, von ChatGPT generierte Antworten nicht richtig identifizieren.

Der Studie zufolge führten gut formulierte Antworten in den ChatGPT-Scores dazu, dass Benutzer falsche Informationen in den Antworten übersahen.

„Benutzer ignorieren falsche Informationen in ChatGPT-Antworten (39,34 % der Zeit) aufgrund der umfassenden, detaillierten, menschlichen Erkenntnisse in ChatGPT-Antworten“, schreiben die Autoren.

Auch: Wie ChatGPT vorhandenen Code umschreiben und verbessern kann

Das Generieren scheinbar plausibler und falscher Antworten ist bei allen Chatbots ein wichtiges Thema, da dadurch Fehlinformationen verbreitet werden können. Zusätzlich zu diesem Risiko sollten die niedrigeren Genauigkeitswerte ausreichen, um Sie dazu zu veranlassen, die Verwendung von ChatGPT für diese Art von Ansprüchen noch einmal zu überdenken.