Die Auswirkungen von KI auf die Codequalität: Eine Analyse von GitHub Copilot
Im Juni 2021 kündigte GitHub Copilot an, eine Art Autovervollständigung [...]

Im Juni 2021 kündigte GitHub Copilot an, eine Art Autovervollständigung für Computercode, die von OpenAIs Textgenerierungstechnologie angetrieben wird. Dies bot einen frühen Einblick in das beeindruckende Potenzial der generativen künstlichen Intelligenz, wertvolle Arbeit zu automatisieren. Zwei Jahre später ist Copilot eines der ausgereiftesten Beispiele dafür, wie die Technologie Aufgaben übernehmen kann, die zuvor manuell erledigt werden mussten.
Diese Woche veröffentlichte GitHub einen Bericht, der auf Daten von fast einer Million Programmierern basiert, die Copilot nutzen. Der Bericht zeigt, wie transformativ die generative KI-Codierung geworden ist. Im Durchschnitt akzeptierten die Nutzer die Vorschläge des KI-Assistenten etwa 30 Prozent der Zeit, was darauf hindeutet, dass das System bemerkenswert gut darin ist, nützlichen Code vorherzusagen.
Das Diagramm von GitHub, das zeigt, wie Programmierer mit Copilot interagieren, erinnert an eine andere Studie. Ein Team der Stanford University veröffentlichte Ende letzten Jahres ein Forschungspapier, das untersuchte, wie die Verwendung eines von ihnen entwickelten KI-Assistenten die Qualität des von Menschen produzierten Codes beeinflusst. Die Forscher fanden heraus, dass Programmierer, die KI-Vorschläge erhielten, dazu neigten, mehr Fehler in ihren endgültigen Code einzubauen.
Angesichts der Natur der Programmierung ist dieses Ergebnis kaum überraschend. Wie Clive Thompson in einem WIRED-Feature 2022 schrieb, kann Copilot wunderbar erscheinen, aber seine Vorschläge basieren auf Mustern in der Arbeit anderer Programmierer, die fehlerhaft sein können. Diese Vermutungen können Fehler erzeugen, die teuflisch schwer zu erkennen sind, besonders wenn man von der Qualität des Tools verzaubert ist.
Wir wissen aus anderen Bereichen der Technik, dass Menschen dazu neigen, sich zu sehr auf Automatisierung zu verlassen. Die US Federal Aviation Authority hat wiederholt gewarnt, dass einige Piloten so abhängig vom Autopiloten werden, dass ihre Flugfähigkeiten verkümmern. Ein ähnliches Phänomen ist bekannt von selbstfahrenden Autos, wo außergewöhnliche Wachsamkeit erforderlich ist, um seltene, aber potenziell tödliche Fehler zu vermeiden.
Diese Paradoxie könnte zentral für die Entwicklungsgeschichte der generativen KI sein und wohin sie uns führen wird. Die Technologie scheint bereits eine Abwärtsspirale in der Qualität von Webinhalten zu verursachen, da seriöse Seiten mit von KI generiertem Schrott überschwemmt werden, Spam-Websites sich vermehren und Chatbots versuchen, das Engagement künstlich zu steigern.
All dies bedeutet jedoch nicht, dass die generative KI ein Misserfolg ist. Es gibt eine wachsende Forschung, die zeigt, wie generative KI-Tools die Leistung und Zufriedenheit einiger Arbeiter, wie zum Beispiel diejenigen, die Kundensupport-Anrufe bearbeiten, steigern können. Einige andere Studien haben auch keinen Anstieg der Sicherheitsfehler festgestellt, wenn Entwickler einen KI-Assistenten verwenden. Und zu seinem Verdienst erforscht GitHub die Frage, wie man sicher mit KI-Hilfe codiert. Im Februar kündigte es eine neue Copilot-Funktion an, die versucht, von dem zugrunde liegenden Modell erzeugte Schwachstellen zu erkennen.
Die komplexen Auswirkungen der Codegenerierung liefern jedoch eine Warnung für Unternehmen, die daran arbeiten, generative Algorithmen für andere Anwendungsfälle einzusetzen. Regulierungsbehörden und Gesetzgeber, die sich zunehmend um KI sorgen, sollten dies ebenfalls beachten. Bei all der Aufregung um das Potenzial der Technologie und wilden Spekulationen darüber, wie sie die Welt übernehmen könnte, könnten subtilere und doch substantiellere Beweise dafür, wie KI-Implementierungen funktionieren, übersehen werden. Fast alles in unserer Zukunft wird von Software untermauert sein – und wenn wir nicht vorsichtig sind, könnte es auch von KI generierten Fehlern durchsetzt sein.







