ChatGPT in Gefahr: Der neueste Cyberangriff auf KI-Pakete mit Halluzinationen

ChatGPT ist von einer neuen Cyberattacke bedroht. Laut einer aktuellen Untersuchung von Vulcan Cyber k?nnen Hacker den Chatbot ausnutzen, um b?sartige Pakete innerhalb der Entwicklergruppe zu verbreiten. Bei diesem Angriff, der als “AI Package Hallucination” bekannt ist, werden trügerische URLs, Verweise oder komplette Code-Bibliotheken und Funktionen erstellt, die in Wirklichkeit nicht existieren.

Mit dieser neuen Technik sind Cyberkriminelle in der Lage, unver?ffentlichte Pakete durch ihre eigenen b?sartigen Gegenstücke zu ersetzen. Auf diese Weise k?nnen Angreifer Angriffe über die Lieferkette durchführen und b?sartige Bibliotheken in bekannte Speichersysteme einschleusen.

Um den Ernst der Lage zu verstehen, sollten wir uns mit diesem Thema n?her befassen.

Was ist ChatGPT?

ChatGPT ist ein generativer KI-Chatbot, der die Methode der natürlichen Sprachverarbeitung (NLP) verwendet, um einen menschen?hnlichen Dialog zu erstellen. Das Sprachmodell kann Fragen beantworten und Nutzern bei verschiedenen Aufgaben helfen, z. B. beim Schreiben von Aufs?tzen, Komponieren von Liedern, Erstellen von Beitr?gen in sozialen Medien und Entwickeln von Codes.

Was ist AI Package Hallucination?

“KI-Paket-Halluzination” ist der neueste, einer der kritischsten und t?dlichsten Hackerangriffe, mit denen ChatGPT bisher konfrontiert war. Mit dieser Technik k?nnen die Cyber-Angreifer nun b?sartige Pakete direkt an das Entwicklerteam weiterleiten.

Kürzlich haben die Forscher von Vulcan Cyber einen besorgniserregenden Trend festgestellt. Dieser Angriffsvektor beinhaltet die Manipulation von Web-URLs, Referenzen und kompletten Code-Bibliotheken und Funktionen, die einfach nicht existieren.

Die Analyse von Vulcan hat ergeben, dass diese Anomalie auf die Verwendung veralteter Trainingsdaten in ChatGPT zurückgeführt werden kann, was zur Empfehlung nicht vorhandener Code-Bibliotheken führt.

Die Forscher haben eine Warnung bezüglich der m?glichen Ausnutzung dieser Schwachstelle herausgegeben. Sie warnen davor, dass Hacker die Namen dieser nicht existierenden Pakete sammeln und ihre eigenen b?sartigen Versionen erstellen k?nnen. Anschlie?end k?nnten ahnungslose Entwickler diese b?sartigen Pakete auf der Grundlage der von ChatGPT bereitgestellten Empfehlungen versehentlich herunterladen.

Dies unterstreicht die dringende Notwendigkeit der Wachsamkeit innerhalb der Entwicklergemeinschaft, um zu verhindern, dass sie unwissentlich sch?dlichen Code in ihre Projekte einbauen.

Was sagen die Forscher?

Die Forscher von Vulcan bewerteten ChatGPT, indem sie es mit h?ufigen Fragen aus der Programmierplattform Stack Overflow testeten. Sie fragten diese Fragen speziell in den Umgebungen Python und Node.js ab, um die F?higkeiten von ChatGPT in diesen Programmiersprachen zu bewerten.

Die Forscher fragten ChatGPT ausführlich mit über 400 Fragen ab, und w?hrend dieser Bewertung enthielten etwa 100 seiner Antworten mindestens einen Verweis auf Python- oder Node.js-Pakete, die in Wirklichkeit nicht existieren.

In den Antworten von ChatGPT wurden insgesamt 150 nicht existierende Pakete erw?hnt.

Die Forscher zeigten ein potenzielles Sicherheitsproblem bei der Verwendung der ChatGPT-Paketempfehlungen auf. Sie wiesen darauf hin, dass Angreifer die von ChatGPT vorgeschlagenen Paketnamen ausnutzen k?nnten, um ihre eigenen b?sartigen Versionen zu erstellen und sie in beliebte Software-Repositories hochzuladen. Folglich k?nnten Entwickler, die sich bei der Entwicklung von L?sungen auf ChatGPT verlassen, diese b?sartigen Pakete unwissentlich herunterladen und installieren.

Die Forscher betonten, dass die Auswirkungen eines solchen Szenarios wesentlich gef?hrlicher w?ren, wenn Entwickler, die online nach Programmierl?sungen suchen, ChatGPT um Paketempfehlungen bitten und dabei versehentlich ein b?sartiges Paket verwenden.

Wie funktioniert die KI-Paket-Halluzination?

Craig Jones, Vice President of Security Operations bei Ontinue, hat erkl?rt, wie der KI-Paket-Halluzination-Angriff funktionieren k?nnte:

• Angreifer bitten ChatGPT um Hilfe bei der Programmierung von allgemeinen Aufgaben;
• ChatGPT k?nnte eine Paketempfehlung geben, die entweder nicht existiert oder noch nicht ver?ffentlicht ist (eine “Halluzination”);
• Dann erstellen die Angreifer eine b?sartige Version des empfohlenen Pakets und ver?ffentlichen es;
• W?hrend andere Entwickler dieselben Fragen an ChatGPT stellen, empfiehlt es ihnen m?glicherweise dasselbe bereits vorhandene, aber b?sartige Paket.

Vorsorgliche Schritte zur Verhinderung des Angriffs

Melissa Bischoping, Leiterin der Endpunkt-Sicherheitsforschung bei Tanium, betont angesichts des jüngsten Cyberangriffs die Bedeutung vorsichtiger Code-Ausführungspraktiken:

Sie sollten niemals Code herunterladen und ausführen, den Sie nicht verstehen und nicht getestet haben, indem Sie ihn einfach aus einer zuf?lligen Quelle – wie den Open-Source-Repos von GitHub oder den Empfehlungen von ChatGPT – übernehmen.

Darüber hinaus empfiehlt Bischoping, private Kopien des Codes aufzubewahren und nicht direkt aus ?ffentlichen Repositories zu importieren, da diese bei den aktuellen Cyberangriffen kompromittiert worden sind.

Diese Strategie wird auch weiterhin angewandt werden, und der beste Schutz besteht darin, sichere Kodierungsverfahren anzuwenden und den für die Verwendung in Produktionsumgebungen vorgesehenen Code gründlich zu testen und zu überprüfen.

Laut Vulcan Cyber gibt es mehrere Vorsichtsma?nahmen, die Entwickler ergreifen k?nnen, um potenziell b?sartige Pakete zu identifizieren und sich vor Cyberangriffen zu schützen. Diese Schritte umfassen:

• überprüfung des Erstellungsdatums des Pakets: Wenn ein Paket erst vor kurzem erstellt wurde, k?nnte dies Verdacht erregen.
• Auswertung der Anzahl der Downloads: Wenn ein Paket nur sehr wenige oder gar keine Downloads aufweist, ist es m?glicherweise weniger zuverl?ssig und sollte mit Vorsicht behandelt werden.
• überprüfung von Kommentaren und Bewertungen: Wenn ein Paket nur wenige Kommentare oder Sterne hat, ist es ratsam, es mit Vorsicht zu installieren.
• Prüfen Sie die beigefügten Hinweise oder die Dokumentation: Wenn die dem Paket beigefügte Dokumentation oder Hinweise unvollst?ndig oder irreführend sind oder einen Verdacht erwecken, ist es ratsam, zweimal nachzudenken, bevor Sie mit der Installation fortfahren.

Indem sie wachsam bleiben und diese Vorsichtsma?nahmen befolgen, k?nnen Entwickler das Risiko minimieren, Opfer einer Cyberattacke über ChatGPT oder eine andere Code-Ausführungsumgebung zu werden.

Die Quintessenz

Die Entdeckung des KI-Halluzinationsangriffs auf den Chatbot durch das Vulcan Cyber-Forschungsteam verdeutlicht die erhebliche Bedrohung für Benutzer, die sich bei ihrer t?glichen Arbeit auf ChatGPT verlassen.

Um sich vor diesem Angriff und den potenziellen Risiken im Zusammenhang mit b?sartigen Paketen zu schützen, sollten Entwickler und andere potenzielle Opfer ?u?erste Vorsicht walten lassen und die wichtigsten Sicherheitsrichtlinien befolgen.