Uavhengige sikkerhetsforskere brukte Anthropics KI-verktøy Claude til å få tilgang til en OpenAI-ansatts ChatGPT-konto og deler av selskapets interne systemer. OpenAI opplyser at sårbarhetene er rettet.
Kortversjonen
- Sikkerhetsforskere brukte KI-verktøyet Claude til å bryte seg inn i OpenAIs interne systemer og ansattes ChatGPT-kontoer.
- Angrepet utnyttet en sårbarhet i en forumplattform og ga tilgang til autentiseringstokener og sensitive programvarelagre.
- Hendelsen viser hvordan avanserte KI-verktøy kan senke terskelen for dataangrep, ifølge forskerne bak testen.
Forskergruppen Hacktron AI gjennomførte testen som del av OpenAIs program for sårbarhetsjakt. Programmet gir forskere adgang til å teste selskapets systemer innenfor bestemte rammer, mot at funnene rapporteres. OpenAI betalte gruppen 6500 dollar i belønning, skriver The Wall Street Journal, skriver Wall Street Journal.
Inntrengningen startet 23. juli, da forskerne fant en feil i hvordan forumplattformen Discourse behandlet enkelte bildefiler. Discourse brukes til å drifte OpenAIs diskusjonsforum. Forskerne ba først en særskilt versjon av Claude, tilgjengelig for kvalifiserte cybersikkerhetsfolk, om å skrive kode som kunne utnytte feilen.
Det første forsøket lyktes ikke. Etter at Anthropic lanserte Opus 5 dagen etter, fant Claude ifølge forskerne en måte å utnytte sårbarheten på. Koden ga tilgang til en Discourse-server som huset OpenAIs forum, der gruppen fant autentiseringstokener – digitale koder som gir tilgang til nettjenester.
Tokenene viste seg også å fungere på ChatGPT, og noen tilhørte OpenAI-ansatte, opplyser forskerne. De kunne dessuten brukes til å få tilgang til OpenAIs GitHub-tjeneste, der selskapet lagrer programvare.
Stanset etter tilgang til sensitivt materiale
Forskerne sier at de via ChatGPT kunne lese filer i et system kalt Monorepo. De opplyser at de stanset da de forsto at de kunne få tilgang til sensitiv informasjon. Fordi de ikke ønsket å gå inn i slikt materiale, kan de ikke med sikkerhet si hva systemet ble brukt til.
Les også: Farene ved KI: Hva ekspertene sier, og hva bevisene viser 🔒
Personer med kjennskap til OpenAIs tekniske arkitektur sier til avisen at Monorepo er et stort programvarelager med selskapets algoritmiske hemmeligheter. Det skal ikke inneholde modellvektene, altså de sentrale tallverdiene som ligger til grunn for språkmodellene.
Før de stanset, ba forskerne chatboten om å sende et forslag til endring i en dokumentasjonsfil, en såkalt «pull request». Forslaget skulle inneholde teksten «Hacktron AI Team PoC» og lenker til kontoer på X. Endringen ble ifølge forskerne aldri godtatt.
OpenAI opplyser at selskapets gjennomgang av GitHub avdekket «begrenset lesing» av metadata og kodeendringer i private programvarelagre. Selskapet sier at det har innsnevret rettighetene til innloggingstokener for fellesskapet og tilbakekalt berørte tokener og økter. Discourse opplyser at feilen ble rettet 25. juli, samme dag som selskapet ble varslet.
Advarer om KI-støttede angrep
Hacktrons teknologidirektør Mohan Pedhapati mener hendelsen illustrerer hvilken risiko mer avanserte aktører kan utgjøre. – Jeg tror ikke vi er like sterke som kinesiske trusselaktører. Vi er bare tre karer med Claude- og Codex-abonnementer, sa han til avisen.
OpenAIs president og medgründer Greg Brockman sa denne uken at selskapet gjennomførte en omfattende sikkerhetsgjennomgang etter denne og andre hendelser. Ifølge Brockman ble en fjerdedel av produksjonsingeniørene satt til å arbeide med forsvar, og selskapet fant og rettet en rekke alvorlige problemer.
Etter nederlaget mot Israel – ny doktrine for Hizbollahs cyberkrigføring? 🔒
