KI-selskapet Anthropic advarer investorer om at teknologien kan innebære «eksistensielle risikoer for menneskeheten». Advarselen kommer før en ventet børsnotering på Nasdaq til høsten.
Kortversjonen
- KI-selskapet Anthropic advarer investorer om potensielle eksistensielle trusler i et nytt prospekt før en ventet høstbørsnotering.
- Selskapet kan bli verdsatt til over totusen milliarder dollar, til tross for enorme kostnader knyttet til datakraft.
- Toppledere advarer FN om at avansert kunstig intelligens utgjør en global sikkerhetsrisiko som krever strengere kontroll.
Anthropic, som står bak språkmodellen Claude, har sendt et omfattende børsprospekt til en mindre gruppe samarbeidspartnere de siste dagene. Nær en tredel av dokumentet er viet risikofaktorer, skriver Financial Times.
Selskapet skriver at stadig mer avanserte KI-modeller kan manipulere, drive utpressing og vise annen uforutsigbar atferd. Prospektet beskriver også mer ordinære forretningsrisikoer.
Ifølge personer med kjennskap til dokumentet kom nær en firedel av Anthropics inntekter i fjor fra bare to kunder. Den sterke kundekonsentrasjonen er blant forholdene investorene må vurdere før noteringen.
Anthropic er ventet å kunne bli verdsatt til over 2.000 milliarder dollar ved børsnoteringen, ifølge selskapets støttespillere. Det vil i så fall være mer enn dobbelt så mye som verdsettelsen i forrige finansieringsrunde i mai.
Prospektet gir også et innblikk i kostnadene ved å utvikle og drifte de mest avanserte KI-modellene. Anthropic opplyser at selskapet planlegger å bruke 518 milliarder dollar på forpliktelser knyttet til skytjenester, datakraft og infrastruktur i årene som kommer.
Les også: Wall Street fester igjen som i 1999
Selskapet hadde et driftsunderskudd på over 8 milliarder dollar i fjor, samtidig som inntektene økte tolv ganger til nær 4,6 milliarder dollar. Driftskostnadene steg til nesten 13 milliarder dollar, blant annet som følge av utgifter til datakraft for trening og drift av modellene.
Inntektene fortsatte å stige kraftig i år. I andre kvartal var de 11,5 milliarder dollar, og Anthropic opplyser at det ligger an til sitt andre kvartal på rad med driftsoverskudd, målt på justert basis.
Bekymringen for AI-sikkerhet har økt etter flere alvorlige hendelser der KI-agenter har trengt inn i eksterne systemer. OpenAI opplyste forrige uke at selskapets verktøy hadde hacket «dusinvis» av eksterne nettsteder, blant dem myndighetsorganer.
Anthropic-sjef Dario Amodei sa til FNs sikkerhetsråd forrige uke at KI kan true menneskeheten, og kalte teknologien «det viktigste globale sikkerhetsspørsmålet verden står overfor i dag». Han har samtidig tatt til orde for å bremse utviklingen i teknologifronten og styrke sikkerhetstiltakene.
OpenAI-sjef Sam Altman og Elon Musk har støttet Amodeis forslag om samarbeid i bransjen for å dempe utviklingstempoet og forbedre sikkerheten. Anthropic ønsket ikke å kommentere opplysningene i prospektet.
