KI-selskapet Anthropic advarer om at kunstig intelligens snart kan bli i stand til å forbedre seg selv uten menneskelig hjelp. Nå åpner selskapet for en global pause i utviklingen.
Anthropic ber ledende KI-selskaper vurdere å senke tempoet i utviklingen av kunstig intelligens, skriver The Wall Street Journal.
Selskapet mener utviklingen går så raskt at de mest avanserte systemene snart kan bli i stand til å forbedre seg selv uten direkte menneskelig styring.
– Vi mener det ville være bra for verden å ha mulighet til å bremse eller midlertidig stanse utviklingen av den mest avanserte kunstige intelligensen, skriver Marina Favaro og Jack Clark i et blogginnlegg fra selskapet.
De skriver at en slik pause kan gi samfunnet og forskere mer tid til å forstå og håndtere risikoen.
Frykter selvforbedrende KI
Anthropic understreker at dette ennå ikke har skjedd, og at det heller ikke er sikkert at det vil skje.
Samtidig advarer selskapet om at utviklingen kan komme raskere enn mange institusjoner er forberedt på.
– Dette har ikke skjedd ennå og er ikke uunngåelig, skriver selskapet.
Les også: Når maskinene tar over: Kampen om menneskehetens fremtid
– Men det kan komme tidligere enn de fleste institusjoner er forberedt på.
Anthropic ble nylig verdsatt til nesten 1 billion dollar, tilsvarende rundt 9 320 milliarder kroner. Selskapet har også levert inn fortrolige papirer som første skritt mot børsnotering.
Ifølge Wall Street Journal ligger selskapet an til en årsomsetning på 50 milliarder dollar innen utgangen av måneden, tilsvarende rundt 466 milliarder kroner. Ved utgangen av 2025 var tallet 9 milliarder dollar, eller rundt 84 milliarder kroner.
Kritikk fra flere hold
Anthropic har lenge lagt vekt på sikkerhet i utviklingen av kunstig intelligens. Samtidig har selskapet blitt kritisert for å bruke slike advarsler til å bremse konkurrenter.
David Sacks, investor og uformell rådgiver for president Donald Trump, har anklaget selskapet for å forsøke å sikre seg fordeler gjennom regulering.
Andre mener advarslene også kan være en form for markedsføring.
Ethan Mollick, professor ved Wharton School ved University of Pennsylvania, sier at bildet er mer sammensatt.
– AI-selskaper er en blanding av flere ting, sier Mollick.
– Det finnes et selskap verdt en billion dollar, med alt det vanlige som følger med, som markedsføringsfolk og advokater. Så finnes det en kjerne av forskere som bygger de neste modellene.
– Og så finnes det en gruppe mennesker som er bekymret for fremtiden og hva som kommer videre. Disse delene er noen ganger i konflikt med hverandre.
Vil ha global avtale
Anthropic mener en pause bare vil gi mening dersom den respekteres bredt.
Selskapet peker på at det må finnes en måte å kontrollere at alle faktisk følger reglene.
– Treningsrunder er langt lettere å skjule enn rakettsiloer, skriver selskapet.
– Den som fortsetter mens andre tar pause, kan overta ledelsen.
Anthropic sier nå at selskapet vil samle politikere, forskere og andre aktører til samtaler om hvordan en slik ordning kan se ut.
Den kunstige revolusjonen – den fjerde industrielle revolusjon 🔒
