KI-forskere ber myndighetene følge med på automatisert KI-utvikling

Bekymringen bak den nye oppfordringen om tilsyn handler ikke bare om at KI-modeller kan bli kraftigere. Det sentrale spørsmålet er om KI kan bidra til å utvikle neste generasjon KI – og dermed sette fart på en utvikling som også gjør neste runde med forskning raskere. Forskere og ledere fra OpenAI, Anthropic, Meta og Microsoft ber myndighetene undersøke hvor langt automatiseringen har kommet. 23

Et slikt scenario omtales iblant som en «intelligenseksplosjon». Det er en mulig risikobeskrivelse, ikke dokumentasjon på at KI allerede forbedrer seg selv uten menneskelig styring. Spørsmålet for myndighetene er hvordan utviklingen kan måles og følges opp etter hvert som KI får en større rolle i KI-forskning. 114

Slik kan KI bidra til raskere utvikling

KI kan hjelpe til med deler av arbeidet som inngår i utviklingen av nye modeller. Dersom hjelpen fører til mer kapable systemer, og disse systemene igjen tar over mer av forskningsarbeidet, kan hver runde i prinsippet gjøre den neste raskere. Dette kalles rekursiv selvforbedring: KI bidrar til å forbedre prosessen som brukes til å lage KI. 15

Advarselen handler først og fremst om tempoet. I ett scenario som omtales i forbindelse med forskernes arbeid, kan fremskritt som ellers ville tatt et år, skje på noen uker. Det er en prognose, ikke et målt resultat, og kildene viser ikke at utviklingen allerede går så raskt. 314

En tidligere studie, basert på intervjuer med 25 forskere fra ledende KI-laboratorier og akademia, fant at mange ventet at KI ville automatisere KI-forskning og skape en positiv tilbakekobling. Det bidrar til å forklare hvorfor muligheten tas alvorlig i fagmiljøet, men viser ikke at en intelligenseksplosjon er uunngåelig. 1

Dette ber forskerne myndighetene undersøke

Den umiddelbare oppfordringen er å skaffe bedre oversikt over hvor omfattende selskaper bruker KI i forskning og utvikling. Over 20 KI-ledere og forskere har bedt beslutningstakere granske denne utviklingen og vurdere sikkerhetstiltak. 2

Det er viktig å skille mellom en oppfordring om innsyn og en påstand om at KI-laboratoriene allerede har overlatt kontrollen over forskningen til KI. Bedre informasjon om hvor og hvordan teknologien brukes, kan hjelpe myndighetene med å vurdere om dagens tilsyn er godt nok når KI tar del i flere ledd av utviklingsarbeidet. 23

Uenighet om tempoet

En samordnet nedbremsing kan gi mer tid til sikkerhetstesting, uavhengige vurderinger og sterkere tilsyn før systemene endrer seg ytterligere. Forskere ved OpenAI og Anthropic har tatt til orde for saktere utvikling, mens andre bransjeledere har foretrukket en mer markedsstyrt tilnærming. Det finnes altså ingen felles enighet i bransjen om hvor mye utviklingen bør bremses – eller hvordan en pause skulle gjennomføres. 818

En slik nedbremsing reiser også praktiske spørsmål: Hvilke systemer eller aktiviteter skal omfattes? Hvem skal kontrollere at reglene følges? Og hvordan kan tiltak samordnes mellom selskaper som konkurrerer med hverandre? Også betydningen av en pause og hvordan den eventuelt skal håndheves, er fortsatt uklart.

Kan en nødstopp være en sikkerhetsventil?

Microsofts president Brad Smith har argumentert for at de som utvikler KI-modeller, leverandører av skyinfrastruktur og de som administrerer KI-agenter, bør kunne slå av systemene. En slik mulighet kan fungere som en nødstopp, men er ikke en erstatning for forebygging eller løpende oppfølging.

Det er dessuten tekniske begrensninger. KI-systemer kan kjøre på distribuert infrastruktur, og én enkelt bryter kan derfor ikke garantere at alle deler stanser. Eksperter har også pekt på behovet for overvåking og menneskelig inngripen.

Selskaper kan både utvikle og forvalte sikkerhetstiltak

Når både utviklere og skyleverandører foreslås som del av sikkerhetsarbeidet, oppstår et spørsmål om roller og interesser. Microsoft utvikler KI-modeller og tilbyr også skytjenester. Det gjør tydelige regler og uavhengig kontroll viktig – men er ikke i seg selv bevis på at selskapets syn på sikkerhet ikke er oppriktig. 2

Samarbeid er også krevende når bransjelederne er uenige om hvor raskt utviklingen bør gå. Debatten om å bremse skjer samtidig som selskaper konkurrerer om å utvikle og ta i bruk KI. Det kan være vanskelig for ett selskap å holde igjen hvis andre fortsetter i høyt tempo. Kildene dokumenterer uenighet og konkurransepress, men viser ikke at investeringsinteresser avgjør hva den enkelte forsker mener. 1218

For myndighetene handler saken derfor om to nært beslektede spørsmål: Hvordan skal de følge med på KI-bruken i utviklingen av KI, og hvordan kan sikkerhetstiltak kontrolleres uavhengig av selskapenes egne forsikringer? Advarslene gir grunn til å undersøke dette nå, men fastslår verken hvor sannsynlig en intelligenseksplosjon er, eller hvilket tiltak som vil fungere best. 123