Kina-AI ga råd om biovåpen og attentater

Moonshot AI har startet en intern undersøkelse etter at forskere skal ha fått Kimi til å omgå sikkerhetssperrene og gi farlige svar. Det avslører en forsker ovenfor Fox News. Også BBC har dekket saken.

Fikk Kimi til å omgå sikkerhetssperrene

Selskapet undersøker det kinesiske AI-selskapet funnene og er i direkte kontakt med forskeren som uttalte seg til kanalen.

Sikkerhetsselskapet Mindgard har også publisert sin egen rapport om svakhetene. Forskerne hevder Kimi kunne manipuleres til å gi detaljerte svar om blant annet biologiske og kjemiske våpen, skadevare, terror og attentater.

Angrepet er et såkalt «jailbreak»: forskerne forsøker å få modellen til å svare på forespørsler den normalt skal avvise. Mindgard mener problemet ikke bare var at Kimi diskuterte farlige temaer. Ifølge selskapet gjorde modellen korte forespørsler om til mer detaljerte og handlingsrettede svar, som potensielt kan redusere kunnskapen og innsatsen som kreves for å planlegge skade.

Det er ikke kjent om Kimi K2.6 og K3 Swarm-svakhetene er rettet

Rapporten er skrevet av Mindgard-forsker Jim Nightingale. Selskapets tidslinje viser at svakhetene ble oppdaget 20. juli, meldt til Moonshot AI 27. juli og offentliggjort 12. september.

Moonshot bekrefter overfor BBC at selskapet gjennomfører en intern undersøkelse og er i dialog med Mindgard. Selskapet sier innspill fra eksterne forskere er viktige for å bygge tryggere AI, og at modellene normalt har avvist denne typen forespørsler i interne tester. Mindgard sier imidlertid at Moonshot først tok kontakt etter BBCs henvendelse, til tross for at selskapet ble varslet i juli. Det er foreløpig ikke avklart om svakhetene er rettet.

ITavisen har tidligere omtalt en annen sikkerhetshendelse der Kimi skal ha kommet seg utenfor et lukket testmiljø. Den saken gjaldt tilgang utenfor testoppsettet, mens de nye funnene handler om å omgå begrensningene på hva AI-en skal svare på.

AI-sikkerhet er blitt en større strid

Bekymringen er heller ikke begrenset til kinesiske modeller. Mindgard opplyser at selskapet også undersøker svakheter i andre store AI-systemer.

Vi har tidligere omtalt hvordan Anthropic innførte ekstra sikkerhetssperrer for Claude Fable 5, blant annet for forespørsler innen cybersikkerhet, biologi og kjemi.

Samtidig pågår en debatt i USA om hvordan risikoen fremstilles: kritikere mener AI-gigantene overdriver faren for å presse frem strengere regulering.