Mot slutet av förra året åkte Amazon Web Services (AWS) på en driftstörning som varade i 13 timmar, vilket gjorde att flertalet stora sajter låg nere under tiden. Enligt nya uppgifter var Amazons eget AI-verktyg för kodning, Kiro, anledningen till att det rådde kaos på internet dessa timmar. Tydligen hade verktyget på egen hand tagit beslutet att "radera och återskapa miljön", vilket då ledde till att tjänsten slutade fungera.

Till skillnad från en vanlig chattbot är Kiro en AI-agent som inte bara kan skriva kod, utan även utföra handlingar i en produktionsmiljö baserat på enkla instruktioner, vajbkodning helt enkelt. Men detta vajbande kan göra att folk, som inte har några som helst programmeringskunskaper, går från idé till färdig applikation snabbare än någonsin.

Men trots att Kiro är designad med säkerhetsspärrar för att undvika att radera databaser eller partitioner, verkar det i detta fall ha gått snett när AI:n fick agera utan tillräcklig mänsklig tillsyn. Amazon själva tonar ner AI-verktygets roll i sammanbrottet då en talesperson för bolaget sa att avbrottet berodde på mänskliga faktorer, specifikt felkonfigurerade åtkomstkontroller.

Incidenten ska ha varit begränsad till tjänsten AWS Cost Explorer i en av Amazons regioner i Kina. Enligt Amazon hade en ingenjör gett AI-verktyget bredare behörigheter än vad som var avsett, vilket gjorde att de inbyggda säkerhetsspärrarna (där Kiro normalt ber om lov innan en åtgärd genomförs) kringgicks.

Men hur man än vrider och vänder på det är ju denna händelse lite av en påminnelse om att det finns risker med att ge AI-agenter för stora befogenheter. AWS ska efter händelsen ha infört striktare regler, bland annat krav på granskning innan AI:n får tillgång till kritiska produktionsmiljöer.