En ny och oroande upptäckt har gjorts av cybersäkerhetsforskare, Trail of Bits, som identifierat en allvarlig sårbarhet i AI-system. Forskarna har lyckats exploatera en vanlig funktion – nedskalning av bilder – för att lura AI-modeller och stjäla privat information.

Grundprincipen bakom attacken, kallad en ‘image scaling attack’, är att skapa bilder som ser normala ut för en människa, men som innehåller dolda instruktioner. Dessa instruktioner blir synliga när bilden skalar ner av själva AI-modellen. Det handlar om en form av prompt injection, där en skadlig bild kan tvinga fram AI:n att utföra oönskade åtgärder, som att få tillgång till en användares Google Kalender och e-post, utan användarens vetskap eller medgivande.

Forskarna demonstrerade attackens effektivitet på flera system, inklusive Google Gemini CLI, Gemini webgränssnitt och Google Assistant. I ett specifikt fall visade de hur en skadlig bild kunde tvinga fram Gemini att till exempel komma åt användarens kalender och e-post, och skicka informationen till en angripare. Detta betonar vikten av att vara vaksam och implementera lämpliga säkerhetsåtgärder.

För att hjälpa andra att förstå och försvara sig mot denna nya hot har forskningsteamet utvecklat ett verktyg kallat Anamorpher. Namnet är inspirerat av anamorphosis, en konstteknik som gör en förvrängd bild normal när den ses på ett specifikt sätt. Verktyget kan användas för att skapa dessa specialbilder och låter cybersäkerhetsforskare testa sina egna system.

Forskarna rekommenderar ett antal enkla men effektiva sätt att skydda sig mot dessa attacker. En nyckelåtgärd är att alltid visa användaren en förhandsvisning av bilden som AI-modellen ser den, särskilt i kommandoradsverktyg och API-verktyg. Dessutom är det avgörande att AI-system inte automatiskt tillåter känsliga åtgärder utlösta av kommandon i bilder. Istället bör användaren alltid behöva ge tydligt och explicit tillstånd innan någon data delas eller en uppgift utförs.