En demonstration vid Black Hat-säkerhetskonferensen avslöjade en betydande sårbarhet i Googles Gemini AI, utlöst av en “förgiftad” kalenderinbjudan. Detta markerar ett av de första tillfällena där en generativ AI-attack har lett till direkt manipulation av den fysiska världen.

Attackmetoden, en indirekt promptinjektion, förflyttar dessa attacker från en teoretisk oro till ett påtagligt hot. När AI-agenter får mer autonomi att hantera våra enheter och dagliga uppgifter, hur kommer branschen att bygga nödvändiga skyddsmekanismer för att förhindra att våra egna verktyg vänds mot oss?

I dagens A Quick Word:

• En “förgiftad” kalenderinbjudan kapar ett smart hem

• Metas AI-integritetsluckor exponerar intima användarsamtal

• Nvidias vägrar att bygga bakdörrar i chip

• Groks "spicy"-läge skapar deepfakes av Taylor Swift

Gemini hackad på Black Hat med “förgiftad” kalenderinbjudan

The Quick Word: I en förbluffande demonstration vid säkerhetskonferensen Black Hat kapade forskare Googles Gemini AI med en “förgiftad” Google Calendar-inbjudan. Attacken markerar en milstolpe där en hack mot ett generativt AI-system orsakade direkta konsekvenser i den fysiska världen.

The Quick Points:

• Hacken utnyttjade en indirekt uppmaningsinjektion, där skadliga kommandon gömda i texten i en kalenderhändelse utlöstes när Gemini bads summera användarens schema.

• Tekniken begränsades inte till smarta hem; forskare visade även hur den kunde användas för att generera kränkande text, stjäla data och till och med få Gemini att automatiskt öppna appar och starta ett videosamtal på egen hand.

• Exploit visar på de allvarliga säkerhetsriskerna för nästa våg av AI-agenter, som är utformade för att autonomt utföra uppgifter och kontrollera andra system på en användares vägnar.

The Quick Take: Detta förvandlar "prompt injection"-attacker från en teoretisk olägenhet till ett konkret hot som kan manipulera den fysiska världen. När AI nu vävs in allt djupare i våra prylar och hem, blir det en central utmaning för hela techindustrin att bygga tillräckligt robusta säkerhetslösningar.

Metas öppna hemlighet

The Quick Word: En nyligen genomförd undersökning visade att mänskliga entreprenörer som tränar Metas AI-modeller regelbundet läser användares oredigerade, intima chattkonversationer, vilket kan inkludera personligt identifierbar information.

The Quick Points:

• Entreprenörer rapporterade att de såg fullständiga namn, telefonnummer och till och med selfies, där en uppskattade att personligt identifierbar information förekom i över 60% av de tusentals chattar de granskade varje vecka.

• Medan Metas användarvillkor säger att interaktioner kan granskas av människor, tillhandahålls viss data medvetet till entreprenörer för att hjälpa till att personifiera AI:s svar.

• Denna praxis stöder Metas större ambition att bygga en personlig superintelligens, men riskerna är påtagliga – reportrar kunde identifiera en användares Facebook-profil på under fem minuter med data från en enda chattlogg.

The Quick Take: Detta är en skarp påminnelse om att konversationer med AI-chattbotar sällan är privata, vilket suddar ut gränsen mellan personlig interaktion och träningsdata för företag. I takt med att branschen jagar allt större personalisering ökar pressen på företagen att införa betydligt starkare skyddsåtgärder för att värna användarnas integritet.

Nvidia drar en tydlig gräns

The Quick Word: Nvidia har offentligt deklarerat att de inte kommer att inkludera så kallade 'kill switches' eller bakdörrar i sina AI-chip, som ett svar på påtryckningar från amerikanska lagstiftare och beskriver sådana funktioner som en farlig sårbarhet.

The Quick Points:

• Företagets ställningstagande är ett direkt svar på politiska påtryckningar, inklusive lagförslaget Chip Security Act, som skulle kunna kräva funktioner för fjärravstängning i USA-tillverkade chip.

• Beskedet bemöter även oro från Kina, som nyligen inledde en egen utredning av Nvidias H20-chip gällande påstådda sårbarheter i form av bakdörrar på en kritisk internationell marknad.

• Nvidias säkerhetschef menar att det inte är en sund policy att lägga till en bakdörr och att det skulle skada USA:s egna ekonomiska och nationella säkerhetsintressen oåterkalleligt.

The Quick Take: Denna offentliga vägran sätter ett viktigt prejudikat i kampen mellan teknik och geopolitik, och definierar gränsen mellan nationella säkerhetskrav och företagens cybersäkerhetsprinciper. Genom att vägra bygga in sårbarheter satsar Nvidia på att förtroende och säkerhet är mer värdefulla tillgångar på lång sikt än att tillmötesgå specifika regeringskrav.

Groks "heta" problem

The Quick Word: Elon Musks AI-modell Grok har hamnat i blåsväder efter att dess nya videofunktion visat sig generera icke-konsensuella deepfake-nakenbilder av Taylor Swift, vilket blottlägger betydande luckor i dess säkerhetsfilter. Incidenten väcker nya farhågor kring plattformens förmåga att moderera innehåll.

The Quick Points:

• Problemet har sin grund i Groks "spicy"-läge,, som kan eskalera en neutral prompt som "Taylor Swift firar på Coachella" till en video med nakenhet utan någon uttrycklig uppmaning.

• Detta är inte första gången X brottas med detta; plattformen skakades förra året av en stor kontrovers kring AI-genererade Swift-bilder, trots att man har en nolltoleranspolicy mot nakenhet utan samtycke.

• Även om det finns skyddsräcken för att blockera direkta prompter för skadligt innehåll, kan bristerna i "spicy"-läget innebära att xAI riskerar rättsliga påföljder under den kommande lagen Take It Down Act.

The Quick Take: Incidenten belyser den enorma utmaningen i att balansera "vågade" AI-funktioner med grundläggande användarsäkerhet. När generativa verktyg blir alltmer kraftfulla blir gränsen mellan kreativ frihet och skadligt missbruk farligt tunn.

Behöver du hjälp att navigera ett ständigt skiftande AI-landskap?
Micke Quick är konsult med särskilt fokus på AI och arbetsflöden inom reklam- och marknadsföring. Han hjälper dig med insikter, utbildning, och strategi för implementering av AI.

Läs mer på mickequick.se 

Quick Links

Anthropic lanserade möjligheten för användare att bygga och dela interaktiva AI-drivna appar direkt i Claudes gränssnitt, vilket förvandlar artefakter till delbara applikationer.

Google lanserade sin asynkrona kodningsagent, Jules, från betaversionen med nya strukturerade nivåer och driven av de avancerade planeringsfunktionerna i Gemini 2.5 Pro.

The Information rapporterade att OpenAI:s kommande modell GPT-5 endast kommer att erbjuda stegvisa förbättringar jämfört med GPT-4. Insiders menar att det inte blir ett lika stort kliv som det mellan GPT-3 och GPT-4.

KittenML släppte en förhandsversion för utvecklare av Kitten TTS, en text-till-tal-modell med öppen källkod på endast 15 miljoner parametrar som kan köras på en CPU utan GPU.