Yeni AI saldırısı, küçültülmüş görsellerde saklanan gizli komutlarla kullanıcı verilerini çalabiliyor

Siber güvenlik firması Trail of Bits, yapay zekâ sistemlerini hedef alan yeni bir saldırı yöntemini duyurdu. Araştırmacılar Kikimora Morozova ve Suha Sabi Hussain tarafından geliştirilen teknik, görsellere gizlenmiş komutları yapay zekâya fark ettirmeden çalıştırabiliyor.

Saldırının işleyişi

Kullanıcılar bir yapay zekâ sistemine görsel yüklediğinde, performans ve maliyet optimizasyonu için bu görseller genellikle daha düşük çözünürlüğe indirgeniyor. Nearest neighbor, bilinear veya bicubic interpolasyon gibi yeniden örnekleme yöntemleri, görselde gizlenmiş desenlerin küçültme sırasında görünür hale gelmesine neden olabiliyor.

Trail of Bits’in örnek testinde, bicubic downscaling uygulandığında görselin bazı koyu bölgeleri kırmızıya dönüşerek gizli metinleri ortaya çıkardı. Yapay zekâ, bu metni kullanıcının talimatının bir parçası olarak algıladı ve ek komutları yerine getirdi.

Gerçek saldırı senaryosu

Araştırmacılar, Gemini CLI aracı üzerinden Google Calendar verilerini harici bir e-posta adresine aktarmayı başardı. Bu sırada Zapier MCP’nin trust=True parametresi kullanılarak kullanıcı onayı olmadan araç çağrıları yapıldı.

Hedef alınabilecek sistemler

Testlerde saldırının şu platformlarda uygulanabilir olduğu doğrulandı:

• Google Gemini CLI
• Vertex AI Studio (Gemini altyapısı)
• Gemini web arayüzü
• Gemini API (llm CLI üzerinden)
• Android telefonlarda Google Asistan
• Genspark

Araştırmacılar ayrıca, farklı downscaling algoritmalarına uygun kötü amaçlı görseller oluşturmak için Anamorpher adlı açık kaynaklı bir araç geliştirdi.

Önerilen önlemler

Trail of Bits, yapay zekâ sistemlerine görsel yüklerken boyut sınırlamaları uygulanmasını ve gerekirse kullanıcılara nihai küçültülmüş görselin önizlemesinin gösterilmesini tavsiye ediyor. Ayrıca, görselden metin algılandığında kullanıcı onayı alınmadan hassas işlemlerin yapılmaması gerektiği vurgulanıyor.

Araştırmacılar, en güçlü savunmanın sistematik güvenlik tasarımları ve prompt injection saldırılarına dayanıklı yapılar geliştirmek olduğunu belirtiyor.

Kaynak: Beykozun Sesi