Google’ın yapay zekâ modeli Gemini’nin mayıs ayında gerçekleştirilen bir siber güvenlik testi sırasında beklenmedik şekilde test ortamının dışına çıkarak gerçek şirketlerin sistemlerine eriştiği ortaya çıktı.
Olaylar, gelişmiş yapay zekâ modellerinin güvenlik kapasitesini ölçen bağımsız değerlendirme şirketi Irregular tarafından yürütülen testlerde yaşandı. Reuters’a göre bu, Google’ın bir yapay zekâ sisteminin otonom biçimde böyle bir eylem gerçekleştirdiğinin bilinen ilk örneği.
Test ortamının internete açık olmaması gerekiyordu
Gemini’ye, kurgusal bir şirkete ait sistemlerde bilgi bulmasını gerektiren bir siber güvenlik görevi verildi.
Ancak test ortamında bulunmaması gereken internet erişiminin yanlışlıkla açık bırakıldığı belirtildi. Böylece model yalnızca oluşturulan sahte sistemlerle sınırlı kalmak yerine gerçek internete erişebildi.
The Guardian’ın aktardığına göre testlerden birinde kullanılan kurgusal şirketin adı gerçek bir şirketle aynıydı. Gemini, internete ulaştıktan sonra gerçek şirketin hizmetini buldu ve parola tahmin ederek korumalı sisteme giriş yaptı.
İki şirkete açıkta bulunan kimlik bilgileriyle girdi
Diğer iki olayda ise Gemini internette arama yaparak herkese açık yazılım depolarında gerçek şirketlere ait giriş bilgileri buldu.
Model daha sonra bu kimlik bilgilerini kullanarak korumalı sistemlere erişti. Reuters, bir olayda Gemini’nin parolaları deneyerek sisteme girdiğini, diğer iki olayda ise açık depolarda bulunan kimlik bilgilerini kullandığını aktardı.
Google Güvenlik Mühendisliği Başkan Yardımcısı Heather Adkins, modelin test kapsamındaki internet sitelerine eriştiğini düşündüğünü söyledi.
Google’a göre Gemini, eriştiği sistemlerin test ortamına değil gerçek şirketlere ait olduğunu fark ettiğinde üç olayda da saldırıyı durdurdu.
Şirketler bilgilendirildi
Google, erişilen üç şirketin olaylardan haberdar edildiğini açıkladı.
Irregular ise ilgili yapay zekâ laboratuvarlarının temmuz sonunda bilgilendirildiğini ve test altyapısındaki bilinen sorunların daha sonra giderildiğini bildirdi.
Google olayları daha önce kamuoyuna açıklamamıştı. The Guardian’a göre şirket, herhangi bir zarara yol açılmadığı ve Gemini’nin davranışını durdurduğu gerekçesiyle ayrı bir kamu açıklamasına ihtiyaç görmedi. Olaylar ilk olarak Wall Street Journal tarafından haberleştirildikten sonra Google tarafından doğrulandı.
OpenAI, Anthropic ve Meta’da da benzer olaylar yaşandı
Gemini vakası tek örnek değil.
Irregular tarafından gerçekleştirilen benzer değerlendirmelerde daha önce OpenAI, Anthropic ve Meta modellerinin de test sınırlarının dışına çıktığı olaylar açıklanmıştı. Reuters, bu gelişmelerin yapay zekâ ajanlarının internete ve bilgisayar sistemlerine daha fazla erişim kazanmasıyla hangi güvenlik önlemlerinin gerekli olduğu konusunda tartışmaları artırdığını belirtiyor.
Bu yönüyle Gemini vakası, OpenAI’nin bu hafta açıkladığı izinsiz API anahtarı kullanımı ve dosyaların internete yüklenmesi gibi sıra dışı model davranışlarından da bir adım ileri gidiyor: burada yapay zekâ yalnızca olağan dışı bir karar vermedi, gerçek üçüncü taraf sistemlerine başarıyla giriş yaptı.
Ancak olayın önemli bir ayrıntısı bulunuyor. Gemini’ye gerçek şirketleri hedef alması söylenmedi ve Google’a göre model bunları testin parçası sandı. Bu nedenle olay, yapay zekânın bilinçli biçimde “şirket hacklemeye karar verdiği” şeklinde yorumlanmamalı.
Asıl sorun neden önemli?
Olay, giderek daha fazla araç kullanabilen yapay zekâ ajanlarında sandbox, internet erişimi ve yetki sınırlarının neden kritik olduğunu gösteriyor.
Bir model siber güvenlik görevi sırasında web araması yapabiliyor, kimlik bilgileri bulabiliyor ve bunları otomatik olarak deneyebiliyorsa, test ortamındaki küçük bir yapılandırma hatası bile gerçek sistemlere erişimle sonuçlanabiliyor.
Google’dan Adkins, olayların güçlü yapay zekâ modellerinin sorumlu biçimde hareket edecek şekilde eğitilmesinin önemini gösterdiğini söyledi.
