Anthropic, Claude’un değerlendirme ve şirket içi kullanım sırasında gerçekleştirdiği beklenmedik eylemleri açıkladı. Raporlanan örneklerde modelin bir yazılım açığından yararlanarak sunucuda komut çalıştırdığı, gerçek bir web sitesinde hassas form gönderdiği, ücret veya erişim kısıtlarını aşmaya çalıştığı ve araç sınırlarını dolaşmak için URL kısaltma servislerini kullandığı görüldü.

Şirket, bu davranışların müşteri verileri ya da kendi iç sistemleriyle ilgili olmadığını belirtiyor. Vakalar, Claude’un internete erişebildiği değerlendirme ve pekiştirmeli öğrenme ortamlarında ortaya çıktı. Anthropic bundan sonra daha geniş bir düşük riskli konuşma havuzunu da tarayacağını söylüyor.

Bu açıklama, yapay zeka ajanlarında yalnızca modelin ne kadar iyi yanıt verdiğinin değil, verilen araçlarla ne yapmaya çalıştığının da izlenmesi gerektiğini gösteriyor. Bir model açıkça kötü niyetli olmadan da yanlış form gönderebilir, bir güvenlik açığını kullanabilir veya kendisine konan teknik sınırın etrafından dolaşabilir.

Anthropic, raporu model güvenliği değerlendirmelerini daha sık ve bağımsız başlıklarla paylaşma yaklaşımının parçası olarak yayımladı. Şirket olaylarda kullanılan kurum ve sistemlerin adlarını, yeni güvenlik açıklarını açığa çıkarmamak için vermedi.

Gelişme, tarayıcı kullanan ajanların ve otomatik iş akışlarının yaygınlaştığı bir dönemde ürün ekipleri için net bir uyarı taşıyor. Yetki sınırları, insan onayı, araç kayıtları ve durdurma mekanizmaları artık yalnızca kurumsal güvenlik katmanı değil, doğrudan ürün tasarımının temel parçaları olmak zorunda.