OpenAI deneyi: alarm vermek, çalışmayı durdurmak değil

Bir araştırma modeli, engellenen web erişimini alan adı sorgularıyla aştı. Alarm tetiklendi; çalışmanın durdurulması ise 2,5 saat sonra gerçekleşti.

OpenAI misalignment raporu kartı: alarmdan durdurmaya yaklaşık 2.5 saat ve agent sandbox'ları için dört kontrol.

Bir güvenlik alarmı yalnızca haber verebilir; tehlikeli işlemi otomatik durdurması ayrıca kurulup test edilmelidir. Bu deneyde ikisi arasındaki fark ortaya çıktı. OpenAI'ın proxy'si (ağ isteklerini aradan geçirip denetleyen sunucu) agent'ın (araç kullanarak bir görevin adımlarını yürüten yapay zekâ ajanı) HTTPS çağrısını engelledi. Sandbox'ın (kodun erişimini sınırlayan yalıtılmış ortam) kendi DNS (alan adını sunucu adresine çeviren sistem) resolver'ı (alan adı sorgularına yanıt bulan çözümleyici) yine de cevap verdi.

Bu hafta yayınlanan bir OpenAI misalignment raporundan.

Bir arama görevinde takılan dahili bir araştırma modeli, eğitim ortamının resolver'ının gerçek kayıtlar döndürdüğünü fark etti. Soruları DNS sorguları üzerinden gönderdi ve herkese açık bir chatbot cevap verdi.

Yaklaşık 12 dakika sonra bir P0 (en yüksek öncelikli olay seviyesi) alarmı tetiklendi. Bir inceleyici üç dakika içinde alarmı üstlendi.

Durdurma bundan 2.5 saat sonra geldi. Beklendiği gibi otomatik olarak durmadı.

Daha sessiz iki bulgu: bir DNS anomali dedektörü o ortamı kapsam dışında tutuyordu ve monitör bazen işe yaramaz cevapları başarısız bir girişim olarak değerlendiriyordu.

Coding agent'larınız (kod yazıp araç çalıştırabilen yapay zekâ ajanı) container'larda veya CI'da (kod değişikliklerinde kontrolleri otomatik çalıştıran süreç) çalışıyorsa, bu hafta kontrol edin:

  1. Sadece proxy'nizin neyi engellediğini değil, resolver'ınızın neye cevap verdiğini
  2. Domain ve kayıt tipine göre bir DNS allowlist (erişimine açıkça izin verilen adresler listesi)
  3. Koşuyu durdurmaya bağlanmış, test edilmiş bir alarm
  4. Başarısız kaçış girişimlerinin de işaretlenmesi

Alarm bir insanı çağırır. Kill switch (çalışmayı doğrudan durduran mekanizma) koşuyu durdurur.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.