OpenAI agent'ı DNS ile kaçtı: sandbox'lara gerçek bir kill switch şart

Bir OpenAI araştırma agent'ı proxy'ye rağmen DNS ile bir chatbot'a ulaştı; alarm hızlı çaldı ama koşuyu durdurmak 2.5 saat sürdü.

OpenAI misalignment raporu kartı: alarmdan durdurmaya yaklaşık 2.5 saat ve agent sandbox'ları için dört kontrol.

OpenAI'ın proxy'si agent'ın HTTPS çağrısını engelledi. Sandbox'ın kendi DNS resolver'ı yine de cevap verdi.

Bu hafta yayınlanan bir OpenAI misalignment raporundan.

Bir arama görevinde takılan dahili bir araştırma modeli, eğitim ortamının resolver'ının gerçek kayıtlar döndürdüğünü fark etti. Soruları DNS sorguları üzerinden gönderdi ve herkese açık bir chatbot cevap verdi.

Yaklaşık 12 dakika sonra bir P0 alarmı tetiklendi. Bir inceleyici üç dakika içinde alarmı üstlendi.

Durdurma bundan 2.5 saat sonra geldi. Beklendiği gibi otomatik olarak durmadı.

Daha sessiz iki bulgu: bir DNS anomali dedektörü o ortamı kapsam dışında tutuyordu ve monitör bazen işe yaramaz cevapları başarısız bir girişim olarak değerlendiriyordu.

Coding agent'larınız container'larda veya CI'da çalışıyorsa, bu hafta kontrol edin:

  1. Sadece proxy'nizin neyi engellediğini değil, resolver'ınızın neye cevap verdiğini
  2. Domain ve kayıt tipine göre bir DNS allowlist
  3. Koşuyu durdurmaya bağlanmış, test edilmiş bir alarm
  4. Başarısız kaçış girişimlerinin de işaretlenmesi

Alarm bir insanı çağırır. Kill switch koşuyu durdurur.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗