Claude Opus 5.5: davranış değişimini üretilen metinden izlemek

Doğruluk puanları denemeden denemeye değişebilir. Üretilen metin miktarını da izlemek, model ayarlarındaki değişimi fark etmeye yardımcı oluyor.

Opus 5.5 üzerinde livenerf doğrulaması: medium effort, high'a göre doğrulukta -4 puan ve token'da -%26; aynı çalıştırmalar arası 6 puan fark

Bir modelin eskisinden farklı davranıp davranmadığını anlamak için karşılaştırılabilir eski ölçümler gerekir. Doğruluk puanının yanında yanıt uzunluğunu izlemek de yardımcı olabilir. Birkaç haftada bir, biri bir modelin lansmandan sonra kötüleştiğine yemin ediyor. Neredeyse kimse bunu kontrol edecek bir lansman günü baseline'ı (sonraki sonuçlarla karşılaştırılacak başlangıç ölçümü) tutmamış oluyor.

Bir geliştirici, Claude Opus 5.5 için çıkış gününde bir tane başlattı. Adı livenerf, bir gecede Hacker News ön sayfasına çıktı ve okumaya değer kısmı doğrulama çalışması.

Birebir aynı iki çalıştırma yaklaşık 6 doğruluk puanı farklı çıktı. Effort'u (modelin düşünmeye ayırdığı çaba ayarı) high'dan (yüksek) medium'a (orta) düşürmek doğruluğu yaklaşık 4 puan oynattı. Gürültü, değişimden büyüktü.

Bunu output (çıktı) token'lar (modelin ürettiği metnin sayılan parçası) yakaladı. Medium effort onları yaklaşık dörtte bir, low (düşük) ise yaklaşık %60 azalttı. Yerine eski Opus 5'i koymak ise hiç ayırt edilemedi.

Kendi uygulamanızda drift'i (model davranışının zaman içinde değişmesi) yakalamak için:

  1. Eval (modelin yanıtlarını belirli ölçütlerle değerlendiren test) skorlarının yanında istek başına output token'ları loglayın.
  2. Harness (modelin araçlarını ve çalışma döngüsünü yöneten altyapı) ve CLI (komut yazarak kullanılan arayüz) sürümünüzü sabitleyin. Değişen bir harness, değişen bir model gibi görünür.
  3. Modelin yalnızca bazen doğru bildiği, dondurulmuş bir soru seti tutun.

Doğruluk puanı denemeden denemeye değişebilir. Üretilen metin miktarı da model davranışını izlemek için düşük maliyetli bir işarettir.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.