← Tüm projeler Lab · llm-reliability-lab

Ortalamanın gizlediği hata

Değerlendiricime kaynağı olmayan, uydurma bir cevap verdim. Üç kontrol tam puan aldı. Başarısız bir kontrolün neden kendi engelleme kuralına ihtiyaç duyduğunu eşikle oynayarak görebilirsin.

  • 0.75uydurma cevabın ortalama puanı
  • 0.80kaynak koddaki geçme eşiği
  • 0yanıt vermeme kuralının puanı
Dene

Geçme eşiğini düşür

0.75'i seç. Sonra dört puan sürgüsünü dene. Cevap sabit kalır; yalnız aritmetik değişir.

eval-gates · sentetik vakaEtkileşimli
JavaScript beş sürgüyü açar. Sabit vaka 1, 1, 1 ve 0 puan alır: ortalama 0.75. Eşik 0.80 iken kalır, 0.75 iken geçer. Önerilen kapı, yanıt vermeme ihlalini iki eşikte de engeller.
Kurulmuş test vakasıdır; production olayı değildir. Model çağrısı yok. Puan değişiklikleri simülasyondur; gecikme sınırının sağlandığı kabul edilir.
Bulgu

Ortalama, uydurma bir cevabı neredeyse geçirdi.

Küçük değerlendirme aracım, yapay zekâ cevaplarındaki kaynakları, beklenen bilgileri ve gerektiğinde yanıt vermemeyi kontrol ediyor. Dört puanı toplayıp dörde bölüyor.

Bu vakada atıf yok, beklenen kaynak yok, beklenen bilgi yok. Boş kalan her kontrol 1.0 döndürüyor. Cevap yine de bir Mars ofisi uyduruyor. Bunu yalnız yanıt vermeme kontrolü yakalıyor. Sıfırı, ortalamanın dörtte birine dönüşüyor.

Kaynak koddaki 0.80 eşiği cevabı engelliyor. Eşiği 0.75'e düşürünce aynı cevap geçiyor; abstention_policy hâlâ hata listesinde. Hatayı kaydetmekle yayını engellemesini sağlamak farklı kararlar.

Kapı önerisi

Ortalamayı raporlamada tutardım. Yayın kararında uygulanamayan kontrolleri dışarıda bırakır, ilgili her kontrolün kendi alt sınırını karşılamasını isterdim. Yanıt vermeme ihlali vakayı tek başına engellerdi.

const requiredPass = abstentionCorrect &&
  checks.filter(check => check.applies)
    .every(check => check.score >= check.minimum);

Oyun alanı, bu öneriyi mevcut ortalama kapısıyla karşılaştırıyor. Sınırın etkisini ayrı görebilmek için uygulanabilir kontrollerde ortak eşik kullanıyor. Bu sayfa, kaynak değerlendiricinin kodunu değiştirmiyor.

Kendininkini kontrol et

Varsayılan olarak geçen kontrolleri bul

  1. 1

    Her kontrolü boş vakayla çalıştır

    Kaynağı ve beklenen bilgisi olmayan bir vaka kur. Hangi kontrollerin yine 1.0 döndürdüğünü not et.

  2. 2

    Uygulananları işaretle

    Bir vakada ölçecek bir şeyi olmayan kontrol, o vakada oy kullanmamalı. Yayın kararının dışında bırak.

  3. 3

    Kritik hatalar tek başına engellesin

    Kanıtsız cevap vakayı tek başına düşürür. Ortalamayı panoda tut, kapıda değil.

Tekrar üret
Kaynak
llm-reliability-lab · 2578fa1, herkese açık Python değerlendiricim.
Vaka
sample_data/eval_cases.jsonl içindeki correct-abstention vakasını al. Cevabı “Yes, the Mars office opens in 2027.” yap. Üç kanıt listesini boş, should_abstain: true değerini aynı bırak.
Hesap
safe_ratio, payda sıfırken 1.0 döndürür. evaluate_case dört puanın ortalamasını alır. Geçmek için ortalama ve gecikme sınırı sağlanmalıdır.
Sonuç
Puanlar 1, 1, 1, 0. Ortalama 0.75. Eşik 0.80: kaldı. Eşik 0.75: geçti; yanıt vermeme hatası aynı.
Sınırlar
  1. Bu, kurduğum bir testtir; production hata oranını göstermez.
  2. Basit kontroller; kaynak, metin eşleşmesi ve yanıt vermeme ifadeleri kullanır. Genel doğruluk hakemi değildir.
  3. İlk üç puan, bu vakada uygulanamayan kontrollerin varsayılanıdır. Sürgüler aritmetiği araştırır; yeni ölçüm yapmaz.
  4. Kontrol başına kapı da doğru etiketlere, uygun kontrollere ve anlamlı eşiklere bağlıdır. Her cevabın güvenli olduğunu kanıtlayamaz.
Kodu incele ↗Yazıyı okuÖzgeçmişi indirGörüşme planla

Sitemde

Keşfet, dene && merhaba de

Çalışma alanı

Masamda ve dock’umda ne varsa

Windows 11 · Warp · PowerShell 7

Kodun arkası

Yolculuk, yetenekler & deneyim

Ziyaretçi defteri

Duvara imzanı at, bir not bırak

Merhaba, ben Huseyin. Bir not bırak, merhaba de.

Huseyin Kaplan

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.