← Tüm projeler Lab · decision-bench

Kelime mi, sayı mı?

Aynı iade kararı, üç yoldan soruldu: kelimeyle cevap veren bir sohbet modeli, aynı modelin katı JSON şemasına bağlanmış hali ve olasılıkla cevap veren bir karar modeli. Aynı politika, aynı 60 bilet, her bilet üç kez soruldu. Bu sayfadaki her sayı kaydedilmiş koşumdan geliyor.

  • 177180'de doğru, Jev ve şemalı Haiku
  • 0yanlış iade, hiçbir kolda
  • 506 msJev p50, Haiku yaklaşık 2.1 sn
  • $0.021000 karar başına, Haiku $0.13
  • 0.35boşluktaki tek skor
Deneyin

Eşiği kaydırın

Kaydırıcıyı sürükleyin ya da 0.5, 0.7, 0.9'dan birini seçin. Bileti, sipariş kaydını ve her modelin cevabını görmek için bir noktaya tıklayın.

decision-bench · kayıtlı koşum 2026-10-14Etkileşimli
Bu alan JavaScript ister. Karar modelinin 60 bilet için verdiği skoru tek eksende, kaydırılabilir bir eşikle ve her eşiğin kaç iade ve devir ürettiğiyle gösterir.
Biletler sentetik ve politika kurallarına göre etiketli. Skorlar, cevaplar, gecikme ve maliyet koşumdaki gerçek yanıtlar. Bu sayfada hiçbir model çağrılmıyor.
Sayının gösterdiği

İnsana gitmesi gereken her bilet 0.18 ya da altında kaldı. İade edilmesi gereken her bilet 0.69 ya da üstünde. Arada tek bir bilet var.

O bilet x05: "Odamda bir kere denedim, bu kullanılmış sayılır mı? Etiketler üstünde." Koşumdan önce onu iade diye etiketlemiştim. Her model insana gönderdi. Sohbet modeli ona, politikayı yok saymasını söyleyen bir prompt injection'a verdiği handoff cevabının aynısını verdi. Karar modeli ilkine 0.35, injection'a 0.03 verdi.

Sonra sohbet modelini, yalnızca refund ve handoff değerlerine izin veren katı bir JSON şemasına bağladım. 180'de 177 yaptı: karar modeliyle aynı skor, aynı tek hata. Şema formatı ve koşumlar arasında cevap değiştiren tek bileti düzeltti. Yine de bir kelime döndü.

Yani eşik o boş bandın içinde olmalı, güvenli hissettiren bir sayıda değil. Aynı skorlarla 0.9 eşiği 180 çağrının 41'ini boşuna insana gönderiyor ve fazladan tek bir yanlış iadeyi bile durdurmuyor, çünkü durdurulacak yanlış iade yoktu.

Sizinki

Eşiği kendi verinizden seçin

  1. 1

    Örnek etiketleyin

    Gerçek vakaları alın ve her biri için politikanın ne dediğini yazın. Başlamak için birkaç yüz vaka yeter.

  2. 2

    Sınırı bulun

    Skorlayın ve o örnekte sıfır yanlış iade veren en düşük eşiği alın. Bu koşumda 0.19.

  3. 3

    Pay bırakın, gölgede çalıştırın

    Mevcut sürecin yanında, ona göre işlem yapmadan çalıştırın ve ayrıştıkları her vakayı okuyun.

function lowestSafeThreshold(labelled: { p: number; shouldRefund: boolean }[]): number {
  for (let step = 5; step <= 99; step++) {
    const threshold = step / 100;
    const wrongRefunds = labelled.filter((item) => item.p >= threshold && !item.shouldRefund).length;
    if (wrongRefunds === 0) return threshold;
  }
  return 1;
}
Kurulum

Bu, agent-runtime-bench'teki iade agent'ının karar adımı. O benchmark modeli sabit tutup runtime'ı değiştiriyordu. Bu benchmark runtime'ı sabit tutup modelin cevap verme şeklini değiştiriyor.

Politika
Sipariş var, teslimden en fazla 30 gün geçmiş, kullanılmamış ya da hasarlı gelmiş, iadesiz satış değil. Eksik ya da çelişkili her şey insana gider.
Biletler
60: 48'i tohumlu şablonlardan, 12'si elle yazılmış (30. gün ve 31. gün, kırık gelen iadesiz ürün, var olmayan sipariş, prompt injection). 23'ü iade edilmeli, 37'si edilmemeli.
Girdi
Her kol aynı üç şeyi alıyor: politika, sipariş kaydı ve müşteri mesajı.
Sohbet JSON
anthropic/claude-haiku-5.5, {"decision": "refund"} ya da {"decision": "handoff"} dönmesi isteniyor.
Katı şema
Aynı çağrı, decision alanı iki etiketten oluşan bir enum olan katı JSON şemasıyla.
Karar
OpenRouter Decisions API üzerinden typesafe/jev-1.13, tek bir evet/hayır sorusu, müşterinin iadeye uygun olma olasılığını dönüyor.
Koşumlar
Her bilet her kolda üç kez, 540 çağrı, yaklaşık $0.05. 42 dakika sonraki ikinci tam koşumda hiçbir biletin ortalama skoru 0.033'ten fazla oynamadı.
Jev hakkında

Jev, TypeSafe AI'ın 15 Eylül 2026'da çıkardığı karar modeli. Tipli sorulara metin yerine olasılıkla cevap veriyor; OpenRouter üç gün sonra ekledi. Logo: TypeSafe AI.

TypeSafe'in duyuru yazısı "higher confidence means higher accuracy" diyor ve hız ile maliyet sonuçlarının kendi ölçümleri olduğunu belirtiyor. decision-model-benchmark ve DecideBench gibi bağımsız benchmark'lar doğruluğu, gecikmeyi ve maliyeti birçok görevde ölçüyor. Bu sayfa daha dar bir soru soruyor: skor, bir eşikle ne yapmanıza izin veriyor.

Kaynaklar: TypeSafe duyurusu, OpenRouter Jev dokümanı.

Sınırlar
  1. 60 sentetik bilet ve tek politika. x05 tartışmalı bir etiket; bugün olsa insana devir derdim.
  2. Tek sohbet modeli. Katı şema ayrıştırma riskini kaldırıyor; yine de olasılık değil, kelime dönüyor.
  3. Haiku 5.5 cevaplamadan önce düşünüyor. 50 çıktı token'ıyla yapılan ilk koşum boş döndü; kaydedilen koşum 1024'e izin veriyor.
  4. Gecikme, İstanbul'dan OpenRouter üzerinden, eşzamanlılık 6 ile tek koşum. Maliyet, OpenRouter'ın her çağrı için döndürdüğü usage.cost.
Kod ve sonuçlar ↗Yazıyı okuyunagent-runtime-bench ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.