claude.ai nasıl hızlandı? Süre yerine işlem sayısını ölçmek

Anthropic, claude.ai’yi yaklaşık üç kat hızlandırdı. Kazanımları korumak için değişken süre ölçümleri yerine otomatik işlem sayısı kontrolleri kullandı.

claude.ai performans çalışması kartı: em dash bug'ı ve CI'da kapı olarak kullanılan dört deterministik sayım.

Bir uygulamanın hızı her ölçümde biraz değişebilir. Bu yüzden yavaşlamayı yakalamak için bazen geçen süreyi değil, yapılan işlem sayısını sınırlamak daha güvenilirdir. Bir cevaptaki tek bir uzun çizgi (—) karakteri, claude.ai'yi (yapay zekâ) yaklaşık bir saniye dondurabiliyordu.

Anthropic'in web ekibi, claude.ai'yi ve masaüstü uygulamasını iki haftada nasıl yaklaşık 3 kat hızlandırdıklarını yayınladı. Performans işinin çoğunu tek bir Slack kanalından Claude yaptı ve her değişikliği mühendisler onayladı.

En dikkat çekici örnek, uzun çizgi karakterinin tetiklediği hataydı. Latin-1 (sınırlı sayıda karakteri tek baytla saklayan kodlama) dışındaki herhangi bir karakter, V8'in tüm cevabı UTF-16 (karakterleri bir veya iki adet 16 bitlik birimle temsil eden kodlama) olarak saklamasına yol açıyordu, bu yüzden her syntax highlighting (kodun öğelerini farklı renklerle gösterme) regex'i (metin içindeki örüntüleri bulmaya yarayan eşleştirme kuralı) daha yavaş olan iki byte'lık (bilgisayarda sekiz bitlik veri birimi) yolda çalışıyordu. Düzeltme yaklaşık yirmi satırdı: highlight etmeden önce her kod bloğunu tek byte'lık bir string'e (metin değeri) kopyalamak.

Asıl ders, kazanımları nasıl koruduklarında. Gerçekte geçen süreyi milisaniyeyle ölçmek CI (kod değişikliklerinde kontrolleri otomatik çalıştıran süreç) için fazla gürültülüydü, bu yüzden artmasına izin vermedikleri, aynı koşullarda aynı sonucu veren sayaçları CI kapısı yaptılar:

  • Sıcak yollardaki JS instruction sayıları
  • Etkileşim başına React commit'leri (kod deposuna kaydedilen değişiklik paketi)
  • Style yeniden hesaplamaları ve DOM (tarayıcının sayfadaki öğeleri temsil ettiği yapı) mutasyonları
  • İsimlendirilmiş bölge başına layout (öğelerin ekrandaki yerleşimi) shift'ler (sayfa yüklenirken öğelerin yer değiştirmesi)

Bunlardan birini artıran bir PR (kod değişikliğinin incelenip ana sürüme alınması için açılan istek), CI'da başarısız olur.

Milisaniyeler dashboard (verileri ve işlemleri bir arada gösteren yönetim ekranı) içindir. Sayımlar CI içindir.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.