Claude Code ve Remotion: ses kayarsa videoyu başarısız saymak

Kodla üretilen tanıtım filminde ses ve görüntü tek zaman çizelgesini kullanıyor. Senkron kayması otomatik kontrolle yakalanıyor.

Tanıtım filmi repo'su: Remotion AAC mux'ı yaklaşık 2.5 kare ses gecikmesi bıraktı, ffmpeg ile düzeltildi; agent medya render kontrol listesi

Yapay zekâ bir videonun görüntüsünü ve sesini kodla hazırlayabilir. Ama sesin görüntüyle aynı anda ilerlediğini söylemek için ayrıca ölçüm yapmak gerekir. Bir geliştirici Claude Code'a tek bir prompt (yapay zekâya verilen talimat veya soru) verdi ve yaklaşık 8 saat sonra 33 saniyelik bir tanıtım filmi geri aldı. Görüntü, müzik ve ses efektleri, hepsi kod.

Repo'nun (projenin dosyalarını ve değişiklik geçmişini tutan kod deposu) ilginç kısmı render (veriyi ekranda gösterilecek görünüme dönüştürme) altyapısı.

Görüntü Remotion'dan geliyor, sessiz render ediliyor. Müzik, aynı zaman çizelgesindeki işaretlerden Python ile sentezleniyor, böylece her vuruş kendi karesine denk geliyor.

İki karar öne çıkıyor. Remotion'un AAC mux'ı (ses ve görüntüyü tek dosyada birleştirme) yaklaşık 2.5 karelik ses gecikmesi bıraktı. Bu yüzden sesi ffmpeg ekliyor ve senkron 1 ms'den fazla kayarsa bir script (belirli bir işi yapan kod dosyası) build'i (kaynak kodu çalıştırılabilir veya yayımlanabilir çıktıya dönüştürme) başarısız sayıyor. Chromium'da birleştirilen motion blur (hareketi daha akıcı göstermek için kullanılan bulanıklık) her örneği 8 bit'e kuantize (sayısal değerleri daha sınırlı bir hassasiyete yuvarlama) etti ve gradyanlarda halkalanma yaptı. Bu yüzden alt kareler float (ondalıklı sayıları temsil eden veri türü) olarak ortalanıyor ve tek seferde kuantize ediliyor.

Bir agent (araç kullanarak bir görevin adımlarını yürüten yapay zekâ ajanı) saatlerce medya render ediyorsa:

  • görüntü ve ses için tek zaman çizelgesi
  • mux'ı framework (uygulama geliştirmek için hazır yapı ve araçlar sunan çatı) dışında yapın
  • senkronu başarısız olabilen bir kontrol yapın
  • inceleme için contact sheet'ler (çok sayıda video karesini birlikte gösteren görsel özet)

Bir agent bütün gece çalışabilir. Ona başarısız olabilecek bir kontrol verin.

Bu yazı İngilizce aslından Türkçeye çevrilmiştir.

Videoyu LinkedIn'de izle ↗

Çözmeye değer bir problemin mi var?Birlikte çözelim

Konuşmaya başla

Full-stack ve uygulamalı AI rollerine açığım, uzaktan veya hibrit.

Rolü, ekibi ve problemi anlat.