Sesli asistanları gerçek kullanıcıya çıkmadan önce, müşteri rolünü oynayan başka bir yapay zekâyla konuşturup ölçtüğümüz test ve telemetri altyapısı.
Bir Sesli Asistanı Dinleyerek Değil, Konuşturarak Test Edersiniz
Sesli bir asistanın kalitesini birkaç deneme konuşmasıyla anlamak imkânsızdır; hatalar konuşmanın kuyruğunda, araya girildiği anda, yanlış duyulan bir üründe saklanır. Hardiye için bunu bir test problemine çevirdik: müşteri rolünü oynayan bir yapay zekâ gerçek zamanlı odaya katılır ve asistanla konuşur; konuşmanın olay zaman çizelgesi yazılı senaryolara göre otomatik doğrulanır.
Gecikmeyi tek bir sayı olarak görmüyoruz. Bir cümlenin ağızdan kulağa yolculuğu adım adım işaretlenir: kullanıcının sustuğu an, modelin ilk kelimesi, sesin çalmaya başladığı an. Toplam sürenin ne kadarının arka uçta, ne kadarının avatarda harcandığını ayrı ayrı görürüz. Sahte mikrofonla çalışan bir tarayıcı, araya girme (barge-in) senaryolarını her sürümde yeniden oynatır.
Ölçüm karar verdirir: sessizlik eşiği A/B testiyle ayarlanır, araç çıktıları modelin işleyeceği boyuta sıkıştırılır, yanlış duyulmuş olabilecek bir ürün adı sesli teyide döner, konuşma dökümlerinde Latin dışı halüsinasyonlar ayrıca sayılır. Aynı disiplin diğer AI sistemlerimizde de var: kurumsal beyin için maliyet ve gecikme hedefli senaryo testleri, Motice için her sürümde sızıntı ölçümü.
Nasıl Çalışır
- LLM ile simüle edilmiş müşteri: gerçek zamanlı odada ses-ses test
- YAML senaryolarla olay zaman çizelgesi doğrulaması
- Ağızdan kulağa gecikme telemetrisi: arka uç ve avatar payı ayrı
- Sahte mikrofonlu tarayıcıyla gecikme ve araya girme testleri
- Langfuse ile oturum başına uçtan uca iz
- Maliyet ve gecikme hedefli senaryo testleri
Nerede Kullanıyoruz
Hardline Nutrition'ın sesli asistanı Hardiye'de; ayrıca APEX ve Motice'in AI katmanlarında.
Bu tekniği ürününüze taşıyalım
Aynı yaklaşımı kendi sisteminizde nasıl kurabileceğimizi ekibimizle konuşun.
İletişime Geç