Sesli AI ajanı seçerken en yanıltıcı ölçüt, kurgulanmış demo performansıdır. On dakikalık bir demo kusursuz görünebilir; gerçek fark yoğun saatlerde, aksan çeşitliliğinde ve kopan bağlantılarda ortaya çıkar. Aşağıdaki kontrol listesi, kararı izlenime değil operasyonel kanıta bağlamak için hazırlandı.
Listeyi bir puan tablosu gibi değil, her maddesi için “bunu nasıl test ederiz” sorusunu sorduğunuz bir çalışma belgesi olarak kullanın. Test yöntemi tanımlanamıyorsa o madde henüz bir vaattir.
Gecikmeyi ortalama değil, 95. yüzdelik olarak isteyin
Uçtan uca ilk yanıt süresi; konuşma tanıma, niyet çözümleme, yanıt üretimi, seslendirme ve telefon hattı gecikmelerinin toplamıdır. Tedarikçiden bu kalemleri ayrı ayrı rakamla istemek, darboğazın nerede oluştuğunu gösterir. Sözleşmeye ortalama değil, 95. yüzdelik üst sınır yazılmalı; çağrı sahibinin sabrını tüketen şey ortalamalar değil, ara sıra yaşanan uzun sessizliklerdir.
Gecikme bütçesini çağrı tipine göre ayırın. Kimlik doğrulama gibi adım adım ilerleyen akışlarda kısa bir onay sesi (“bir saniye, kaydınızı açıyorum”) algılanan beklemeyi düşürür. Sessizlik ise en sık çağrı terk nedenidir; bu yüzden hızlı bir dolgu cümlesi, teknik olarak daha hızlı ama sessiz bir akıştan daha iyi çalışır.
- Yük testi: aynı numaradan art arda 50 çağrı ile 95. yüzdelik ölçümü
- Kesinti testi: paket kaybı ve operatör aktarımı sırasında yeniden bağlanma davranışı
- Sıra testi: iki çağrı aynı anda insana düştüğünde uygulanan öncelik kuralı
- Aksan testi: aynı senaryonun ana dil dışında en az iki aksanla okunması
- Bozuk giriş testi: arka plan gürültüsü, söz kesme ve yarım bırakılan cümleler
İnsana devir kurallarını yazılı isteyin
İyi bir devir, ajanın başarısız olduğu an değil, tanımlı koşulların oluştuğu andır. Kimlik doğrulama başarısız olduğunda, aynı konu ikinci kez tekrarlandığında, çağrı sahibi açıkça insan istediğinde veya olumsuz duygu belirli bir eşiği aştığında devir tetiklenmeli. Bu koşullar sözleşmede madde madde yer almalı; “gerekirse devreder” ifadesi operasyon ekibine hiçbir şey söylemez.
- Devir öncesi özet: operatöre konu, doğrulanan kimlik ve denenen adımlar aktarılır
- Bekleme anonsu: sıradaki kişi sayısı ve gerçekçi bir tahmini süre
- Devir sonrası etiket: hangi koşulun tetiklendiği ve ajanın son üç cümlesi
- Geri dönüş kuralı: operatör çağrıyı kapatırsa kaydın nasıl sınıflandırılacağı
Devir oranı tek başına bir başarı göstergesi değildir. Çok düşük devir, ajanın çözemediği konuları da üstlendiği anlamına gelebilir; çok yüksek devir ise gereksiz yere topu operatöre attığını gösterir. İkisini çözüm oranıyla birlikte okumak gerekir.
Loglama, maskeleme ve saklama
Her çağrı için tam metin dökümü tutmak zorunlu değildir; çoğu operasyon için yeterli olan, karar noktalarının kaydıdır: hangi adım çalıştı, hangi alan doğrulandı, hangi yanıt üretildi, hangi araç çağrıldı. Ses kaydı gerekiyorsa saklama süresi, erişim yetkisi ve maskeleme kuralları baştan tanımlanmalı. Kart numarası, kimlik numarası ve sağlık verisi gibi alanlar döküme yazılmadan önce maskelenmelidir.
Demo, ajanın en iyi konuştuğu günü gösterir; loglar ise en kötü gününü.
Tedarikçi değişimini de baştan planlayın: dökümler, çağrı meta verisi ve konfigürasyon hangi formatta teslim edilecek? Bu madde sözleşmede yoksa iki yıl sonraki geçiş maliyeti, ilk kurulum maliyetini geçebilir.
Dil kapsamını kendi verinizle test edin
Bir ajanın elliden fazla dil desteklediği bilgisi tek başına bir şey söylemez. Kendi çağrı kayıtlarınızda hangi dillerin, hangi oranda ve hangi aksanla geldiğini ölçün; ardından yalnızca ilk üç dil için derinlikli test yapın. Kalan diller için “tanıma var, doğrulama sınırlı” varsayımıyla plan yapmak sürprizleri azaltır.
Pilot süresini takvimle değil örneklemle sınırlayın. İlk üç dilde en az iki yüz gerçek çağrı dinlenmeden çözüm oranı hakkında konuşmak yanıltıcıdır; küçük bir örneklemde birkaç iyi çağrı, ajanı olduğundan olgun gösterir. Değerlendirme toplantılarında “kaç çağrı dinledik” ve “kaç bulgu kapattık” sorularının cevabı yoksa, karar henüz kanıta değil izlenime dayanıyor demektir.
Son adım, kanıtı sözleşmeye taşımaktır: gecikme eşiği, devir koşulları, saklama süresi ve dil kapsamı ölçülebilir maddeler olarak yazılmalı. Ölçülemeyen taahhüt, ilk çeyrek değerlendirmesinde tartışma konusu olur.
Bu listeyi kendi operasyonunuza uyarlarken en zor kısım, hangi maddelerin gerçekten kritik olduğuna karar vermektir. Çağrı hacminizin yüzde sekseni üç senaryodan geliyorsa listenin ağırlığını o üç senaryoya verin; geri kalanı ikinci faz planına bırakın.
