Kalite ekipleri geleneksel olarak çağrıların çok küçük bir kısmını dinler. Temsilci başına ayda birkaç görüşme, toplam hacmin yüzde biri ya da ikisi. Bu örneklemle yapılan değerlendirme, temsilcinin gerçek performansından çok o ay hangi çağrıların seçildiğine bağlıdır.
Otomatik analiz bu kısıtı ortadan kaldırır. Bütün görüşmeler metne çevrilebilir, etiketlenebilir ve skorlanabilir. Ancak yüzde yüz kapsama tek başına daha iyi bir kalite yönetimi anlamına gelmiyor. Kapsamayı artırırken hangi ölçümün güvenilir, hangisinin tartışmalı olduğunu ayırmak gerekiyor.
Her şey transkript kalitesiyle sınırlı
Analiz zincirindeki tüm çıktılar transkriptin üzerine kurulur. Transkript hatalıysa özet, etiket ve skor da hatalı olur, üstelik hata sessizce ilerler.
Türkçe çağrı kayıtlarında transkript kalitesini belirleyen birkaç somut faktör var:
Ses bandı. Telefon hattı dar bantlıdır ve stüdyo kaydına göre belirgin şekilde daha az bilgi taşır. Genel amaçlı bir konuşma tanıma modelinin temiz kayıtlarda gösterdiği performans, telefon kaydında aynı olmaz. Kıyaslama yaparken kendi kayıtlarınızı kullanın, üretici demolarını değil.
Kuruma özgü terimler. Ürün adları, kampanya isimleri, şube adları, tarife kodları ve alfanumerik referanslar genel modellerin en zorlandığı alan. Bu terimlerden oluşan bir sözlüğün sisteme tanıtılması, model değiştirmekten çok daha fazla iyileşme sağlıyor. Yüz-iki yüz terimlik bir liste, çoğu kurumda bir günde çıkarılabilir.
Konuşmacı ayrımı. Müşteri ile temsilcinin ayrıştırılması, kalite skorunun temelidir. "Yasaklı ifade kullanıldı" sinyali, o ifadenin kim tarafından söylendiği bilinmiyorsa değersizdir. Burada en etkili çözüm teknik değil operasyoneldir: kayıt sistemi çift kanallı kayıt alabiliyorsa, temsilci ve müşteri ayrı kanallara yazılır ve konuşmacı ayrımı problemi neredeyse tamamen ortadan kalkar. Tek kanallı kayıtlarda algoritmik ayrım gerekir ve üst üste binen konuşmalarda hata payı yükselir.
Bir çağrı analitiği projesine başlarken sorulacak ilk soru, kullanılacak modelden önce şudur: kayıtlar tek kanallı mı, çift kanallı mı?
Kalite formunun otomatikleştirilebilen ve edilemeyen kısmı
Kalite formlarında iki tür madde vardır ve bunları ayırmadan otomatikleştirme denemek genellikle başarısız olur.
Nesnel maddeler, varlığı veya yokluğu metinden doğrulanabilen şeylerdir:
- Açılış ve kapanış anonsunun yapılması
- Kimlik doğrulama adımlarının tamamlanması
- Zorunlu bilgilendirmelerin okunması
- Yasaklı veya riskli ifadelerin kullanılmaması
- Müşterinin talebinin özetlenerek teyit edilmesi
Bunlar otomatik denetime uygundur ve yüzde yüz kapsama burada gerçek bir kazanç sağlar. Bir zorunlu bilgilendirmenin görüşmelerin yüzde kaçında atlandığını örneklemle değil tam sayımla bilmek, doğrudan bir uyum kazanımıdır.
Öznel maddeler ise farklıdır: empati kurma, çözümün uygunluğu, müşteriyi yönlendirme becerisi. Bunlar için otomatik skor üretmek mümkündür ama tek başına karar verici olarak kullanılmamalıdır. Bu maddelerde otomatik skoru bir önceliklendirme aracı olarak kullanmak daha doğru: sistem hangi görüşmelerin insan tarafından dinlenmesi gerektiğini işaretler, kararı insan verir.
Kalibrasyon yapılmayan skor sistemi terk edilir
Otomatik kalite skoru devreye alındığında ilk aylarda mutlaka insan skoruyla karşılaştırılmalı. Aynı görüşmeler hem sistem hem kalite uzmanı tarafından değerlendirilir ve aradaki fark ölçülür.
Bu adım atlandığında olan şu: temsilciler skorlara güvenmez, itiraz eder, yöneticiler skorları savunamaz ve sistem birkaç ay içinde raporda görünen ama kimsenin bakmadığı bir metriğe dönüşür.
Kalibrasyonun yanında bir itiraz mekanizması da gerekir. Temsilci bir skora itiraz edebilmeli, itiraz insan tarafından incelenmeli ve sonuç kayıt altına alınmalı. Bu, performans yönetiminin meşruiyeti açısından teknik doğruluk kadar önemli.
Duygu analizi konusunda iki ayrı uyarı
Çağrı analitiğinin en çok konuşulan özelliği duygu skoru. Bu alanda iki farklı türden dikkat gerekiyor: biri bilimsel, diğeri hukuki.
Bilimsel taraf: ifadeden duyguya geçiş göründüğü kadar kolay değil
Duygu tanıma sistemlerinin dayandığı temel varsayım, belirli ifadelerin belirli duygulara karşılık geldiğidir. Bu varsayım psikoloji literatüründe kapsamlı biçimde eleştirildi. Barrett ve arkadaşlarının 2019'daki geniş derlemesi, yüz hareketlerinden duygu çıkarımının sanıldığı kadar güvenilir olmadığını, aynı duygunun farklı ifadelerle ve aynı ifadenin farklı duygularla ortaya çıkabildiğini gösterdi (Barrett ve ark., Psychological Science in the Public Interest, 2019).
Bu çalışma yüz ifadelerine odaklanıyor. Ancak eleştirinin özü sese de uyuyor: bağlamdan bağımsız olarak sesin tonundan duygu çıkarmak, sağlam bir çıkarım zinciri kurmuyor. Yüksek sesle konuşan biri sinirli olabilir, hattı kötü duyuyor olabilir, gürültülü bir yerde olabilir ya da sadece öyle konuşuyor olabilir.
Pratikte daha savunulabilir bir yaklaşım, "duygu" yerine davranışsal ve içerikten çıkarılabilir sinyaller kullanmak:
- Müşterinin aynı talebi tekrar etme sayısı
- Görüşme içinde sözün kesilme sıklığı
- Şikayet, iptal, yasal süreç gibi ifadelerin geçmesi
- Görüşmenin çözümsüz kapanması
- Kısa süre içinde tekrar arama
Bu sinyaller hem daha ölçülebilir hem de bir yöneticiye açıklanması daha kolay. "Bu görüşmede müşteri üç kez aynı şeyi tekrar etti ve iptal kelimesi geçti" cümlesi, "duygu skoru 0,31" cümlesinden çok daha fazla aksiyon üretir.
Hukuki taraf: çalışan duygusu ayrı bir kategori
Burası çok kritik ve sık atlanıyor. AB Yapay Zeka Tüzüğü, işyeri ve eğitim kurumlarında gerçek kişilerin duygularını çıkarmaya yönelik yapay zeka sistemlerinin piyasaya sürülmesini ve kullanılmasını yasaklıyor. İstisna yalnızca tıbbi veya güvenlik amaçlı kullanımlar için tanımlı. Yasak hükümleri 2 Şubat 2025'ten itibaren uygulanıyor ve ihlali en ağır ceza kategorisinde (Article 5(1)(f) değerlendirmesi, Future of Privacy Forum).
Bunun çağrı merkezi tarafındaki karşılığı şu: AB kapsamındaki bir operasyonda temsilcinin duygusunu analiz eden bir sistem yasak kapsamına girer. Müşterinin duygusunu analiz etmek bu yasağın kapsamında değildir, ancak duygu tanıma sistemleri Tüzük'te ayrıca düzenlenir ve maruz kalan kişilerin bilgilendirilmesi gerekir.
Türkiye'de faaliyet gösteren ve AB'de müşterisi olmayan kurumlar için bu Tüzük doğrudan uygulanmıyor. Buna karşılık KVKK açısından çalışan izlemede ölçülülük ve amaçla bağlantılılık ilkeleri geçerli. Temsilcinin ses tonundan duygu çıkarımı yapan bir sistemin, işin gereğiyle orantılı olduğunu savunmak kolay değil.
Özetle: müşteri tarafındaki sinyalleri toplayın, temsilci tarafında davranışsal ve süreç uyumu ölçün, duygu çıkarımını çalışan değerlendirmesinin girdisi haline getirmeyin.
Analizi iş sonucuna bağlamak
Kalite skorlarının kendi başına bir değeri yok. Değerli olan, skorun iş sonucuyla ilişkisini kurabilmek.
Pratikte kurulması gereken bağlantılar şunlar: hangi konu etiketleri tekrar aramaya yol açıyor, hangi süreç adımları görüşme süresini uzatıyor, hangi bilgilendirme eksikliği sonradan şikayete dönüşüyor, hangi ürün soruları temsilciyi en çok zorluyor.
Bu bağlantılar kurulduğunda çağrı analitiği bir kalite aracı olmaktan çıkıp süreç ve ürün iyileştirme girdisi haline geliyor. Kayıtlardan çıkan en değerli çıktı çoğunlukla temsilci skorları değil, ürün ve süreç ekiplerine giden konu listesi oluyor.
Kurulum kontrol listesi
- Kayıtlar tek kanallı mı çift kanallı mı, konuşmacı ayrımı nasıl çözülecek
- Kuruma özgü terim sözlüğü hazırlandı mı
- Kalite formundaki nesnel ve öznel maddeler ayrıldı mı
- Otomatik skor insan skoruyla düzenli kalibre ediliyor mu
- Temsilci itiraz mekanizması tanımlı mı
- Duygu çıkarımı çalışan değerlendirmesinde kullanılıyor mu (kullanılmamalı)
- AB kapsamında bir operasyon var mı, varsa hukuki değerlendirme yapıldı mı
- Analiz çıktıları ürün ve süreç ekiplerine düzenli olarak akıyor mu
Analiz servislerinin API üzerinden nasıl bağlandığını Çağrı Analitiği Servisleri sayfasında, yorum ve serbest metin tarafını ise Yorum Analiz Servisleri sayfasında bulabilirsiniz.
Bu yazı genel bilgilendirme amaçlıdır, hukuki görüş yerine geçmez.
Kaynaklar
- Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M., Pollak, S. D. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest, 20(1). journals.sagepub.com
- EU AI Act, Article 5: Prohibited AI Practices. artificialintelligenceact.eu
- Future of Privacy Forum, Red Lines under EU AI Act: emotion recognition in the workplace. fpf.org
- Kişisel Verileri Koruma Kurumu. kvkk.gov.tr