Voicebot ile anket operasyonuna geçen kurumlarda ilk çeyrekte tekrar eden bir tablo var: temas sayısı belirgin şekilde artıyor, memnuniyet skoru ise düşüyor. Ekipler bunu genellikle "otomatik sistem insanlar tarafından sevilmedi" diye yorumluyor.
Çoğu durumda olan şey farklı. Daha önce ankete katılmayan müşteri grubu artık katılıyor ve bu grubun görüşü zaten daha olumsuz. Skor düşmedi, ölçüm daha temsili hale geldi.
Bu ayrımı yapamayan bir ölçüm sistemi, iyileştirme kararlarını yanlış yönlendirir. O yüzden sesli anket kurulumunda soru metninden önce metodolojiyi konuşmak gerekiyor.
Yanıt vermeyen kitle, verenler kadar bilgi taşır
Manuel arama ile yürütülen anketlerde hedef kitlenin küçük bir kısmına ulaşılır ve ulaşılanların da bir kısmı görüşmeyi tamamlar. Bu iki filtre, örneklemi sessizce şekillendirir. Gündüz saatlerinde telefonuna bakabilen, görüşmeye zaman ayırabilen, markayla ilişkisi zaten iyi olan müşteriler daha yüksek oranda ankete girer.
Otomatik arama bu filtreleri gevşetir. Akşam saatlerinde, kısa görüşmelerle, tekrar denemelerle daha geniş bir kesime ulaşılır. Bunun sonucunda skor genellikle bir miktar düşer. Bu düşüş bir sorun değil, önceki ölçümün yanlılığının ortaya çıkmasıdır.
Doğru yaklaşım, geçiş döneminde iki ölçümü paralel yürütmek. En az bir çeyrek boyunca eski yöntemle ve yeni yöntemle aynı segmentleri ölçüp aradaki farkı hesaplarsanız, sonraki dönemlerde trendi doğru okuyabilirsiniz. Bu adımı atlayan kurumlar, sonraki bir yıl boyunca "geçen yıla göre" karşılaştırma yapamaz hale geliyor.
Yanıt oranı derken neyi kastediyorsunuz
Toplantılarda "yanıt oranımız yüzde 60" cümlesi çok sık geçiyor ama neredeyse her seferinde farklı bir şey ölçülüyor. Aranan numaraya göre mi, ulaşılan kişiye göre mi, görüşmeyi başlatana göre mi hesaplandığı belirsiz kalıyor.
AAPOR'un anket araştırmalarında yaygın kabul gören standart tanımları bu ayrımları netleştirir: yanıt oranı, temas oranı, işbirliği oranı ve tamamlanma oranı farklı büyüklüklerdir (AAPOR Standard Definitions). Kurum içinde hangi tanımı kullandığınızı yazılı hale getirmek, üç ay sonra çıkacak tartışmayı baştan bitirir.
NPS'in gerçekte ne söylediği
Net Promoter Score, Reichheld'in 2003'teki Harvard Business Review makalesiyle yaygınlaştı. Makalenin iddiası güçlüydü: "Tavsiye eder misiniz" sorusu büyümenin en iyi tek göstergesiydi (Reichheld, HBR 2003).
Bu iddia sonradan ciddi biçimde tartışıldı. Keiningham ve arkadaşlarının 2007'de Journal of Marketing'de yayımlanan çalışması, NPS'in firma gelir büyümesini öngörmede diğer memnuniyet ve sadakat metriklerinden daha başarılı olmadığını gösterdi. Sonraki yıllarda yapılan replikasyon çalışmaları da orijinal bulgunun kesitsel veriye dayandığına ve boylamsal verilerle aynı gücü göstermediğine dikkat çekti (MeasuringU replikasyon özeti).
Bunun anlamı NPS'i bırakmak değil. NPS, kurum içinde tek bir sayı etrafında ortak dil kurmak için hâlâ işlevsel. Ancak "NPS'i 5 puan artırırsak ciro şu kadar büyür" cümlesi literatürün desteklediği bir cümle değil. NPS'i bir yönetim aracı olarak kullanın, bir tahmin modeli olarak değil.
Aynı nedenle, tek başına NPS toplamak yetersiz kalıyor. Puanın yanında "neden" sorusunun cevabı olmadığında elinizde aksiyon alınabilir bir şey kalmıyor.
Çaba, memnuniyetten daha iyi bir operasyon sinyali olabilir
Dixon ve arkadaşlarının 2010 tarihli çalışması, müşteriyi memnun etmeye çalışmanın sadakat üzerindeki etkisinin sanıldığı kadar güçlü olmadığını, buna karşılık müşterinin harcadığı çabayı azaltmanın daha belirleyici olduğunu savundu (Dixon, Freeman, Toman, HBR 2010).
Operasyonel açıdan bu önemli, çünkü çaba sorusu ("Sorununuzu çözmek için ne kadar uğraşmak zorunda kaldınız") memnuniyet sorusundan daha somut bir aksiyona işaret eder. Düşük CSAT bir duyguyu, yüksek çaba skoru ise genellikle bir süreç arızasını gösterir.
Sesli ankette çaba sorusunu sormak da kolaydır, çünkü kısa ve tek boyutludur.
Sesli kanalın kendine özgü tasarım kısıtları
Web anketinden kopyalanan soru setleri telefonda çalışmaz. Birkaç somut fark var.
Ölçek uzunluğu. 0-10 arası bir ölçeği sesli olarak okumak zaman alır ve kullanıcı ölçeğin uçlarını unutur. 1-5 ölçeği sesli kanalda belirgin şekilde daha iyi çalışır. Ancak ölçek değiştirmek geçmiş verinizle karşılaştırılabilirliği bozar. Bu yüzden ölçeği değiştirme kararı, ölçüm sisteminin en pahalı kararlarından biridir ve gerekiyorsa geçiş döneminde her iki ölçekle paralel ölçüm yapılmalıdır.
Soru sırası. Önce sorulan soru sonrakini etkiler. Genel memnuniyet sorusunu, spesifik sorunlardan sonra sorarsanız puan düşer. Ölçüm setinin sırası bir kez sabitlenmeli ve dönemler arası değiştirilmemelidir.
Açık uçlu sorunun yeri. Açık uçlu soruyu başa koyduğunuzda tamamlanma oranı düşer. Sona koyduğunuzda hem daha çok kişi ulaşır hem de kişi puanını verdikten sonra gerekçesini anlatır, bu da kodlamayı kolaylaştırır.
Görüşme uzunluğu. Telefonda üç dakikayı geçen anketlerde yarıda bırakma oranı hızla artar. Sekiz soruluk bir set genellikle üst sınırdır. Daha fazlasını sormak istiyorsanız soruları dönemlere bölmek, tek seferde sormaktan daha iyi sonuç verir.
Kanal değişimi tek başına skoru değiştirir
Anket metodolojisinde bilinen bir konu bu: aynı soru farklı kanalda sorulduğunda farklı cevap alır. İnsan görüşmeciyle konuşan kişiler, otomatik bir sisteme kıyasla daha yumuşak puanlar verme eğilimindedir; buna karşılık otomatik kanalda hassas konularda daha dürüst cevaplar alınabilir. Bu etkiler literatürde kanal etkisi (mode effect) başlığı altında ayrıntılı olarak ele alınır (bkz. Dillman, Smyth ve Christian, Internet, Phone, Mail, and Mixed-Mode Surveys).
Pratik sonucu şu: kanal değiştirdiğiniz çeyrekte skor karşılaştırması yapmayın, önce kalibrasyon yapın.
Açık uçlu cevapların işlenmesinde tutarlılık
Sesli anketin en değerli çıktısı puan değil, açık uçlu cevaplardır. Bunları otomatik etiketlemek mümkün ancak burada da bir kalite sorusu var: aynı cevap iki farklı zamanda aynı etiketi alıyor mu?
Bunu ölçmenin pratik yolu, düzenli olarak küçük bir örneklem üzerinde insan kodlaması yapıp otomatik etiketlerle karşılaştırmak. Anlaşma oranı düştüğünde bu genellikle etiket setinin fazla büyümesinden kaynaklanır. Elli farklı konu etiketi tanımlanan sistemlerde tutarlılık hızla bozulur. On beş civarında ana kategori ve altında serbest anahtar kelimeler, daha sürdürülebilir bir yapı sunar.
Transkript kalitesi de doğrudan etiket kalitesini etkiler. Ürün adları, şube isimleri, kampanya kodları gibi kuruma özgü terimler tanınmıyorsa açık uçlu analiz sistematik olarak eksik çalışır. Bu terimlerin sözlüğe eklenmesi, model değiştirmekten çok daha fazla fayda sağlar.
Ölçüm sistemini kurarken netleştirilecekler
- Hangi temas türünden sonra, kaç saat içinde ölçüm yapılacak
- Örneklem nasıl seçilecek, segment kotaları var mı, ağırlıklandırma yapılacak mı
- Yanıt oranı hangi tanımla raporlanacak
- Ölçek ve soru sırası sabit mi, değişecekse paralel ölçüm dönemi tanımlı mı
- Açık uçlu cevaplar için etiket seti kaç kategoriden oluşuyor ve kim sahibi
- Otomatik etiketleme ile insan kodlaması ne sıklıkla karşılaştırılacak
- Skor değişimi raporlanırken örneklem kompozisyonundaki değişim de raporlanıyor mu
Son madde en çok atlananı. Skorun yanında o dönemin örneklem dağılımını göstermeyen bir rapor, iyileştirme kararlarını yanlış yönlendirmeye açıktır.
Sesli anket akışlarının nasıl kurulduğunu ve sonuçların hangi kırılımlarla raporlandığını Anket ve Müşteri Deneyim Ölçümleme sayfalarında bulabilirsiniz.
Kaynaklar
- Reichheld, F. (2003). The One Number You Need to Grow. Harvard Business Review. hbr.org
- Keiningham, T. L., Cooil, B., Andreassen, T. W., Aksoy, L. (2007). A Longitudinal Examination of Net Promoter and Firm Revenue Growth. Journal of Marketing, 71(3). Özet ve replikasyon tartışması: measuringu.com
- Dixon, M., Freeman, K., Toman, N. (2010). Stop Trying to Delight Your Customers. Harvard Business Review. hbr.org
- AAPOR, Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. aapor.org