Günümüzde müşteri hizmetlerinde güvenlik ve müşteri deneyimi genellikle ayrı başlıklar altında ele alınmaktadır. Oysa gerçek ihtiyaç, doğru kişiye güvenli hizmet sunarken müşterinin ruh hâlini de anlayabilmektir. Bu proje, sesli kimlik doğrulama, duygu analizi ve konuşma çözümleme teknolojilerini tek bir platformda birleştirerek çağrı merkezi süreçlerine bütüncül bir yaklaşım sunar.

Sistem, çağrı başladığı anda arka planda çalışmaya başlar. Arayan kişinin sesi, daha önce kayıt altına alınmış ses örnekleriyle karşılaştırılarak biyometrik kimlik doğrulaması yapılır. Sonrasında ses tonu, konuşma hızı ve frekans değişimleri analiz edilerek müşterinin duygu durumu belirlenir. Bu süreç, müşteri temsilcisinin ekranda hem güvenlik durumu hem de iletişim bağlamını net şekilde görmesini sağlar.

Sesli kimlik doğrulamada, gürültülü ortamlarda dahi yüksek doğruluk sağlayan ECAPA-TDNN modeli kullanılarak sesin ayırt edici “parmak izi” çıkarılır. Duygu analizinde ise Wav2Vec2 tabanlı derin öğrenme modeli sayesinde ham ses verisi üzerinden, duygusal tonlama korunarak analiz yapılır. Bu yaklaşım özellikle Türkçe konuşmalar için güçlü bir genelleme yeteneği sunar.

Proje yalnızca analiz üretmekle sınırlı kalmaz. Gerçek zamanlı öneri motoru, tespit edilen duygu durumuna göre müşteri temsilcisine uygun çözüm yaklaşımı veya kampanya önerileri sunar. Ayrıca konuşma çözümleme modülü, görüşmeyi yazıya dökerek konuşma veya telaffuz güçlüğü yaşayan bireyler için iletişimi kolaylaştırır.

Modüler ve ölçeklenebilir yapısıyla sistem; telekom, bankacılık, e-ticaret ve kamu hizmetleri gibi birçok sektöre uyarlanabilir. Bu proje, çağrı merkezlerini yalnızca daha güvenli değil, aynı zamanda daha empatik, erişilebilir ve verimli hâle getiren insan merkezli bir yapay zekâ çözümü sunmaktadır.

Aşağıda projemizin çalışmasına yönelik görseller bulunmaktadır: