技術探索

生成式AI於文字客服機器人應用

工業技術研究院 資訊與通訊研究所 涂家章

前言

在AI的浪潮推動下,AI融入了我們的生活之中,尤其是在智慧客服領域,鑑別式AI已經大量應用於各行各業的客戶服務。目前市面上常見的是以鑑別式AI技術為基礎的文字客服機器人來擔任第一線的客戶互動角色,提供即時回饋和基礎問題的解決,目前的文字客服機器人能解決80%的問題,剩下20%才轉接至真人客服專員。然而,隨著生成式AI(大語言模型)的發展,以生成式AI來提升目前文字客服機器人的服務能力與品質是目前技術發展的新趨勢與焦點。透過生成式AI技術,可以讓機器人擁有更好的理解與生成能力,提高問題解析準確性,降低答非所問率,可以直接解決90%以上的問題,且能夠產生更加切合民眾需求的回覆。

 精彩內容

 1. 生成式AI改造文字客服機器人大腦
 2. 生成式AI協助真人客服提高服務品質與效率
 3. 生成式AI發掘隱藏的民眾意見
 4. RAG架構重塑客服機器人

生成式AI改造文字客服機器人大腦

運用大語言模型技術,如圖1所示,可以改造文字客服機器人大腦,從根本上提升文字客服機器人的理解和生成能力。具體而言,可以根據真實世界的客服數據不斷優化模型,使其針對客服領域的詞彙、語法和語義建立更加精準的理解。在互動過程中,透過客戶歷史對話紀錄,機器人可以更加準確地把握每個客戶的個性化需求。另外,可利用大語言模型進行文本情感分析(Sentiment analysis)和情緒辨識(Emotion Recognition)以了解客戶情緒,當客戶情緒潛在不佳時,主動詢問或轉人工以減少民眾負評。此外,後台的品質監控可以持續檢測機器人回覆的適當性並根據回饋調整模型。在持續服務過程中,文字客服機器人會像真人客服員工一樣,在大量真實業務案例中累積經驗,不斷累積知識庫。在人機協作模式下,客服團隊整體服務能力將得到大幅提升。

圖1 生成式AI改造文字客服機器人大腦

圖2 人機協作智慧客服

生成式AI協助真人客服

如圖2所示,智慧客服是採用人跡協作模式,當文字客服機器人無法解決使用者問題,轉接由真人服務時,生成式AI也可以提升真人服務的效率與品質。生成式AI可利用如圖3所示架構,結合知識檢索、提示工程與大語言模型來協助真人客服,從大量資料庫中(如帳單系統、CRM系統)快速提取相關資訊,並根據問題內容生成解決方案或回覆摘要,這樣可以讓客服人員免於手動搜索資料庫,直接獲取AI總結的重點內容。此外,生成式AI還可以根據歷史對話數據,提供相關的問題樣板、標準答覆、過往案例等,這些內容讓客服人員可以更快速地抓住問題重點並制定應對策略,同時也減少人為錯誤發生的機率。最後,真人客服可以根據AI生成的內容,進行適當地人性化調整,確保語氣和措辭符合企業形象與服務標準。這樣既提高了工作效率,也保證了服務品質。通過人機協作,生成式AI使得真人客服既擁有AI技術的支持,也兼具人性化溝通的優勢。這將大幅增強企業的整體客服品質,實現更出色的用戶體驗。

圖3 生成式AI協助真人客服

生成式AI發掘隱藏的民眾意見

如圖4所示,利用生成式AI分析民眾的問題,並自動將問題分類,藉此找出隱性的民眾意見;例如,民眾針對某一張信用卡新推出的優惠活動詢問度很高,透過自動分析可以了解是熱度很高,還是活動辦法不清楚導致詢問度很高。此外,生成式AI還可以進一步分析問題的內容和脈絡,找出民眾的真正疑慮和關注點在哪裡;例如,優惠活動的申請流程是否方便、實際折扣力度如何、可以同時與其他活動共用嗎?諸如此類的細節常常隱藏在案件處理的大量文字訊息當中,很難由人工快速分析挖掘,而生成式AI具備自然語言理解和深度學習的能力,可以在大數據條件下找出這些重要的模式和見解,運用大語言模型和數據分析的結合,匯集了高級語言處理的能力和從大量數據中提取見解的能力,使用大語言模型來分析文字數據,提取有價值的資訊,以大語言模型進行情感分析、辨識關鍵主題並提取相關關鍵字,分析出隱含的重要資訊,這為企業提供了直接而深入地理解客戶真正需要和想法的途徑,並且可以根據這些發現來優化產品、改進服務流程、制定更精準的市場策略。

4 生成式AI發掘隱藏的民眾意見

RAG架構重塑客服機器人

前面提到了如何運用生成式AI(大語言模型)來輔助客服機器人,但大語言模型存在了幻覺問題(Hallucinations)[1],大語言模型會生成完全捏造的資訊,既不準確也不真實,對於客服這類的知識密集的任務,需要的是正確的回應,幻覺是一個需要克服的問題,目前主流的技術是檢索增強生成(RAG, Retrieval-Augmented Generation)架構[2],結合資料檢索(Retrieval)和文本生成(Generation)的方法,將資料來源限縮於特定資料庫,可增強大型語言模型回答的準確性,降低產生生幻覺。RAG先將顧客的問題與知識庫裡的資料進行配對,從中擷取出與問題相關的知識片斷。接著,利用一個事先訓練好的大型語言模型(或是經過領域資料微調過),以這些獲取的知識片段來生成參考回覆。在抽取知識的階段,透過比對詞向量(Word Embedding or Word Vector)的相似度來找出與用戶問題最為吻合的知識,在產生答案時,則是將這些豐富的知識直接融入語言模型中,引導它生成最符合提問的回應。而RAG架構中的一個關鍵點在於資料檢索技術的準確度,如果檢索結果沒有涵蓋到問題的答案,第二階段的答案生成將無法生成正確答案,工研院在檢索技術深耕多年,研發以語意搜尋技術(Semantic Search)結合重排技術(rerank)之資料檢索技術,結合工研院檢索技術的RAG架構,準確率可提昇10%~15%。

圖5 RAG架構

未來技術發展方向

透過RAG架構建構的生成式AI客服機器人顯著改善了幻覺問題,但偶爾的幻覺仍然存在。為了進一步提升生成內容的準確性和品質,目前文獻上的研究如Self-RAG[3]和SelfCheckGPT[4]等技術,這些方法分別通過訓練語言模型的檢索、生成和評論能力,以及提供無需額外資源的幻覺檢測機制,來增強大型語言模型在文本生成時的事實性和可靠性,工研院目前也正在研發相關技術,未來可進一步提升AI客服機器人在實際應用中的用戶信任度。

結論

綜上所述,生成式AI在智慧客服的應用中具有巨大的價值,它可以幫助企業提高服務效率,降低人力成本,優化業務流程,並發掘更多商機。通過提供自動化、個性化、標準化的回應,以及對話內容的智能分析,生成式AI為客服提供了更智慧化的工具和洞察力。企業應充分利用和發掘生成式AI在智慧客服領域的應用價值,以實現更出色的客戶服務體驗、更高效的內部流程、更低的運營成本、以及更強的業務擴張能力。充分運用AI賦能的智慧客服,將是企業在未來競爭中站穩腳步的關鍵。

參考文獻

[1] Li, Junyi, et al. "The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models." arXiv preprint arXiv:2401.03205 (2024).
[2] https://www.databricks.com/glossary/retrieval-augmented-generation-rag
[3] Asai, Akari, et al. "Self-rag: Learning to retrieve, generate, and critique through self-reflection." arXiv preprint arXiv:2310.11511 (2023).
[4] Manakul, Potsawee, Adian Liusie, and Mark JF Gales. "Selfcheckgpt: Zero-resource black-box hallucination detection for generative large language models." arXiv preprint arXiv:2303.08896 (2023).