人工智慧在產業的應用-AI 智慧客服系統

在前篇文章中，我提到從內部問題通報系統的開發經驗，延伸至對外部客戶服務的 AI 智慧客服系統。

不論是線上客服還是語音客服系統，傳統的客服系統多依賴樹狀的問答結構來解決問題。我在 2007 年時，曾經基於 MSN 即時通訊開發過一款問答機器人，當時的技術核心就是通過樹狀結構分類問題，串接了 Wakema 這個 B2C 的平台，並回傳相應的答案。而語音客服系統如銀行業的應用，也是依靠類似的模式來提供預錄解答或導引客戶至合適的服務人員。

然而，隨著人工智慧技術的快速發展，特別是近年來大型語言模型（LLM）的突破，客服系統有了質的飛躍。這並不是完全顛覆原有結構，而是通過 LLM 的技術來優化前端的輸入與後端的輸出，使得系統能夠處理更複雜的對話，並提供更靈活的解決方案。

◎知識庫在客服系統中的應用
知識庫的建立是智慧客服系統的關鍵。回顧早期搜尋引擎的發展，例如 Google 的 Pagerank 演算法，它是通過知識庫的概念來提升搜尋結果的準確性。早期搜尋BMW關鍵字排名第一的是區域型的經銷商，而搜尋NIKE出現的是盜版商的電子購物網站。因此搜尋引擎透過這些知識庫，包含了對網站的人工審查與分類，讓搜尋結果更加精確。

我在 2007 年時也負責過 B2B Search Engine 的開發，當時的困境是如何定義製造商，而非混入零售商跟貿易商。當時我們也建立了知識庫，進行的方法是利用十年 B2B 平台的搜尋紀錄，取排名前十萬筆的關鍵字，進行適當清理後，帶入其他搜尋引擎的查詢結果，取這些結果前三十筆有效資訊，可以說知識庫的建立就是 Dirty Work。這也表示這種辛苦的髒活通常不太有人想負責。與搜尋引擎相同，智慧客服系統也需要一個可靠的知識庫，來解答使用者的各類問題。

題外話科普一下，當年除了 Yahoo 或是 Business.com 這類目錄網站外，還有 DMOZ 這個由人工維護的開放目錄網站，我也是編輯者之一，但這個服務在 2017 年停止了。

以旅館業為例，每家旅館都會面臨類似的基本問題，如入住時間、退房時間和停車位等，但每家旅館的周邊景點與交通資訊卻有所不同。因此，建立一個涵蓋所有這些資訊的知識庫，並能夠自動更新和擴展，是關鍵的項目。可以說要有人工智慧之前，必定先有工人智慧在前。

在這方面，LLM 技術提供了很大的幫助。我們可以利用 LLM 生成更多的問題與答案，進而形成豐富的知識庫。而這些知識庫的內容不僅限於文字回應，也可以包含語音回覆，解決多種形式的使用者查詢。2024 年 10 月，Open AI 推出的 Realtime API 更進一步解決了語音延遲的問題，使得語音交互更加即時自然。

◎知識庫的整合與應用
除了常見的問題與答案知識庫，有時智慧客服系統還需要與企業原有的平台服務進行深度整合。例如，Open AI 的 Plugin 讓 OTA 平台可以提供房間預訂服務，但其查詢僅限於單一時間段（意思是無法進行複雜項目的查詢），當查詢時間無法滿足需求時，使用者需要手動尋找替代選項。真正能稱為人工智慧的系統應該能自動給出替代方案，如推薦相近時間的可用房間，或是推薦相似的旅館。

這樣的整合性知識庫並不僅僅是靜態的問答集合，而是與企業平台透過 API 互串的的智慧查詢系統。它不僅能回答簡單的問題，還能將問題轉化為具體的查詢指令，並能夠進行連貫的多層次查詢。以旅宿業為例，整合了線上訂房系統的智慧客服可以自動處理訂房、修改、取消等操作，並為使用者提供延伸的選擇，如推薦其他日期或相似的房型。

◎專家知識庫與 LLM 的限制
除了基本的問答型知識庫，企業還可以建立專家知識庫，涵蓋內部技術文件與專業領域知識。這類知識庫相對固定，能有效避免 LLM 產生不正確的回應（幻覺現象）。雖然自建 LLM 可以提供更專屬的解決方案，但對中小型企業來說，訓練與維護的成本過高。因此，限制通用 LLM 的回應範圍，讓其根據企業內部知識庫進行回答，是更為實際的做法。

這種模式可以想像為將 PDF 文件餵給 LLM（例如 GPT），然後在固定範圍內進行查詢，避免無關內容的生成。例如，當使用者查詢某技術文件時，系統可以直接從已知的知識庫中提取正確資訊，而不會生成臆想的回應。而查詢不到近似的內容時，則直接輸出沒有對應的解答。像 Google Gemini 就用了許多限制，避免系統回答觸犯道德問題或產生其他風險。

◎開發過程中的挑戰
開發這類 AI 智慧客服系統並非有技術就能一帆風順，以下是幾個常見的挑戰：

多方協作問題：這類系統的開發需要多方人才，包括該領域的專家來建立知識庫、資料科學家、機器學習專家，以及前後端開發人員（甚至是APP開發者）。協作的難度不容小覷，特別是跨領域的溝通和協作。當然領導這些協作者的 PM，是一個非常困難的作業。

對知識庫建立的忽視：許多企業或開發者在建立智慧客服系統時，過於依賴 LLM 的即時生成能力，忽視了知識庫的建立與維護，這往往導致系統回答不夠精確或無法處理複雜查詢，多元的知識庫是實現跨系統串接很重要的一環。

系統延遲問題：多層過濾器與模型會導致回應時間的延遲，尤其是當系統需要與多個知識庫還有外部平台交互時，延遲問題會更加明顯。當我們希望系統可以更智慧的提供客戶服務，這也代表它的堆疊架構越多。

開發時間與成本：應用系統的開發與整合可能看似簡單，但知識庫的建立、模型的調教、以及情境測試會大幅增加開發時間與成本，這往往被低估。情境測試的規劃，應該在知識庫建立的同時，就先處理。

敏感資料的困境：企業內部的敏感資料如何處理是一大挑戰，尤其在面向內部使用時，通用的 LLM 雖然成本低，但可能無法保障企業的數據安全與營業秘密。

◎總結
AI 智慧客服系統的開發是多層次的挑戰，從知識庫的建立到多模態的模型運行，都需要謹慎的規劃與管理。我們在內部已經成功開發了為開發人員服務的 AI 智慧客服系統，而這些相關的技術也同樣為我們帶來了新的產品創意，我將在後續分享。