課堂大綱
一開始提到自然語言處理(NLP,Natural Language Processing),處理的範疇很廣泛,包含了古文、白話文、論文、現今流行的用語,都是 AI 需要處理分析的。

而目前的機器已經知道詞彙在語意空間中的位置,舉了一個實例,跟好棒語意相近的詞彙。有超讚、真不錯、真好、好有趣、好感動。

但像好棒棒,機器已經能分辨是另一個詞彙,跟其類似的有不就好棒棒、阿不就好棒、好清高、好高尚、不就好棒。

接下來提到監督式學習,利用鳥類鳴叫聲的分辨為例,給予機器不同鳥類的叫聲,告訴機器這些資料集是哪一種鳥,機器會自動找出關連,就能夠進行辨識的學習。然後提到測試階段,去驗證機器學習的成果。

再來進入聊天機器人的主題,提到聊天機器人大致可分為「任務導向聊天機器人」、「閒聊式聊天機器人」、「閱讀理解聊天機器人」三種。

任務導向聊天機器人的運作,是將語音轉化為文字,然後再進行文字的理解,將其從非結構化資料轉為結構化資料。在進行對話管理時,將剛剛的結構化資料,帶入資料庫或知識庫查詢,最後給予回應,然後作回應的生成(轉換為口語回應)。

透過查詢電影的範例,來說明任務導向聊天機器人的運作細節。其中在語言理解區塊,會有「意圖分類」(Intent Detection)跟「槽填充」(Slot Filling)兩種模式。意圖分類是確認使用者需要哪種服務,然後透過槽填充來找出用戶所需的資訊。

在對話管理部分,有進行「槽填充」的細部說明,包含確認使用者的問題,以及模版式生成法。

閒聊式聊天機器人,舉了 Mitsuku 機器人為例。這部份介紹了 Mitsuku 的背景與豐功偉業,然後提到這樣的機器人,其實是採用雞尾酒式的技術,結合了AIML推論、記憶力、基於知識本體的推理能力、監督式學習等領域的技術,才能做到一個接近真人回應的聊天機器人。

中間有利用之前對話的範例,來說明 Mitsuku 可以做到哪些回應,以及哪些回應有點牛頭不對馬嘴。而 Mitsuku 厲害的地方,在於它可以記住對話人的一些背景資料。例如知道蔡宗翰教授來自臺灣。

另外舉了蔡教授自己閒時開發的川普對話機器人,其訓練的資料集來自川普的訪談、電視辯論、以及影集紙牌屋的對話文本。其作業方式是用 LSTM 的 Seq2Seq 模型,以一來一回的語句資料進行循環神經網路的訓練。但是沒有訓練過的資料,機器便無法回答。

閱讀理解聊天機器人,其特性有點像是在做閱讀測驗,這類機器人可以作為資訊輔助的工具。其使用的模型是 Google 推出的 BERT。訓練時需要資料集,英文的資料可以採用 Stanford 推出的 Question Answering Dataset - SQuAD

中文部分可以用科技部的「與AI對話競賽資料集」與台達研究院的「DRCD」。提到訓練與測試的資料格式,都是文章(需標出答案在哪裡)、問題,接著說明閱讀理解聊天機器人的系統架構。

彙整三種聊天機器人,並提到他們的應用,以及現在有雙模態(語言視覺識別)與三模態(語言視覺情緒)的聊天機器人。應用面部分有南加州大學推出的心理諮商的 AI 聊天機器人(同質性的還有 Standford 大學的 Woebot );以及 NTU IOX center推出的組裝教學的任務輔助機器人;北京清華大學的九歌NVIDIA 天氣聊天機器人 Misty

最後則介紹了 AI CUP,鼓勵大家參與人工智慧競賽。並在課程後回答聽眾的提問。

心得
在久大工作的期間(2007.11)我們單位曾開發了簡單的聊天機器人服務,是基植於 MSN 上的服務。當時的服務很簡單,是給予了一個對話指令,使用者輸入相關指令後,可以查詢到他想詢問的答案。

在這之後,目前較長使用的有 Line 上面的闢謠機器人「美玉姨」,查國字的「國語小幫手」。然後就是 Apple 家的 SIRI 服務,我自己有兩個 Homepod,也安裝了 HomeKit 套件,可以透過語音控制家裡的冷氣、風扇、電視、電燈、電源開關等。我們家兩小也常跟 SIRI 對話,最常用的是設定計時器與鬧鐘,還有閒聊。我自己較常用的是氣象與地圖查詢(CarPlay)。

所以原本所知的聊天機器人,就是上述這些,以及工作上有用過的公子小白機器人,與犀動的小犀管家

透過這次的演講,讓我更清楚聊天機器人的種類,以及其背後所使用的技術,可說是收益良多。最重要的是三模態的應用,與其所舉的案例,讓人無法小瞧聊天機器人的發展。舉凡像是測謊、消費輔助、醫療輔助、急救輔助等,其實未來都可以導入在生活中,提供我們許多的輔助。所以在收穫上,應該就是這個技術可以應用的層面,多了許多的觸發。

蔡宗翰教授的演講,可以說是結構鮮明,深入淺出,獲益良多。回答提問時,也花了不少時間,雖然部分問題淺顯的帶過,但都有回答到點上。很值得花時間聆聽。

速記
語言處理

知道詞語在語句中的位置

監督式學習

任務導向聊天機器人

語音轉文字

語音理解(非結構化轉結構化資料)

對話管理

回應生成(口語回應)

語言理解

意圖分類
槽填充

對話管理

狀態追蹤(找一部四星級以上的美國電影。2017年的)

(起點、發行地、評等、年份、終點)

決定回應動作(通知—答案、請求—槽、確認—候選槽值)信心值過低,AI會再次確認。

模板式生成法(語意框架、模板、生成口語回應)

閒聊式聊天機器人

Mitsuku機器人(Loebner五次圖靈獎)

圖靈測試

使用以下的技術(雞尾酒式技術結合)

啟發式模板

AIML推論(推論引擎框架)

記憶力

基於知識本體的推理能力

監督式學習

川普機器人

川普專訪

川普辯論

紙牌屋影集對話

LSTM的Seq2Seq模型(一來一回的語句資料)

循環神經網路

沒訓練過資訊無法回答

閱讀理解聊天機器人

閱讀理解任務

BERT(Google推出)

SQuAD資料集(英文)

與AI對話競賽資料集(科技部)

DRCD(台達研究院-中文資料集)

訓練資料格式

文章

問題

測試資料格式

文章

問題

深度語言理解模型

閱讀理解聊天機器人系統架構

訓練資料集

BERT-SQuAD訓練

模型檔案

BERT-SQuAD測試

語言視覺識別雙模聊天機器人

表情與語音

影像YOLO模型

BERT+YMCL 88%

NTU IoX Center

語言視覺情緒三模態聊天機器人

臉部情緒辨識

南加大AI心理治療師

NVIDIA聊天氣機器人

清華大學九歌

https://m.facebook.com/pages/category/School/AI%E7%95%8C%E6%9D%8E%E7%99%BD-333190044021877/

詠人工智慧-類神經
人工智慧正方興
事事皆求類審經
福洛天赦拍拓曲
開發利器必先明
蔡宗翰

AI CUP 2020

https://vocus.cc/AI_LiBai/home

https://medium.com/@prof.r.tsai

2020-06-09  -  duncan Email  -  1382  -  資訊工程, Furl網摘 - 讀者回應

Furl 0511 Citations

2005-11-30  -  duncan Email  -  5374  -  Furl網摘 - 讀者回應
2005-10-24  -  duncan Email  -  8103  -  Furl網摘 - 讀者回應