本文重點定義和討論第一大模塊【意圖理解】，即是否能夠理解/識別用戶表述的意圖。筆者以為，這個模塊是衡量AI智能與否的核心維度，並將為大家揭曉評測維度與指標。
從事AI-NLP領域已經一年半了，一直潛心學習。
平日里研究各種各樣的語音助手，輸出各種類型的調研分析報告，以培養自己的業務敏銳度，同時也研究各種框架型知識以豐富自己的知識庫。
在仔細、反覆研讀完了《Google對話式交互規範指南》、《阿里語音交互設計指南》、《亞馬遜語音交互設計規範》三大交互規範后，累積過往的工作過程中所遇見的問題，自己努力嘗試著提煉出一個知識框架，並期望把這些規範類的東西，內化成為自己的被動技能，繼而為自己以後做出更好用的產品做出積累。
一、我心中的超級人工智慧
私以為，最理想的人工智慧，就像：
- 《Her》裡面的薩曼莎；
- 《鋼鐵俠》裡面的賈維斯；
- 《超能陸戰隊》裡面的大白；
- 《多啦A夢》裡面的機器貓；
這些超級英雄總能解決我們生活中的各種各樣的問題。
雖然我們的世界距離這種超級人工智慧還非常遙遠，也許永遠達不到，但是不妨以一種非常高的標準對AI去做出苛求，繼而去倒逼自己做出更好的產品。
文章開始前，請先短暫忘記自己是AI從業者這個身份，讓我們變成一個小白用戶，儘管提要求吧。
簡單而言就是一句話——「我就想要一個聰明且好用的智能助理，能夠滿足我生活中的各種需求。」
「好用」如何定義？「各種需求」如何滿足？難就難在沒有邊界。
真正意義能符合上面要求的是，可以無限許願的神燈。
所以我們乾脆模塊化一些，筆者就智能語音助理這一產品有如下四個大的評判維度，它們依次是【意圖理解】、【服務提供】、【交互流暢】、【人格特質】。
亦或者是說，這些指標如果能夠得到全部滿足，距離我們想要的超級人工智慧也就不遠了。誰能夠提供，誰就可以獲得用戶的親睞。
每個評判維度還有對應的細分指標，讓我們一步步拆解。
二、【意圖理解】維度的5個指標
本文重點定義和討論第一大模塊【意圖理解】，即是否能夠理解/識別用戶表述的意圖。
私以為，這個模塊是衡量AI智能與否的核心維度。
（1）中控分配意圖能力
當前市面上的AI智能助手，往往包含著各種各樣的能力。
從業者角度而言，本質是各個技能的集合，而每一項能力都是服務和滿足特定領域類的需求，比如聽音樂，導航，事項提醒，電影票，機票，火車票什麼的。
很多的技能在固定域裡面能夠表現得非常好，但是集中到一起，表現就未必好了。
核心考量點：準確識別用戶需求，並分配到指定技能服務的能力。
用戶提出的每個需求，計算機都會做出反饋（文本、語音、圖片、功能卡片、多媒體事件等等）。
在反饋之前，是先要做到識別並理解，然後成功分配到指定的技能上，最後由指定的技能完成反饋，即服務行為。
而人類的語言表達千奇百怪，我們期望計算機自然能夠通過人的自然表達，成功理解人類的意圖，並使用對應的回復銜接業務。
例子：
- 「我想聽我想去拉薩」>>>意圖應該分配給音樂，然後由【音樂】完成反饋。
- 「我想去拉薩」>>>意圖分配導航，然後由【導航】完成反饋。
例子：
- 「提醒我一下我明天幫女朋友買一束花花」>>>意圖可以分配給【事項提醒】技能
- 「我想明天幫女朋友訂一張到上海的火車票，你早上8點半提醒我下搶票」>>>意圖如果分配給【訂火車票】技能就錯了
這個就是中控分配意圖的能力。也是所有AI智能助手，集合各項能力的一個核心能力。做不好中控的意圖識別，智能化無從談起。
市面上，例如騰訊叮噹、小愛同學，小度助手這類大生態的集合的處理方案，屬於最大的開放域，相當多的技能只能是採用命令詞跳轉的方式啟動，這種對話行動無疑是要等待，而且對話流程冗長，面對著輸入的不確定性，所以用戶為什麼不用GUI（圖形交互界面）去完成目標呢。
而一些細分領域的，比如說出行、餐飲、客服、遊戲領域的智能助手，這些相對的封閉固定的領域，還用關鍵詞的方式進入指定技能再尋求服務，就顯得非常笨了。
如果做不到全開放域的中控，至少也得在固定域裡面做好意圖需求識別以及分配的能力，這樣方便發揮語音輸出便捷直達目標的能力，才不至於像個玩具。
（2）句式/話術/詞槽泛化度
用大白話來講：同一個意思，當用戶採用不同的表達的時候，AI是否能夠正確理解。
業內的專業說法是「可識別話術/詞槽的泛化程度」。解決方案是「增加更多的語義覆蓋」。
泛化有兩種，一種是句式，另一種是詞槽。
先說句式的例子：
筆者經常觀察用戶的對話日誌後台，發現用戶在播放音樂的時候，表述各種各樣。
「我想聽音樂>>>隨便放首歌>>>音樂響起來>>>music走起>>>」
有些能夠能理解，【音樂】正確回復隨機歌單，有些話術的表述無法理解則被【兜底】給接走了，這種反饋就是助手的失誤了。
列舉詞槽例子：
- 「我想吃711/想吃七十一」/想吃seven eleven/想吃關東煮/想吃好燉>>>
- 我想吃肯德基/想吃KFC/「想吃開封菜」>>>
筆者的所開發的智能助手有一個【電影票】技能，觀察用戶對話日誌時的一些發現：
- 《速度與激情8》剛剛上映，用戶會表述是「我想看速度與激情、速激、速8等等；
- 《魔童哪吒》上映的時候，用戶的表述是我想看哪吒的電影；
- 《葉問3》上映的時候，用戶的表述會是，葉問。甚至是「甄子丹的那個電影」；
而AI先提取對應的影片名，然後交給介面方去完成查詢行為，只有正確填充「指定電影的全稱」才能夠可查詢成功，所以此處就需要做映射關係的特殊處理。
在定電影票例子中，是十分考慮場景和時效性，也就是說，用戶在不同的時間點，說我要看《某》系列電影的時候，口語上大概率是絕對不會帶上第幾部的。
這些要求其實都是生活中的一些例子，既然人類可以做到理解，自然AI也理所應當做得更好。
作為從業者，一定要多看自己的公司業務的對話日誌後台，觀察用戶在對話過程中，究竟是如何去使用我們的產品，這個是我們的迭代產品的重要依據，隨時根據用戶實際使用情況，做出完善。
就過往的泛化經驗而言，結構性的句子變化相對較小，而詞語的變化就很多，像分析數據一樣經常看用戶的對話日誌，會有很多的積累。
比如阿里巴巴的天貓精靈是具備線上語音購物的能力的，那麼眼下的2020春節，相當多的用戶會在我想買口罩這種話術之外，直接表述，我想買3M的口罩甚至會直接問有沒有N95賣——畢竟在眼下的這個語境，N95幾乎就是口罩的代名詞了。
如果這類沒有覆蓋，那你也只能通過版本迭代去訓練，各位AI從業者基於自家產品的版本迭代效率，思考一下差距。
所以「一開始就做好」相比「通過各種渠道反饋發現不好，然後通過迭代去做好」，從產品設計基本功上來看，根本是兩種境界。
所以解決方案是，此處應該是有一個動態熱詞的詞庫，產品設計和運營方式不展開，不在本篇討論範圍內。
在實際的業務中，很多辭彙和句式會被不斷地造出來，至於優先順序如何選擇，如何泛化覆蓋詞槽和句式，鑒於文章定位，此處不適合展開。
（3）反饋準確度/容錯率
考量AI的反饋給用戶的內容是否能夠準確匹配需求，是否具備顯性確認以提升容錯性。各個語音交互設計規範都提及了這一點。
例子：
「我想聽林志炫的《煙花易冷》」>>>如果AI推送的是周杰倫的就不對。
如果沒有資源，也應該處理成，未找到XXX，讓我們來聽YYY方為合理。
而當介面方真（因為版權）沒有資源時，明確沒有，是一種我聽懂了，但是實在沒有，給你提供替代方案的處理，而如果你不明示沒有，我可能會再追問一句，然後你還是不明示，到底是我沒說明白，還是你沒聽懂呢？
例子：
- 假設現在是1月1日的晚上23點鐘，用戶說「幫我訂一個明天早上7點的鬧鐘」
- 假設現在是1月2日的凌晨1點鐘，用戶說「幫我訂一個明天早上7點的鬧鐘」
第二種情況，如果按照計算機的邏輯去理解，那1月2日的明天早上則是1月3日的早上了，這種定鬧鐘的方式意味著悲劇。
而基於日常邏輯，兩種情況，都應該提供1月2日，早上7點鐘的鬧鐘方為合理。
邏輯處理完畢后，然後就是話術的處理，回復方式有幾種選擇：
- 回復1：「已經為您設置鬧鐘。」
- 回復2：「已為您設置明天早上7點鐘的鬧鐘。」
- 回復3：「已經為您設置明天早上7點的鬧鐘，我將會在6個小時后叫醒你。」
如果沒有顯性確認，就沒有容錯性，用戶就會心中不安，一旦被【鬧鐘】服務坑過用戶一回，那麼就會惡評如潮。本來用戶就用的低頻，一旦不信任，被打入冷宮再也沒什麼機會了。
只要你仔細體驗觀察，相當多的AI語音助手在給於反饋的時候，此類細節處理得不好，容錯率實在是太低了。好的容錯性設計，其實應該是每個AI從業者體內的基因，成為被動技能，天賦一樣的能力。
（4）模糊/歧義表述處理
GUI的交互意味著輸入可控，CUI/VUI的交互意味著輸入不可控。
這中間相當一部分是人類的表達問題，但是一旦造成的回復不滿意，意味著用戶將花費巨大的成本去再來一次。最後被用戶批評或者被定性為「人工智障」、「就是個能對話的玩具」往往很讓人沮喪。
核心考量點：當用戶使用模糊歧義表述的時候，AI的處理方式。
例子：「我明天下午4點要去上海出差。」
注意此時至少存在兩處模糊歧義表述：
- 用戶並沒有指定交通工具。
- 明天下午4點，指的是4點出發，還是4點到那裡。
例子：（假設現在是周一）「幫我定下周三去上海的機票」。
注意：ASR的轉化是無法翻譯停頓的，到底是「幫我訂，下周三」的，還是，「幫我定下，周三」的呢？
在真實的對話中，人們是能夠根據停頓節奏，以及具體的場景猜測到底是如何斷句的。
以上兩個例子是我們業務中反饋的真實案例。
說說我自己處理這類問題的思路，即提前交付結果，等待用戶反饋。
第一個例子，根據用戶的GPS坐標出行便捷程度以及商業訴求進行推薦。火車，飛機，或者是打車均是正確的選擇。
例如可以做出如下回復，「基於天氣情況，建議火車出行，為你找到從XX到上海的火車票，1月3日出發，高鐵二等座，價格……
第二個例子，根據用戶提出需求的時間，就近選擇結果反饋，並給予顯性確認。
當面對模糊/歧義意圖的時候，一定要有一個處理邏輯，去管理用戶的期望值和服務。
面對模糊/歧義表述的處理方式在行業內通通都是大難題。好的處理方案，能夠判斷用戶的歧義表述，並引導糾錯。
至於處理邏輯是直接給於結果，還是通過追問的形式二次判斷，就是具體業務具體場景的選擇了。
不過多舉例，但是有無處理方案，應該納入進評測點。
（5）任務目標達成表現
核心考量點：幫助用戶達成目標中間所花費的成本。
當前市面上幾乎所有的服務類技能，都是AI通過提取用戶表述中的具體信息，填充到指定槽位完成服務的推薦，而當用戶沒有給予主要槽位的時候，是需要引導用戶完成的。
市面上有兩種做法，一種是固定路徑，不可改變的填槽。
比如說【火車票】技能，正常的對話是這樣的。
先問出發地和目的地，然後問出發日期，然後確定車次，中間不能改不能亂，然後方可完成查詢行為。
- 用戶第一句話：「我想買火車票？」AI回復：「好的，你想從哪裡到哪裡？」
- 用戶第二句話：「從北京到上海。」AI回復：「您想什麼時候出發？」
- 用戶第三句話：「明天下午出發。」AI回復：「為你找到如下車次，請問你想要第幾個。」
- 用戶第四句話：「那就第一個吧。「AI回復：「好的，正在為你下單。」
這種我稱之為，固定序不可逆填槽，簡直笨到了極致。
如果你顛倒順序填充槽位，AI很可能就智障掉了。
生活中，我們這邊一個70歲以上的老人，可以在窗口完成火車票購買，（拋開口音的問題）但是無法通過AI助手完成火車票的購買。
為什麼呢？很多比較笨的AI，跟圖形界面一樣，要求用戶適應它的邏輯去完成填充。
這種處理方案，簡直違背自然語言處理的這一初衷。
而好的智能助手是可以做到亂序填槽，並且隨意改槽位條件的。
例子：
用戶第一句話：「我想買一張明天從北京到上海的火車票，我要下午四點出發的，我想要一等座。」
我們可以根據結果，著AI提取槽位，以及反饋的能力。
用戶第二句話：「再幫我看看，後天上午十點出發的，二等座也行。」
如果AI能夠搞定，那證明可以達到一定的智能化程度了。
以上是應對用戶的表述，而在對話服務過程中，還有一個反向管理，完善槽位的引導。
我們可以做一個簡單的練習，例如在買電影票的場景，從需求到下單至少需要4個核心槽位。A電影名，B電影院，C場次，D幾張票。（選座可以提供默認規則）
想要完成訂單的確認，則成功引導用戶填充ABCD四個槽位即可。好的完善和引導，則是：
如果用戶填充了AB，AI應該追問CD的例子：「我想看《魔童哪吒》，幫我在附近找個最近的電影院。」此時AI需要展示哪幾個場次可以選擇，然後追問要買幾張票
如果填充了ABC，應該追問D的例子：「我想看《魔童哪吒》，附近找個最近的電影院，8點鐘左右開場的。」此時AI只需要追問要買幾張票即可。
ABCD四個主槽位，無論用戶的先後順序，先填充哪個槽位，後續能夠完善填充即可。
人類的表述千奇百怪，無論多少個槽位，人類都可以組織語言聯合起來表述。亂序填充槽位才是智能化，自然表述的的基本要求。
三、篇幅所限的階段性結尾
筆者剛進入AI行業NLP領域工作的時候，夢想著有一天能夠做出偉大的產品。
什麼算偉大的產品，每個人定義不同。
從業以來，就我們目前技術發展的前提下，能做的真的有限。科幻影視作品裡面的超級人工智慧，目前來看似乎遙不可及。
遂化為小白用戶，提出一個最為直白的需求——「我就想要一個聰明且好用的智能助理，能夠滿足我生活中的各種需求。」
所以在當前的技術實現下，輸出了過往在工作中一些評測產品以及處理問題的具體表現。
實際上，原本在意圖理解這個單元模塊，有更多評測點去列舉，但是受限於篇幅以及能力所限，刪掉的一些內容。
用提問的方式，列舉一下我刪除掉的指標：
上述我提到的種種問題，其實都可以設計考核指標。
筆者可以講清楚是什麼，解決方案以及思考後續會以獨立文章的形式分享。
既然是評測指標，自然是有權重之分。
有些是可以努力做好的部分，比如前文中就【意圖理解】這個維度提及的5個模塊，各個例子的列舉，都是基於用戶的對話日誌後台，是實際業務中非常高頻的。
而另外的有些是重點加分項，有些是附加加分項來評定。
【意圖理解】越深，越到位，都是讓我們極盡所能，在【意圖理解】這個維度，無限逼近超級人工智慧的種種思考。
而筆者的思路是，用戶儘管提要求，餘下的盡量去想辦法去實現，如此才能夠盡量去逼近偉大的產品。
以上，關於本文第一大模塊【意圖理解】的部分，就此完結。
後續文章會補充餘下的部分，並以相同的形式去進行補充解釋和完善。
- 【服務提供】——當用戶提出需求時，有無高質量的反饋，重點是關於服務價值提供的多樣性，反饋表現，價值大小來設計評測指標。
- 【交互流暢】——當用戶與AI進行交互的時候，重點就交互反饋過程中的性能指標，體驗是否流暢來設計評測指標。
- 【人格特質】——智能助手是否具備足夠的魅力/人格化特質，就情緒表現，情商，共情、個性化、擬人化程度來設計評測指標。
作者：飯大官人，不折騰會死星人，微信公眾號：fanfan19860403《遊戲運營：高手進階之路》作者。熟悉遊戲領域、人工智慧-自然語言處理領域。