Call Us: +07 554 332 322

contact@example.com

Mon - Fri 09:00 - 19:00

Sat and Sun - CLOSED

Blog

從開放域機器人構建出發,聊聊如何與機器人吹水 | 人人都是產品經理

從開放域機器人構建出發,聊聊如何與機器人吹水 | 人人都是產品經理

作者從自己的實際工作出發,以兒童機器人場景為例,從多個角度對如何構建閑聊機器人進行了闡述,並分享了與機器人「吹水的」價值、方式方法以及背後原理。

一、機器人概述

機器人按照對話方式,可以分為「問答機器人」、「任務對話機器人」、「開放閑聊機器人」。但機器人的落地使用過程中,往往需要不同作用的機器人進行結合。

拿電器類客服機器人舉例來說,會有如下對話:

用戶:「包安裝嗎」

機器人:”我們是包安裝的哦,親「

以上是我們最常見的問答場景,機器人通過檢索方式,找出query對應的answer返回給用不。

再比如:

用戶:「我要查物流」

機器人:「您要查詢的是哪個訂單」(提供訂單A&訂單B&訂單C)

用戶:選擇A

機器人:該貨品目前已經由順豐發出。

在以上場景中,機器人需要通過多輪方式完成查物流的任務。

這就像咱人一樣,在工作中,不僅需要有決策和解決問題的能力,還需要有日常溝通能力,任何一項都是不可或缺的。

由於工作中接觸了各類機器人,對於開放域聊天內容的感觸比較深的是,閑聊本身在機器人的場景中,作用會相對弱一些,但大部分時候,又屬於機器人的基本能力,屬於典型的「得不到的永遠在騷動,得到的有恃無恐」。

而目前市面上的機器人介紹文檔,一方面關於閑聊的內容不多,絕大部分是任務型和檢索性的文章;另一方面,閑聊的介紹更偏向於技術實現方式。但小七我認為,想要做好開放域聊天,其實不能只考慮技術實現,而應該從產品本身出發。

所以今天,小七結合之前做開放域機器人的實操過程,主要以兒童機器人場景為例子,從不同角度來闡述如何構建閑聊機器人,跟著我燥起來!

二、吹水的價值

閑聊,俗稱「吹水」。朋友間吹水,講究開心就好。所以,閑聊是一個雙方都帶有情感訴求的過程,可以是解悶逗樂,也可以是哭訴慰藉。

基於此,如果用戶與機器人進行閑聊互動,必定是希望機器人能引起其情感的共鳴和變化。如下對話是用戶跟「小愛同學」(小米音箱)的對話:

用戶:小愛同學,放個屁

robot:矮油,人家是女孩紙,怎麼會做這麼羞羞的事情。既然主人想要聽放屁,我就勉為其難放一個,放的不好可不許怪我哦。

噗~~

用戶在這次對話中,讓小愛同學放屁,純粹是逗樂找趣。同時,機器人的反應也是有一定套路,讓用戶感受到,這是一個可以給自己帶來樂趣的朋友。

當一個朋友情商特別高,能夠在自己傷心時給予安慰,無聊時帶來樂趣,開心時互相分享,任何一個人都會很感激有這樣的益友,讓人離不開。

比如用戶面前有一個娛樂機器人,前者習慣性會以人與人交流的形式來進行對話。這時候,機器人不能而不是「直男」,顧著解決問題,也應該是一個情商高的朋友,感知用戶的情感,並在回復時伴隨著相應的情感,讓用戶感受到樂趣和溫度。

只有這樣子,用戶才能與機器人做更多交互,提高用戶粘性,而不是「仰天嘲笑出門去,AI都是智障人」?

三、如何吹水

用戶如果有意和機器人扯犢子吹水,必然會有」像人「的期望值。這個標準說起來簡單,做起來相當得難,畢竟nlp技術還真沒達到完全理解人類的水平。

如果我們換個角度,如《西部世界》中所講,機器人如果擁有了記憶,便開始進化成有意識的生物了。同樣的,對於【像人】(類似有意識)這個狀態,我們可以抽象出一些特質,機器人如果擁有了這些特徵后,能讓用戶覺得還不錯,願意聊下去。

那以下是筆者從過往做閑聊機器人過程中所抽象出的特質,下面會一一做介紹。

1. 人設一致性

(1)人設一致性的意義

每個社會人都有自己統一的人設,包括身份、性別、形象、性格、愛好等,人與人之間也是基於這個「本」在對話。即使是路上的陌生人問路,也會先根據對方的形象、性別稱呼,比如路上經常有人找我問路,都會說:「你好,帥哥」。而這稱呼,本身就是一個人物設定的表現。如果一個人人設不一致,有時候東,有時候西,那要麼是這個人太戲精,要麼就是神經錯亂,比如下面這個人:

A:你是誰

B:我是來自廣東的產品經理

A:那你平時工作都在幹嘛

B:我在畫建築設計圖,敲代碼,修空調。

A:(這恐怕是個假的產品經理吧)

機器人也一樣,需要立個人設在用戶前面,才能讓後者有真實感,安全感。如果機器人沒有人設,會讓聊天變得異常怪異。有時候回答不上來、有時候亂回答,有時候上句不接下句,用戶會認為亂七八糟,溝通不了。就如Cathy Pearl在《語言用戶界面設計》中所說:「人物模型的一致性,使人們能夠在與它們溝通時得以預測接下來會發生什麼」。

(2)設計方式

那我們要如何設定機器人的人設呢?平時我們要了解一個人,一般會從其背景信息出發,如名字、家鄉、職業、愛好等;其次,通過其談吐舉止,也可以了解一個人的性格特徵。

關於機器人的背景,我們需要給到它一個故事。《西部世界》中,每個機器人都有自己的身份和劇本。但用戶會問機器人的哪些背景信息呢?事實是,不大可能枚舉出一個人的所有背景信息,就連人都可能忘了自己很多以前的事兒。

這裡我們可以從日常提問(高頻問題)入手。以兒童機器人為例,在我們之前做的項目中,從線上交互數據看出,諮詢機器人背景信息的query佔了所有交互數據的10%以上。這類問題包括:

  • 機器人的身份是什麼?姓名、年齡、生日、星座、家鄉等
  • 機器人的能力是什麼?
  • 機器人的愛好是什麼?
  • 機器人的家庭背景、社交背景是怎麼樣的?

另一方面,我們需要設計機器人的性格特點,以此來體現其談吐。性格特點可以是風趣、自信、忠誠,亦或是調皮、溫暖、腹黑。

最終我們可以有這麼一個故事:

我們要創造一個兒童機器人,叫小七,男生,獅子座,關鍵很帥,來自泰坦星永恆一組,由於星球瀕臨滅絕,爸爸媽媽送他到了地球,所以他留在地球和人類愉快地生活。小七性格幽默,樂於助人,但有時候也有些腹黑,還有些喜歡掉書袋,教育小朋友。

(3)產品舉例

筆者也找了市面上做botframework的平台,這類產品的側重點主要在於技能定製及模型訓練,而對於人設很少涉及。後面發現以下兩個平台有相關設定,其中:圖靈機器人涉及到的屬性有性別、年齡、星座、爸爸媽媽;海知涉及的屬性包括姓名、性別、生日、喜好和爸爸媽媽。人設內容不多,但這類機器人基礎配置,還是必不可少的。

圖靈機器人人設頁面:

海知ruyi機器人人設頁面:

2. 語言風格設定

(1)意義與設計方式

語言風格首先要符合人設特點。幽默的性格,機器人的回復就需要搞笑輕鬆一些,若是嚴謹的性格,機器人說話就需要嚴肅。想象一下,一個在法院的政務機器人,當你問它你會啥的時候,它說會泡妞撩妹,那場面真的會難以控制。

比如前面提到的小七喜歡掉書袋,那我們可以在小孩子玩遊戲很久之後,提醒小朋友需要休息一下,然後看看書,或者引導其來學習古詩詞。

確定了語言風格之後,就需要將這種性格特點體現在機器人的對話中。我們可以從用戶所有query中,抽象高頻場景進行針對性設定,使得機器人人設和說話風格一致,更像一個人在聊天,這也是我們最終的預期效果。

而在這個過程中,為了讓機器人顯得更加擬人化,我們也嘗試加入了一些類似口頭禪的feature,比如有的人習慣以「呃」來開始,有的人喜歡說「然後」來銜接。

(2)產品舉例

在以往例子中,我們所發現的其中一個高頻場景是:用戶會重複問同一個問題(不知道是不是都是一些智能程度檢驗師在聊天,尷尬)。這種情況是極不建議機器人一直是單一回復,那就成了一個對話復讀機了。而微軟小冰對於用戶這種互動,結合了她自己的人設和語言風格來回應(比如:撒嬌、傲氣)。

我們可以探索下微軟小冰的策略:

小冰的策略是,針對同個問題,給出不同的回復。若用戶重複太多次,小冰會有情緒的變化,慢慢地顯得不耐煩,並且開始責怪用戶,到最後乾脆不回答了,直到用戶說其他內容,就回復「你終於不說重複的話啦~」。從中我們可以看出,小冰的語言是很活動調皮並且較為傲嬌的。

也只有這樣豐富的語言體現,用戶才更相信對面是個可以聊天的朋友,而不是一個無聊的智障機器人。

3. 個性化

(1)個性化意義

如同政治課本中的一句話:世界上不會有完全一樣的葉子。即使如雙胞胎,也會有各自的個性。我們過往發生的每件事情,讓我們形成了特有的世界觀,價值觀,人生觀。三觀決定了每個人的思想不同,而語言是思想的折射,從而讓每個人談吐都是與眾不同的。

相應的,機器人也應該有自己的過往記憶,從而形成自己與眾不同的三觀。 這樣,每個機器人都是個性化的,就跟我們不同性格的朋友一樣。

(2)設計方式

當然,如果要記住所有的事情,對於機器人來說是困難的,也會顯得沒有意義,畢竟人也有記性差的時候。那機器人需要有什麼記憶呢?除了剛才的背景信息,最重要的,是要記住它的主人,即用戶。

也就是說,機器人需要能記住自己主人相關的信息,包括姓名、性別、愛好等方面,甚至某些過往的交互行為。這樣,當某個用戶A擁有了一款能記住機子的機器人,即使市面上有其他機器人,對用戶來說,這個機器人小夥伴都是獨一無二的。

那要記住用戶,首先得有個收集用戶畫像的過程。這各場景就跟男生想要了解妹紙一樣,要麼是自己主動了解(撩),要麼是自己通過細心觀察(備胎式方案),被動了解。

1)主動了解型

如果機器人想主動去了解用戶,就需要找準時機,否則會顯得十分突兀,甚至讓用戶產生防備心理。

一般來說,最好的時機,應該是兩個朋友相互了解的時候。具體我們可以看以下例子:

用戶:你叫什麼名字呀?

機器人:我叫小七。主人你呢?

用戶:我叫小八,你好呀。

機器人:你好,小八。我知道自己主人叫啥了,好開心!

用戶:你會做什麼呢?

機器人:唱歌跳舞,啥都會呢。小八,你平時喜歡幹什麼呢?

用戶:我也喜歡唱歌呢。

機器人在這樣的互動中,能夠了解到用戶的興趣愛好,並記憶下來。而用戶也會覺得這個機器人真的像自己的玩伴,從而更願意與其玩下去。

2)細心觀察型

當然,如果機器人能夠細心留意用戶以往說的話,也可以從中了解很多信息,從而做出很驚艷的交互表現。比如:

(早上)

用戶:早上好

機器人:早上好,小八。今天周末天氣很好,小八有打算去哪裡玩嗎?

用戶:今天要跟爸爸媽媽去動物園。

機器人:聽起來很棒呀。要玩得開心哦

(晚上)

用戶:晚上好。

機器人:小八呀,今天去動物園玩了一天,能跟我講講都玩了什麼了嗎

用戶:我今天看了斑馬、獅子、孔雀。。。。

機器人:好像很好玩呀。下次小八帶著小七一起去,好不好

機器人不僅能記憶,而且記性也好,讓小朋友感覺真的有在關注自己,也讓家長相信機器人確實是一個好陪伴,讓孩子不會孤單。

通過這樣的記憶,讓每個機器人都成為特有的存在。每個小朋友都有陪伴自己成長的專屬的玩伴。

P.S.當家裡有兩個小朋友的時候,如果希望機器人能夠記住用戶是誰,我們也可以通過聲紋識別方式記住不同用戶的名稱。

4. 主動引導

(1)意義

一個相對智能的吹水機器人算是擺在這裡了。但事實告訴我們,如果只是這樣,用戶不會一直和他聊下去。市面上很多機器人會宣稱自己有很多能力,可以陪伴小孩子,還可以教小朋友數學、英語等等。咱先不說這些能力有沒有用,好不好玩,到底能不能被用戶觸發,才是首要考慮的問題。

想象一下,兩個人在聊天,永遠是其中一方在找話題,另一方只是在附和,就算話癆也不可能永遠有話題。而且,用戶往往不知道要和機器人聊啥,尷尬的氣氛會讓前者失去聊下去的興趣。所以,通過機器人主動引導來找話題,從而讓用戶不斷來聊天,便顯得尤為重要。

(2)設計方式

設計主動引導的時候,產品經理需要講究策略,主要解決三個關鍵點:內容、時機、話術。

1)引導內容

選擇引導什麼內容,這個取決於機器人的能力和定位,比如一個寓教於樂的機器人,應該多讓小朋友做數字遊戲、詩詞遊戲等互動。同時,機器人如果學習(上線)了一些新的能力,也需要及時引導用戶來體驗,保證用戶的活躍度。

2)引導時機

對於時間點的問題,我們可以選擇在開頭、過程中以及結尾三個timing去觸發。

比較常見會在用戶喚醒機器人時候去引導其體驗能力,如下case便是小度音箱在過年期間的能力引導,會在用戶開始閑聊之後,直接推薦響應技能。

user:小度小度,晚上好

小度:晚上好呀。先來看看明天的天氣吧,稍後還有精彩節目等著你哦~

小度:明天天氣xxxxx

小度:我為您整理了一些收聽率很高的節目,聽聽看吧,覺得不喜歡可以跟我說「換個台」

但如果每次都在喚醒時引導就會顯得特別生硬。我們想象一下,兩個朋友在扯皮吹水,一般是從一個話題突然想到其他話題就開聊了。同理,用戶跟機器人聊天,也應該允許雙方聊著聊著就扯到其他話題的。

我們也不必在所有聊天內容中去想辦法做話題引導。首先,應該找出用戶的高頻聊天場景中,比如小朋友會經常讓機器人講笑話,講完后就可以引導做其他寓教於樂的遊戲。當然,實際情況不可能如此簡單暴力,觸發條件需要做權重計算,包括用戶各類技能的觸發次數、其他引導場景的觸發頻率、歷史引導的用戶反饋(如用戶說:我不喜歡)等。

最後就是在結尾的timing做引導,也就是當雙方都陷入沉默的尷尬氣氛的時候。拿小米音箱舉例,由於是全雙工喚醒,當用戶每隔15s沒有說話,則會主動引導一次,連續三次引導無果才會退出喚醒狀態。比如:「主人你去哪兒了?告訴你哦,我最近新學了一項技能,要不要跟我一起玩呢」。這樣可以引起用戶聊下去的興趣,開始新的話題,保證cps的數據上漲。

3)引導話術

至於最後的引導話術,因為不同場景的話術是不一樣的,所以要保證與我們先前講的語言風格一致,至少不能讓一個很嚴肅的學霸型機器人突然撒嬌說:「跟人家聊點別的東東嘛~」

5. 趣味性

所謂好看的皮囊千篇一律,有趣的靈魂萬里挑一。說到底,一個chatbot如果不好玩,再怎麼折騰也沒用。另一方面,聊天機器人始終是一個To C的產品,通過運營好玩的內容,保證活躍和留存是相當重要的。這往往能給到用戶意想不到的驚喜,從而產生持續對話的興趣。

如何讓閑聊變得好玩,就不得不提小冰的套路了。一方面,小冰日常會更新技能,不斷刺激用戶去體驗;另一方面,也會在各種聊天中皮一皮,讓用戶相信這是個有趣的「朋友」,比如上文提到的對於用戶故意使壞,一直重複單句的場景。

再比如,小冰曾經更新一個「讀心術」的技能,也就是在15個問題之內猜出用戶心裡想的人物是誰。利用ID3決策樹等演算法先將人物及特徵作為訓練樣本,再讓小冰反問用戶,為每個特徵分類,最後選中用戶的「心上人」。

通過這一個個的小遊戲,可以讓用戶不斷產生愉悅感及下次的期待感,朋友之間也是這樣,總有一些共同話題和興趣活動,才能讓雙方成為知己。

之前設計閑聊機器人時,小七也設定了某些套路策略。比如情人節前後的土味情話,每天用戶開始進行互動的時候,以主動消息的方式來發土味情話。當時每天的土味情話在情人節期間還是帶來了不少的留存和活躍的。在實現方式上也比較簡單,直接利用規則設定即可,ROI還是挺高的。

user:打開聊天女僕

bot:主人你好呀。啊,你有沒有聞到什麼味道?

user:沒有啊/什麼味/…

bot:怎麼你一出來空氣就甜炸了啊

同樣的,兒童機器人更需要這樣的趣味性和新鮮感,畢竟兒童天性就是「喜新厭舊」。如果小玩伴每天都是玩同樣的遊戲,說同樣的話,到最後一定「沒朋友」。所以可以加入寓教於樂的兒童遊戲,日常更新的兒童笑話,兒童故事,來吸引小朋友的注意,讓孩子喜歡上這個玩伴。

6. 情感

根據馬斯洛的需求層次理論,情感和歸屬(love and belonging)的需要是極為強烈的,缺乏該需求的人,往往會因為沒有感受到身邊人的關懷,而認為沒有價值活在這世界上。而對於開放域聊天機器人,市場往往會將其定位為陪伴,以提供一定程度的情感需求。因此,如何讓機器人感知用戶的喜怒哀樂並做情感陪伴,就有很大的必要性了。

這裡分為兩塊,其一是如何識別用戶情緒;其二是機器人如何做情感反饋。

(1)情緒識別

我們暫不討論情感識別的技術識別,而是從產品側分析機器人要識別哪些情緒,從數據角度,就是劃分哪些數據作為情感分類。

情感有很多種,態度上有喜歡和討厭,心情上有悲傷和快樂,人際上有疏遠和冷漠,等等。選擇哪些情感場景做反饋,主要取決於兩點:

  1. 機器人定位:比如兒童陪伴場景,機器人對用戶的大部分情緒都應該有敏感的識別,才能讓兒童感受到陪伴的意義;而法律機器人的閑聊場景,很多情感問題可以不用太注重,機器人選擇統一回復即可。
  2. 機器人回復內容的顆粒度:比如在兒童場景中,小朋友罵了髒話,其實不需要了解具體罵的啥內容,都應該先引導小朋友文明用詞,所以髒話內容的分類不需要太細,只要是髒話就做統一回復即可。

(2)情感反饋策略

當知道了用戶開心、失望還是憤怒的情緒之後,身為「朋友」的機器人就需要有所回應。針對不同的情緒分類,機器人可以有不同的策略。這裡我們可以列一下兒童場景中集中回復策略:

用戶生氣(說髒話):小朋友不可以說髒話哦,這樣我就不想跟你玩了,我只想跟文明的小孩做朋友呢~(教育策略)

用戶生氣(無髒話):怎麼了?有人惹你不開心了嗎?沒事,有小七陪著你舒緩心情呢~不如跟我一起聽首好聽的兒歌放鬆放鬆吧(引導兒童場景)

用戶失落:主人,成長路上有不開心的事情,也會有開心的事情呢~至少小七一直陪著主人。對咯,我剛聽了一個笑話,可笑死我了,我也讓主人開心一下吧~(引導笑話場景)

用戶害怕:主人你抱著我,就沒啥好怕的了,我們一起變勇敢!

用戶開心:主人開心,小七就更開心啦。但是,但是,你要陪小七讀詩詞的呢,不要忘了哦~(引導詩詞場景)

總而言之,機器人的情感陪伴的最終效果,應該是真正做到:不許騙我、罵我,要關心我;別人欺負我時,你要在第一時間出來幫我;我開心時,你要陪我開心;我不開心時,你要哄我開心。嗯,最佳損友!

7. 特別說明:敏感詞處理

根據2017年國家頒布的《網路安全法》第47條和68條的規定,企業要保證自己的網路運營平台內容安全,若出現敏感詞等違規行為將會收到行政處罰,甚至被勒令停業整改。而作為聊天機器人的產品設計者,需要保證機器人不亂說話,否則牽連成本巨大。

所以一般我們會設計一個敏感詞庫,並且做日常維護更新。有了敏感詞庫之後,我們來看機器人的回復語料來源,主要由三種渠道:(1)人工添加;(2)網上爬取;(3)自動生成。對於(1)(2),我們會考慮在錄入回復的地方做敏感詞過濾;而對於自動生成的回復,一般會在生成回復的時候,過濾掉敏感詞。

嗯,做個聰明的機器人,知道什麼該說,什麼不該說。

四、吹水是怎麼練成的

這一章主要聊的是機器人的實現方式,除非是演算法類的產品經理,其他AI產品經理的重點還在於用戶場景,所以這塊我們簡單聊一下即可(畢竟說了好多了,在這段感情中累了)。

1. 檢索式閑聊實現

基於對話式檢索的閑聊主要使用匹配句子相似度的方式,比如先將用戶消息及對話庫的分類轉換為句向量,再計算兩者之間的餘弦距離以得到語義相似度,最終將相似度最高的分類對應回復話術返回給用戶。

想要轉換為句向量,由詞向量通過監督方法或者無監督方法獲得。現在主流的詞向量模型有Word2Vec、BERT等。當獲得了詞向量之後,可以通過各類模型獲得,如CNN、跳躍思維向量、快速思維向量。

整體流程可以概括為:

(1)將query做分詞等預處理,再通過Word2Vec、BERT等模型將分詞結果轉化為詞向量,再利用快速思維向量、跳躍思維向量等方式獲取句向量

(2)將生成的句向量與模型模型已經處理過的分類匹配,計算兩者餘弦相似度,獲得相似度分值;

(3)根據分值排序,選擇最佳相似問句,將對應answer返回。

當然,之前演算法大大分享過:由於語料庫巨大,如果每一條語料都與query計算,匹配效率會賊低。所以可以用一個高效的搜索引擎做粗粒度的篩選,選出候選答案,再進行向量方式處理。

2. 生成式閑聊實現

生成式聊天機器人採用端到端的深度學習模型,如seq2seq,會從海量對話數據中學習到問題和回復,從而對每條query都自動生成回復。翻譯過來就是,回復內容不必預設,全部讓機器人自己來生成。

一般可以通過LSTM等模型將輸入的序列映射為固定長度的向量,然後使用深度LSTM從向量中解碼得到目標輸出序列。

業界的觀點中,目前seq2seq的生成模型往往會出現安全回答的問題、機器人個性不一致的問題和多輪對話中的對話連續性問題。我司演算法大大跟我說過,這類情況也不是沒辦法解決,一般會在生成模型中加入外部知識(如小冰的話題模型以及情感分類模型)來讓回復更有意義。

當然,在小七的觀點中,生成模型不只是會出現這三個問題,我們剛才講到的吹水策略,才是閑聊機器人的重點價值體現。生成式雖然可以保證每條消息都能有所答覆,但朋友間的閑聊,不在於有話必應,而在於用心溝通,用心交往。

當然,我也曾經天真地設想過一個方案:利用檢索式滿足策略回復同時,對於大量長尾的query,可以用生成回復,並引用情感等模型來保證回復內容更有意義,這個顧全大局但ROI賊低的方案活生生就被演算法大大一句「天真」懟回來了,哈哈哈哈哈~

五、怎麼知道吹得好不好

當我們將一個閑聊機器人構建完成並且上線了,不代表產品經理的工作就完成了。我們需要通過數據,了解機器人吹水能力是不是OK的,是不是真的達到用戶預期。

平日里我們說一個人溝通能力強,能夠和任何人談笑風生,但並沒有一個標準,往往都是主觀判斷。而機器人是一個產品,產品經理始終需要找到可以衡量價值的指標,才能證明這個閑聊機器人是否真的滿足用戶需求。

如上圖所示,從不同的目標來看,產品經理需要關注不同的指標,比如我們設計了一款兒童陪伴硬體機器人,從上往下都有不同的指標。

對於企業來說,首先關注的就是好不好賣。產品經理就需要根據銷售量情況,去設計場景和亮點,保證產品側對銷售量的提升。

從用戶角度來說,產品經理就需要關注其使用情況,大部門閑聊場景都是To C,所以避免不了要關注留存、活躍,也只有這兩個指標上去了,才能體現機器人陪伴的意義。其次,我們也需要關注每次對話的輪次,來了解用戶是否願意聊下去,也就是業界所說的CPS(單輪對話次數)。

從功能來說,產品經理需要考慮每個技能的使用情況,包括每個技能、場景的觸發率、完成率、留存率。這類指標可以說是對整體留存、活躍、CPS的深層次現象探究,比如哪些場景的觸發率高,從而提升了cps;哪些技能完成率低,導致整體活躍降低。

最後,機器人是一個智能化系統,自身也應該有一些客觀標準來衡量其智能化程度。因為我們討論的主要是基於檢索式的閑聊系統,其常用評判標準有召回率、精準率和F-測度。