機器學習中的判別式模型和生成式模型

如今已經進入2020年了,5G的時代已經到來,而機器人應用將更加的廣泛,下面就讓我們去了解機器人在學習中的兩類模型,這文章告訴兩種類型的區別,推薦給對機器人感興趣的朋友們閱讀!

在機器學習中,對於有監督學習可以將其分為兩類模型:判別式模型和生成式模型。簡單地說,判別式模型是針對條件分佈建模,而生成式模型則針對聯合分佈進行建模。

01 基本概念

假設我們有訓練數據(X,Y),X是屬性集合,Y是類別標記。這時來了一個新的樣本樣本 x ,我們想要預測它的類別y。

我們最終的目的是求得最大的條件概率 P(y|x)作為新樣本的分類。

1.  判別式模型這麼做

根據訓練數據得到分類函數和分界面,比如說根據SVM模型得到一個分界面,然後直接計算條件概率 P(y|x),我們將最大的 P(y|x)。

作為新樣本的分類。判別式模型是對條件概率建模,學習不同類別之間的最優邊界,無法反映訓練數據本身的特性,能力有限,其只能告訴我們分類的類別。

2. 生成式模型這麼做

一般會對每一個類建立一個模型,有多少個類別,就建立多少個模型。比如說類別標籤有{貓,狗,豬},那首先根據貓的特徵學習出一個貓的模型,再根據狗的特徵學習出狗的模型,之後分別計算新樣本X跟三個類別的聯合概率 P(y|x),然後根據貝葉斯公式:

分別計算 P(y|x),選擇三類中最大的 P(y|x)作為樣本的分類。

3.兩個模型的小結

不管是生成式模型還是判別式模型,它們最終的判斷依據都是條件概率 P(y|x),但是生成式模型先計算了聯合概率P(x,y),再由貝葉斯公式計算得到條件概率。因此,生成式模型可以體現更多數據本身的分佈信息,其普適性更廣。

02 用例子說明概念

1. 山羊綿羊的例子

判別式模型:要確定一個羊是山羊還是綿羊,用判別式模型的方法是從歷史數據中學習到模型,然後通過提取這隻羊的特徵來預測出這隻羊是山羊的概率,是綿羊的概率。

生成式模型:是根據山羊的特徵首先學習出一個山羊的模型,然後根據綿羊的特徵學習出一個綿羊的模型,然後從這隻羊中提取特徵,放到山羊模型中看概率是多少,再放到綿羊模型中看概率是多少,哪個大就是哪個。

2. 模型範例

假設現在有一個分類問題,X是特徵,Y是類標記。用判別式模型學習一個條件概率分佈 P(y|x),用生成式模型學習一個聯合概率分佈P(x,y)。

用一個簡單的例子來說明這個問題。假設X就是兩個特徵(1或2),Y有兩類(0或1),有如下訓練樣本(1,0)、(1,0)、(1,1)、(2,1)。

則學習到的條件概率分佈(判別式模型)如下:

而學習到的聯合概率分佈(生成式模型)如下:

在實際分類問題中,判別式模型可以直接用來判斷特徵的類別情況;而生成式模型需要加上貝葉斯公式,然後應用到分類中。但是,生成式模型的概率分佈可以有其他應用,就是說生成式模型更一般更普適。不過判別式模型更直接,更簡單。兩種方法目前交叉較多。由生成式模型可以得到判別式模型,但由判別式模型得不到生成式模型。

03  判別式模型和生成式模型的區別

1. 判別式模型和生成式模型的對比圖

上圖左邊為判別式模型而右邊為生成式模型,可以很清晰地看到差別,判別式模型是在尋找一個決策邊界,通過該邊界來將樣本劃分到對應類別。而生成式模型則不同,它學習了每個類別的邊界,它包含了更多信息,可以用來生成樣本。

2. 判別式模型和生成式模型的特點

判別式模型特點:

判別式模型直接學習決策函數Y=f(X),或者條件概率P(Y|X),不能反映訓練數據本身的特性,但它尋找不同類別之間的最優分裂面,反映的是異類數據之間的差異,直接面對預測往往學習準確度更高。具體來說有以下特點:

  1. 對條件概率建模,學習不同類別之間的最優邊界。
  2. 捕捉不同類別特徵的差異信息,不學習本身分佈信息,無法反應數據本身特性。
  3. 學習成本較低,需要的計算資源較少。
  4. 需要的樣本數可以較少,少樣本也能很好學習。
  5. 預測時擁有較好性能。
  6. 無法轉換成生成式。

生成式模型的特點:

生成式模型學習的是聯合概率密度分佈P(X,Y),可以從統計的角度表示分佈的情況,能夠反映同類數據本身的相似度,它不關心到底劃分不同類的邊界在哪裡。生成式模型的學習收斂速度更快,當樣本容量增加時,學習到的模型可以更快的收斂到真實模型,當存在隱變數時,依舊可以用生成式模型,此時判別式方法就不行了。具體來說,有以下特點:

  1. 對聯合概率建模,學習所有分類數據的分佈。
  2. 學習到的數據本身信息更多,能反應數據本身特性。
  3. 學習成本較高,需要更多的計算資源。
  4. 需要的樣本數更多,樣本較少時學習效果較差。
  5. 推斷時性能較差。
  6. 一定條件下能轉換成判別式。

總之,判別式模型和生成式模型都是使后驗概率最大化,判別式是直接對后驗概率建模,而生成式模型通過貝葉斯定理這一「橋樑」使問題轉化為求聯合概率。

03 二者所包含的演算法

 

原文作者:Microstrong

原文鏈接:https://zhuanlan.zhihu.com/p/