機器學習方法匯總

時間：2024-03-15 03:47:22 如英2 學習方法

　　機器學習方法匯總一

　　1.決策樹算法

　　決策樹是一種樹形分類結構，一棵決策樹由內部結點和葉子結點構成，內部結點代表一個屬性(或者一組屬性)，該結點的孩子代表這個屬性的不同取值;葉子結點表示一個類標。決策樹保證每一個實例都能被一條從根結點到葉子結點的路徑覆蓋，葉子結點就是這條實例對應的類別，遍歷這條路徑的過程就是對這條實例分類的過程。關于決策樹的詳細介紹，可以參考這篇文章。

　　損失函數(shù)

　　假設決策樹T的葉結點個數(shù)為|T|，t是樹T的某個葉結點，該結點有$zhòng)(N_t$個樣本點，其中k類的樣本點有$zhòng)(N_{tk}$個，k=1,2,…,K(K為類別個數(shù))，$H_t(T)$為葉結點t上的經驗熵(即從訓練數(shù)據(jù)算出的熵)，決策樹模型對訓練數(shù)據(jù)的預測誤差$C(T)$定義為

　　$C(T)=\sum_{t=1}^{|T|}N_tH_t(T)=-\sum_{t=1}^{|T|}\sum_{k=1}^{K}N_{tk}log\frac{N_{tk}}{N_t}$

　　損失函數(shù)$C_\alpha(T)$:

　　$C_\alpha(T)=C(T)+\alpha|T|$

　　參數(shù)$\alpha>=0$控制預測誤差與模型復雜度的影響。

　　優(yōu)化目標

　　在決策樹的構造階段，其優(yōu)化目標是尋找最優(yōu)的分裂屬性，具體實現(xiàn)是最大化屬性選擇指標，包括信息增益、信息增益比率、基尼指數(shù)等，構造階段用貪心策略得到局部最優(yōu)的模型。

　　在剪枝階段，其優(yōu)化目標是最小化損失函數(shù)$C_\alpha(T)$，即

　　$min_TC_a(T)$

　　剪枝階段是一個全局優(yōu)化的過程，如果把@$\alpha$@設置得較大，則傾向于選擇簡單的樹(此時預測誤差較大，而泛化能力較好)，而如果$\alpha$設置得較小，則傾向于選擇更復雜的模型(此時預測誤差較小，而泛化能力偏差);設置為0，那就只考慮預測誤差，即對訓練數(shù)據(jù)的擬合程度最高，但對未見過的數(shù)據(jù)，分類能力并不高。一個適當?shù)腀$\alpha$@在預測誤差與模型復雜度(泛化能力)之間平衡。

　　2.線性回歸

　　線性回歸使用線性模型擬合因變量與目標變量的關系，是最簡單的預測模型。

　　假設函數(shù)

　　其中$zhòng)(x_0=1$

　　損失函數(shù)

　　$C(\theta)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$

　　優(yōu)化目標

　　選擇合適的參數(shù)組$\theta$，使得損失函數(shù)最小化：

　　$min_\theta(C(\theta))$

　　優(yōu)化實現(xiàn)

　　使用梯度下降法，不斷地進行迭代，每一步的方向是負梯度方向：

　　$\theta_j=\theta_j-\alpha\frac{\partial }{\partial \theta_j}Cost(\theta)=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

　　3.邏輯回歸

　　邏輯回歸于線性回歸有著驚人的相似，卻又有著本質的不同，線性回歸的假設函數(shù)度量了一個線性模型對因變量和目標變量的擬合，即給定一個輸入，通過一個線性變換得到一個輸出，而邏輯回歸的假設函數(shù)計算的是對于給定輸入，其輸出y=1的概率，但邏輯回歸與線性回歸在計算形式上很相似，常常讓誤解為他們僅僅是假設函數(shù)的不同。

　　假設函數(shù)

　　其中$zhòng)(x_0=1$ 、$g(z)=\frac{1}{1+\exp^{-z}}$

　　損失函數(shù)

　　這里的損失函數(shù)不再是線性回歸時的求誤差平方和，因為誤差平方和不是參數(shù)$\theta$的凸函數(shù)，不容易求解全局最優(yōu)解，因此該用極大釋然估計作為損失函數(shù)，能滿足凸函數(shù)的要求。

　　$C(\theta)=-\frac{1}{m}[\sum_{i=1}^my^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

　　優(yōu)化目標

　　$min_\theta(C(\theta))$

　　優(yōu)化實現(xiàn)

　　使用梯度下降法，不斷地進行迭代，每一步的方向是負梯度方向：

　　$\theta_j=\theta_j-\alpha\frac{\partial }{\partial \theta_j}Cost(\theta)=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

　　注意到，在優(yōu)化實現(xiàn)上，邏輯回歸與線性回歸的形式一樣的，只是具體的假設函數(shù)不同。實際上，這只是一個巧合，巧合之處在于，對各自的損失函數(shù)求偏導數(shù)后，其梯度值恰好是假設函數(shù)與y的表達式，但線性回歸與邏輯回歸的本質是不同的。

　　3.BP神經網絡

　　這篇文章已經介紹了BP神經網絡，這里只是從模型、策略、算法這三個層面來總結一下BP，模型就是指假設函數(shù)，策略則指優(yōu)化目標，算法即指優(yōu)化實現(xiàn)。

　　假設函數(shù)

　　神經網絡的假設函數(shù)不是一個簡單的公式，它是多個邏輯回歸函數(shù)逐層迭代的結果，形式上可以寫成如下：

　　$a^{(1)}=x$

　　$a^{(2)}=g(W^{(1)}a^{(1)})$

　　$a^{(i)}=g(W^{(i-1)}a^{(i-1)})$

　　….

　　$a^{(L)}=g(W^{(L-1)}a^{(L-1)})$

　　$h_W(x)=a^{(L)}$

　　其中$zhòng)(L$表示神經網絡的層數(shù)，$g(z)=\frac{1}{1+\exp^{-z}}$，$W^{(i-1)}$表示第i-1層與第i層單元的權值矩陣，并且把偏置$\theta^{(i)}$放在了權值矩陣$W^{(i-1)}$中

　　損失函數(shù)

　　神經網絡的損失函數(shù)跟邏輯回歸非常類似，但是神經網絡的輸出單元可能有多個，需要在每個輸出單元上做一個累加：

　　$Cost(W)=-\frac{1}{m}[\sum_{i=1}^m\sum_{k=1}^Ky_k^{(i)}log(h_\theta(x^{(i)}))_k+(1-y^{(i)}_k)log(1-h_\theta(x^{(i)}))_k]$

　　其中K表示輸出層神經單元的個數(shù)，m表示訓練數(shù)據(jù)實例個數(shù)。

　　優(yōu)化目標

　　各個算法的優(yōu)化目標基本上都是尋求適當?shù)膮?shù)，使得損失函數(shù)最小。

　　$min_W(C(\theta))$

　　優(yōu)化實現(xiàn)

　　BP神經網絡，利用反向傳播，逐層采樣梯度下降。

　　4.k近鄰

　　損失函數(shù)

　　knn損失函數(shù)為0-1損失函數(shù)，假設給定一個實例x，其K個最近鄰訓練實例點構成的集合是$N_k(x)$：

　　$cost(f)=\frac {1}{k}\sum_{x_i\in N_k(x)}I(y_i\ne c_j)=1-\frac {1}{k}\sum_{x_i\in N_k}(x)I(y_i=c_j)$

　　優(yōu)化目標

　　機器學習方法匯總二

　　學習方式

　　根據(jù)數(shù)據(jù)類型的不同，對一個問題的建模有不同的方式。在機器學習或者人工智能領域，人們首先會考慮算法的學習方式。在機器學習領域，有幾種主要的學習方式。將算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和算法選擇的時候考慮能根據(jù)輸入數(shù)據(jù)來選擇最合適的算法來獲得最好的結果。

　　監(jiān)督式學習：

　　在監(jiān)督式學習下，輸入數(shù)據(jù)被稱為“訓練數(shù)據(jù)”，每組訓練數(shù)據(jù)有一個明確的標識或結果，如對防垃圾郵件系統(tǒng)中“垃圾郵件”“非垃圾郵件”，對手寫數(shù)字識別中的“1“，”2“，”3“，”4“等。在建立預測模型的時候，監(jiān)督式學習建立一個學習過程，將預測結果與“訓練數(shù)據(jù)”的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的準確率。監(jiān)督式學習的常見應用場景如分類問題和回歸問題。常見算法有邏輯回歸(Logistic Regression)和反向傳遞神經網絡(Back Propagation Neural Network)

　　非監(jiān)督式學習：

　　在非監(jiān)督式學習中，數(shù)據(jù)并不被特別標識，學習模型是為了推斷出數(shù)據(jù)的一些內在結構。常見的應用場景包括關聯(lián)規(guī)則的學習以及聚類等。常見算法包括Apriori算法以及k-Means算法。

　　半監(jiān)督式學習：

　　在此學習方式下，輸入數(shù)據(jù)部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數(shù)據(jù)的內在結構以便合理的組織數(shù)據(jù)來進行預測。應用場景包括分類和回歸，算法包括一些對常用監(jiān)督式學習算法的延伸，這些算法首先試圖對未標識數(shù)據(jù)進行建模，在此基礎上再對標識的數(shù)據(jù)進行預測。如圖論推理算法(Graph Inference)或者拉普拉斯支持向量機(Laplacian SVM.)等。

　　強化學習：

　　在這種學習模式下，輸入數(shù)據(jù)作為對模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數(shù)據(jù)直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態(tài)系統(tǒng)以及機器人控制等。常見算法包括Q-Learning以及時間差學習(Temporal difference learning)

　　在企業(yè)數(shù)據(jù)應用的場景下，人們最常用的可能就是監(jiān)督式學習和非監(jiān)督式學習的模型。在圖像識別等領域，由于存在大量的非標識的數(shù)據(jù)和少量的可標識數(shù)據(jù)，目前半監(jiān)督式學習是一個很熱的話題。而強化學習更多的應用在機器人控制及其他需要進行系統(tǒng)控制的領域。

　　算法類似性

　　根據(jù)算法的功能和形式的類似性，我們可以把算法分類，比如說基于樹的算法，基于神經網絡的算法等等。當然，機器學習的范圍非常龐大，有些算法很難明確歸類到某一類。而對于有些分類來說，同一分類的算法可以針對不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進行分類。

　　回歸算法：

　　回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法。回歸算法是統(tǒng)計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法(Ordinary Least Square)，邏輯回歸(Logistic Regression)，逐步式回歸(Stepwise Regression)，多元自適應回歸樣條(Multivariate Adaptive Regression Splines)以及本地散點平滑估計(Locally Estimated Scatterplot Smoothing)

　　基于實例的算法

　　基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數(shù)據(jù)，然后根據(jù)某些近似性把新數(shù)據(jù)與樣本數(shù)據(jù)進行比較。通過這種方式來尋找最佳的匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 k-Nearest Neighbor(KNN), 學習矢量量化(Learning Vector Quantization， LVQ)，以及自組織映射算法(Self-Organizing Map ， SOM)

　　正則化方法

　　正則化方法是其他算法(通常是回歸算法)的延伸，根據(jù)算法的復雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對復雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator(LASSO)，以及彈性網絡(Elastic Net)。

　　決策樹學習

　　決策樹算法根據(jù)數(shù)據(jù)的屬性采用樹狀結構建立決策模型，決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹(Classification And Regression Tree， CART)， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林(Random Forest)，多元自適應回歸樣條(MARS)以及梯度推進機(Gradient Boosting Machine， GBM)

　　貝葉斯方法

　　貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計(Averaged One-Dependence Estimators， AODE)，以及Bayesian Belief Network(BBN)。

　　基于核的算法

　　基于核的算法中最著名的莫過于支持向量機(SVM)了。基于核的算法把輸入數(shù)據(jù)映射到一個高階的向量空間，在這些高階向量空間里，有些分類或者回歸問題能夠更容易的解決。常見的基于核的算法包括：支持向量機(Support Vector Machine， SVM)，徑向基函數(shù)(Radial Basis Function ，RBF)，以及線性判別分析(Linear Discriminate Analysis ，LDA)等

　　聚類算法

　　聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數(shù)據(jù)進行歸并。所以的聚類算法都試圖找到數(shù)據(jù)的內在結構，以便按照最大的共同點將數(shù)據(jù)進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法(Expectation Maximization， EM)。

　　關聯(lián)規(guī)則學習

　　關聯(lián)規(guī)則學習通過尋找最能夠解釋數(shù)據(jù)變量之間關系的規(guī)則，來找出大量多元數(shù)據(jù)集中有用的關聯(lián)規(guī)則。常見算法包括 Apriori算法和Eclat算法等。

　　人工神經網絡

　　人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。(其中深度學習就是其中的一類算法，我們會單獨討論)，重要的人工神經網絡算法包括：感知器神經網絡(Perceptron Neural Network), 反向傳遞(Back Propagation)， Hopfield網絡，自組織映射(Self-Organizing Map, SOM)。學習矢量量化(Learning Vector Quantization， LVQ)

　　深度學習

　　深度學習算法是對人工神經網絡的發(fā)展。在近期贏得了很多關注，特別是百度也開始發(fā)力深度學習后，更是在國內引起了很多關注。在計算能力變得日益廉價的今天，深度學習試圖建立大得多也復雜得多的神經網絡。很多深度學習的算法是半監(jiān)督式學習算法，用來處理存在少量未標識數(shù)據(jù)的大數(shù)據(jù)集。常見的深度學習算法包括：受限波爾茲曼機(Restricted Boltzmann Machine， RBN)， Deep Belief Networks(DBN)，卷積網絡(Convolutional Network), 堆棧式自動編碼器(Stacked Auto-encoders)。

　　降低維度算法

　　像聚類算法一樣，降低維度算法試圖分析數(shù)據(jù)的內在結構，不過降低維度算法是以非監(jiān)督學習的方式試圖利用較少的信息來歸納或者解釋數(shù)據(jù)。這類算法可以用于高維數(shù)據(jù)的可視化或者用來簡化數(shù)據(jù)以便監(jiān)督式學習使用。常見的算法包括：主成份分析(Principle Component Analysis， PCA)，偏最小二乘回歸(Partial Least Square Regression，PLS)， Sammon映射，多維尺度(Multi-Dimensional Scaling, MDS), 投影追蹤(Projection Pursuit)等。

　　集成算法：

　　集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然后把結果整合起來進行整體預測。集成算法的主要難點在于究竟集成哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的算法包括：Boosting， Bootstrapped Aggregation(Bagging)， AdaBoost，堆疊泛化(Stacked Generalization， Blending)，梯度推進機(Gradient Boosting Machine, GBM)，隨機森林(Random Forest)。