天天曰夜夜曰,久久精品午夜视频,另类专区欧美

什么是支持向量機--目前的研究熱點

2006.12.12

什么是支持向量機--目前的研究熱點
★ ★
angeldeer(金幣+2):thanks

基于統(tǒng)計學(xué)習(xí)理論的支持向量機算法研究

1 理論背景
基于數(shù)據(jù)的機器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測數(shù)據(jù)（樣本）出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測。迄今為止，關(guān)于機器學(xué)習(xí)還沒有一種被共同接受的理論框架，關(guān)于其實現(xiàn)方法大致可以分為三種[3]：
第一種是經(jīng)典的（參數(shù)）統(tǒng)計估計方法。包括模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計學(xué)。參數(shù)方法正是基于傳統(tǒng)統(tǒng)計學(xué)的，在這種方法中，參數(shù)的相關(guān)形式是已知的，訓(xùn)練樣本用來估計參數(shù)的值。這種方法有很大的局限性，首先，它需要已知樣本分布形式，這需要花費很大代價，還有，傳統(tǒng)統(tǒng)計學(xué)研究的是樣本數(shù)目趨于無窮大時的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)。但在實際問題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實際中表現(xiàn)卻可能不盡人意。
第二種方法是經(jīng)驗非線性方法，如人工神經(jīng)網(wǎng)絡(luò)（ANN）。這種方法利用已知樣本建立非線性模型，克服了傳統(tǒng)參數(shù)估計方法的困難。但是，這種方法缺乏一種統(tǒng)一的數(shù)學(xué)理論。
與傳統(tǒng)統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論（Statistical Learning Theory或SLT）是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論。該理論針對小樣本統(tǒng)計問題建立了一套新的理論體系，在這種體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果。V. Vapnik等人從六、七十年代開始致力于此方面研究[1]，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進展，統(tǒng)計學(xué)習(xí)理論開始受到越來越廣泛的重視。
統(tǒng)計學(xué)習(xí)理論的一個核心概念就是VC維(VC Dimension)概念，它是描述函數(shù)集或?qū)W習(xí)機器的復(fù)雜性或者說是學(xué)習(xí)能力(Capacity of the machine)的一個重要指標(biāo)，在此概念基礎(chǔ)上發(fā)展出了一系列關(guān)于統(tǒng)計學(xué)習(xí)的一致性(Consistency)、收斂速度、推廣性能(Generalization Performance)等的重要結(jié)論。
統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架。它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等）；同時，這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法──支持向量機（Support Vector Machine或SVM），已初步表現(xiàn)出很多優(yōu)于已有方法的性能。一些學(xué)者認(rèn)為，SLT和SVM正在成為繼神經(jīng)網(wǎng)絡(luò)研究之后新的研究熱點，并將推動機器學(xué)習(xí)理論和技術(shù)有重大的發(fā)展。
支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性(即對特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy)和學(xué)習(xí)能力(即無錯誤地識別任意樣本的能力)之間尋求最佳折衷，以期獲得最好的推廣能力(Generalizatin Ability)。支持向量機方法的幾個主要優(yōu)點有：
1. 它是專門針對有限樣本情況的，其目標(biāo)是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無窮大時的最優(yōu)值；
2. 算法最終將轉(zhuǎn)化成為一個二次型尋優(yōu)問題，從理論上說，得到的將是全局最優(yōu)點，解決了在神經(jīng)網(wǎng)絡(luò)方法中無法避免的局部極值問題；
3. 算法將實際問題通過非線性變換轉(zhuǎn)換到高維的特征空間(Feature Space)，在高維空間中構(gòu)造線性判別函數(shù)來實現(xiàn)原空間中的非線性判別函數(shù)，特殊性質(zhì)能保證機器有較好的推廣能力，同時它巧妙地解決了維數(shù)問題，其算法復(fù)雜度與樣本維數(shù)無關(guān)；
在SVM方法中，只要定義不同的內(nèi)積函數(shù)，就可以實現(xiàn)多項式逼近、貝葉斯分類器、徑向基函數(shù)(Radial Basic Function或RBF)方法、多層感知器網(wǎng)絡(luò)等許多現(xiàn)有學(xué)習(xí)算法。
統(tǒng)計學(xué)習(xí)理論從七十年代末誕生，到九十年代之前都處在初級研究和理論準(zhǔn)備階段，近幾年才逐漸得到重視，其本身也趨向完善，并產(chǎn)生了支持向量機這一將這種理論付諸實現(xiàn)的有效的機器學(xué)習(xí)方法。目前，SVM算法在模式識別、回歸估計、概率密度函數(shù)估計等方面都有應(yīng)用。例如，在模式識別方面，對于手寫數(shù)字識別、語音識別、人臉圖像識別、文章分類等問題，SVM算法在精度上已經(jīng)超過傳統(tǒng)的學(xué)習(xí)算法或與之不相上下。

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊舉報。

打開APP，閱讀全文并永久保存查看更多類似文章

機器學(xué)習(xí)算法——支持向量機（SVM）

支持向量機及其應(yīng)用

svm基本原理

文本分類入門(六)訓(xùn)練Part 3 - Jasper's Java Jacal - BlogJava

機器學(xué)習(xí)理論與實戰(zhàn)（六）支持向量機

SVM學(xué)習(xí)之五——支持向量機的原理

更多類似文章 >>

九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区