1、kNN
2、線性回歸 y=WX+b
.線性模型：給定一個(gè)測試樣本，通過加權(quán)求和該樣本的特征值計(jì)算其結(jié)果并作為預(yù)測值
.例子：房價(jià)預(yù)測，樣本有兩維特征：1、每年的房產(chǎn)稅（XTAX）,2、房產(chǎn)年齡（XAGE）
.線性回歸屬于線性模型中的一種
.最小二乘法求解參數(shù)
被選擇的參數(shù)，應(yīng)該使擬合出的預(yù)測值曲線與觀測值（真實(shí)值）之差的平方和最小
該值也叫作：殘差平方和（residual sum of squares,RSS）
sklearn中調(diào)用線性回歸
linreg = LinearRegression.fit(X_train,y_train)
其中 linreg.coef--W linreg.intercept--b
2、邏輯回歸（做的是分類問題，解決的是離散型分類問題）
輸出的是[0,1]之間的值，即是一個(gè)概率值。
過擬合
是指在調(diào)試一個(gè)統(tǒng)計(jì)模型時(shí)，使用過多參數(shù)，模型對于訓(xùn)練數(shù)據(jù)擬合程度過當(dāng)，以至于太適應(yīng)訓(xùn)練數(shù)據(jù)而非一般情況
在訓(xùn)練數(shù)據(jù)上表現(xiàn)非常好，但是在測試數(shù)據(jù)或驗(yàn)證數(shù)據(jù)上表現(xiàn)很差
正則化
控制模型復(fù)雜度，模型復(fù)雜度越高，越容易過擬合
平衡損失好桉樹與模型復(fù)雜度
minimize.Loss(Data|Model)+complexity(Model)
Loss--損失函數(shù)， complexity(模型復(fù)雜度）
衡量模型復(fù)雜度
模型學(xué)習(xí)得到的權(quán)重越大，模型復(fù)雜度越高
L2正則化
complexity(Model)=sum of the squares of the weights
懲罰特別大的權(quán)重項(xiàng)
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報(bào)。
