當(dāng)然了,圖像識(shí)別這個(gè)話題作為計(jì)算機(jī)科學(xué)的一個(gè)分支,不可能就在本文簡(jiǎn)單幾句就說清,所以本文只作基本算法的科普向。
看到一篇博客是介紹這個(gè),但他用的是PIL中的Image實(shí)現(xiàn)的,感覺比較麻煩,于是利用Opencv庫(kù)進(jìn)行了更簡(jiǎn)潔化的實(shí)現(xiàn)。
要識(shí)別兩張相似圖像,我們從感性上來談是怎么樣的一個(gè)過程?首先我們會(huì)區(qū)分這兩張相片的類型,例如是風(fēng)景照,還是人物照。風(fēng)景照中,是沙漠還是海洋,人物照中,兩個(gè)人是不是都是國(guó)字臉,還是瓜子臉(還是倒瓜子臉……哈哈……)。
那么從機(jī)器的角度來說也是這樣的,先識(shí)別圖像的特征,然后再相比。
很顯然,在沒有經(jīng)過訓(xùn)練的計(jì)算機(jī)(即建立模型),那么計(jì)算機(jī)很難區(qū)分什么是海洋,什么是沙漠。但是計(jì)算機(jī)很容易識(shí)別到圖像的像素值。
因此,在圖像識(shí)別中,顏色特征
是最為常用的。(其余常用的特征還有紋理特征
、形狀特征
和空間關(guān)系特征
等)
其中又分為
直方圖
顏色集
顏色矩
聚合向量
相關(guān)圖
這里先用直方圖進(jìn)行簡(jiǎn)單講述。
先借用一下戀花蝶
的圖片,
從肉眼來看,這兩張圖片大概也有八成是相似的了。
在python中利用opencv中的calcHist()方法獲取其直方圖數(shù)據(jù),返回的結(jié)果是一個(gè)列表,使用matplotlib,畫出了這兩張圖的直方圖數(shù)據(jù)圖
如下:
是的,我們可以明顯的發(fā)現(xiàn),兩張圖片的直方圖還是比較重合的。所以利用直方圖判斷兩張圖片的是否相似的方法就是,計(jì)算其直方圖的重合程度即可。
計(jì)算方法如下:
其中g(shù)i和si是分別指兩條曲線的第i個(gè)點(diǎn)。
最后計(jì)算得出的結(jié)果就是就是其相似程度。
不過,這種方法有一個(gè)明顯的弱點(diǎn),就是他是按照顏色的全局分布來看的,無法描述顏色的局部分布和色彩所處的位置。
也就是假如一張圖片以藍(lán)色為主,內(nèi)容是一片藍(lán)天,而另外一張圖片也是藍(lán)色為主,但是內(nèi)容卻是妹子穿了藍(lán)色裙子,那么這個(gè)算法也很可能認(rèn)為這兩張圖片的相似的。
緩解這個(gè)弱點(diǎn)有一個(gè)方法就是利用Image
的crop
方法把圖片等分,然后再分別計(jì)算其相似度,最后綜合考慮。
在介紹下面其他判別相似度的方法前,先補(bǔ)充一些概念。第一個(gè)就是圖像指紋
圖像指紋和人的指紋一樣,是身份的象征,而圖像指紋簡(jiǎn)單點(diǎn)來講,就是將圖像按照一定的哈希算法,經(jīng)過運(yùn)算后得出的一組二進(jìn)制數(shù)字。
說到這里,就可以順帶引出漢明距離的概念了。
假如一組二進(jìn)制數(shù)據(jù)為101
,另外一組為111
,那么顯然把第一組的第二位數(shù)據(jù)0
改成1
就可以變成第二組數(shù)據(jù)111
,所以兩組數(shù)據(jù)的漢明距離就為1
簡(jiǎn)單點(diǎn)說,漢明距離就是一組二進(jìn)制數(shù)據(jù)變成另一組數(shù)據(jù)所需的步驟數(shù),顯然,這個(gè)數(shù)值可以衡量?jī)蓮垐D片的差異,漢明距離越小,則代表相似度越高。漢明距離為0,即代表兩張圖片完全一樣。
如何計(jì)算得到漢明距離,請(qǐng)看下面三種哈希算法
此算法是基于比較灰度圖每個(gè)像素與平均值來實(shí)現(xiàn)的
一般步驟
1.縮放圖片,一般大小為8*8,64個(gè)像素值。
2.轉(zhuǎn)化為灰度圖
3.計(jì)算平均值:計(jì)算進(jìn)行灰度處理后圖片的所有像素點(diǎn)的平均值,直接用numpy中的mean()計(jì)算即可。
4.比較像素灰度值:遍歷灰度圖片每一個(gè)像素,如果大于平均值記錄為1,否則為0.
5.得到信息指紋:組合64個(gè)bit位,順序隨意保持一致性。
最后比對(duì)兩張圖片的指紋,獲得漢明距離即可。
平均哈希算法過于嚴(yán)格,不夠精確,更適合搜索縮略圖,為了獲得更精確的結(jié)果可以選擇感知哈希算法,它采用的是DCT(離散余弦變換)來降低頻率的方法
一般步驟:
縮小圖片:32 * 32
是一個(gè)較好的大小,這樣方便DCT計(jì)算
轉(zhuǎn)化為灰度圖
計(jì)算DCT:利用Opencv中提供的dct()方法,注意輸入的圖像必須是32位浮點(diǎn)型,所以先利用numpy中的float32進(jìn)行轉(zhuǎn)換
縮小DCT:DCT計(jì)算后的矩陣是32 * 32
,保留左上角的8 * 8
,這些代表的圖片的最低頻率
計(jì)算平均值:計(jì)算縮小DCT后的所有像素點(diǎn)的平均值。
進(jìn)一步減小DCT:大于平均值記錄為1,反之記錄為0.
得到信息指紋:組合64個(gè)信息位,順序隨意保持一致性。
最后比對(duì)兩張圖片的指紋,獲得漢明距離即可。
相比pHash,dHash的速度要快的多,相比aHash,dHash在效率幾乎相同的情況下的效果要更好,它是基于漸變實(shí)現(xiàn)的。
步驟:
縮小圖片:收縮到9*8的大小,以便它有72的像素點(diǎn)
轉(zhuǎn)化為灰度圖
計(jì)算差異值:dHash算法工作在相鄰像素之間,這樣每行9個(gè)像素之間產(chǎn)生了8個(gè)不同的差異,一共8行,則產(chǎn)生了64個(gè)差異值
獲得指紋:如果左邊的像素比右邊的更亮,則記錄為1,否則為0.
最后比對(duì)兩張圖片的指紋,獲得漢明距離即可。
- # -*- coding: utf-8 -*-
- #feimengjuan
- # 利用python實(shí)現(xiàn)多種方法來實(shí)現(xiàn)圖像識(shí)別
-
- import cv2
- import numpy as np
- from matplotlib import pyplot as plt
-
- # 最簡(jiǎn)單的以灰度直方圖作為相似比較的實(shí)現(xiàn)
- def classify_gray_hist(image1,image2,size = (256,256)):
- # 先計(jì)算直方圖
- # 幾個(gè)參數(shù)必須用方括號(hào)括起來
- # 這里直接用灰度圖計(jì)算直方圖,所以是使用第一個(gè)通道,
- # 也可以進(jìn)行通道分離后,得到多個(gè)通道的直方圖
- # bins 取為16
- image1 = cv2.resize(image1,size)
- image2 = cv2.resize(image2,size)
- hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0])
- hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0])
- # 可以比較下直方圖
- plt.plot(range(256),hist1,'r')
- plt.plot(range(256),hist2,'b')
- plt.show()
- # 計(jì)算直方圖的重合度
- degree = 0
- for i in range(len(hist1)):
- if hist1[i] != hist2[i]:
- degree = degree (1 - abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i]))
- else:
- degree = degree 1
- degree = degree/len(hist1)
- return degree
-
- # 計(jì)算單通道的直方圖的相似值
- def calculate(image1,image2):
- hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0])
- hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0])
- # 計(jì)算直方圖的重合度
- degree = 0
- for i in range(len(hist1)):
- if hist1[i] != hist2[i]:
- degree = degree (1 - abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i]))
- else:
- degree = degree 1
- degree = degree/len(hist1)
- return degree
-
- # 通過得到每個(gè)通道的直方圖來計(jì)算相似度
- def classify_hist_with_split(image1,image2,size = (256,256)):
- # 將圖像resize后,分離為三個(gè)通道,再計(jì)算每個(gè)通道的相似值
- image1 = cv2.resize(image1,size)
- image2 = cv2.resize(image2,size)
- sub_image1 = cv2.split(image1)
- sub_image2 = cv2.split(image2)
- sub_data = 0
- for im1,im2 in zip(sub_image1,sub_image2):
- sub_data = calculate(im1,im2)
- sub_data = sub_data/3
- return sub_data
-
- # 平均哈希算法計(jì)算
- def classify_aHash(image1,image2):
- image1 = cv2.resize(image1,(8,8))
- image2 = cv2.resize(image2,(8,8))
- gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)
- gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)
- hash1 = getHash(gray1)
- hash2 = getHash(gray2)
- return Hamming_distance(hash1,hash2)
-
- def classify_pHash(image1,image2):
- image1 = cv2.resize(image1,(32,32))
- image2 = cv2.resize(image2,(32,32))
- gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)
- gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)
- # 將灰度圖轉(zhuǎn)為浮點(diǎn)型,再進(jìn)行dct變換
- dct1 = cv2.dct(np.float32(gray1))
- dct2 = cv2.dct(np.float32(gray2))
- # 取左上角的8*8,這些代表圖片的最低頻率
- # 這個(gè)操作等價(jià)于c 中利用opencv實(shí)現(xiàn)的掩碼操作
- # 在python中進(jìn)行掩碼操作,可以直接這樣取出圖像矩陣的某一部分
- dct1_roi = dct1[0:8,0:8]
- dct2_roi = dct2[0:8,0:8]
- hash1 = getHash(dct1_roi)
- hash2 = getHash(dct2_roi)
- return Hamming_distance(hash1,hash2)
-
- # 輸入灰度圖,返回hash
- def getHash(image):
- avreage = np.mean(image)
- hash = []
- for i in range(image.shape[0]):
- for j in range(image.shape[1]):
- if image[i,j] > avreage:
- hash.append(1)
- else:
- hash.append(0)
- return hash
-
-
- # 計(jì)算漢明距離
- def Hamming_distance(hash1,hash2):
- num = 0
- for index in range(len(hash1)):
- if hash1[index] != hash2[index]:
- num = 1
- return num
-
-
- if __name__ == '__main__':
- img1 = cv2.imread('10.jpg')
- cv2.imshow('img1',img1)
- img2 = cv2.imread('11.jpg')
- cv2.imshow('img2',img2)
- degree = classify_gray_hist(img1,img2)
- #degree = classify_hist_with_split(img1,img2)
- #degree = classify_aHash(img1,img2)
- #degree = classify_pHash(img1,img2)
- print degree
- cv2.waitKey(0)
聯(lián)系客服