本文是【AI工業(yè)自動化第三期】深度學(xué)習(xí)+機(jī)器視覺：下一代工業(yè)視覺檢測技術(shù)路線 的觀看筆記，看完之后，收獲良多。
文中圖片來自 B站視頻：https://www.bilibili.com/video/BV177411f79u
cognex官網(wǎng)上的一個截圖：https://www.cognex.com/
工業(yè)視覺與計算機(jī)視覺不同：
對檢測結(jié)果要作出一系列行動。
成像、光源設(shè)計這一塊兒，工業(yè)視覺背景更加單一。
四大領(lǐng)域：
引導(dǎo)在工業(yè)視覺中很重要。
測量：核心在于精度。硬件、光學(xué)影響比較大，其實與AI這一塊兒關(guān)系不大。
識別：條碼、OCR字符 復(fù)雜度不高，但是難點(diǎn)在于軟硬件結(jié)合。
引導(dǎo)：對算法要求較高。2D定位：模板匹配（較簡單） 3D定位：上下料、物流。
檢測：國內(nèi)有能力做復(fù)雜缺陷檢測的公司比較少。 AI主戰(zhàn)場
大部分工業(yè)視覺的全景
工業(yè)視覺檢測現(xiàn)狀：
工廠質(zhì)檢員比例：10%->30%
組裝這一塊兒隨著自動化技術(shù)提高，需要的人工降低了，但是質(zhì)檢這一塊兒，人工比例卻越來越高。
對于誤檢，工廠里邊很多這樣的：前面AOI系統(tǒng)檢測，后邊配幾個人工review
為什么？
紅色是用AI去做和傳統(tǒng)不一樣的地方。
工業(yè)里面的并不是一味地堆數(shù)據(jù)。
數(shù)組類型、怎么標(biāo)注。
第六步中，傳統(tǒng)：先做出來，然后再派技術(shù)支持到現(xiàn)場部署。 深度學(xué)習(xí)：先有一個粗略的模型，到現(xiàn)場后再完成算法。
案例：
AIDI用于連接器檢測
3C精密模組檢測方案：
刮傷、壓傷都屬于行業(yè)難點(diǎn)，一般用AI去做。
AIDI連接器檢測算法方案
真正使用傳統(tǒng)算法做的只有圓點(diǎn)超1/2（B面），其他有的是用傳統(tǒng)算法輔助。
小樣本效果好->加大樣本測試后效果又變差 ->深淵 ：加大數(shù)據(jù)量后，有的缺陷檢測率提高了，有些缺陷檢測率降低了，進(jìn)入震蕩期，很多公司到這一步就放棄了。
AI落地工業(yè)視覺很難，套路很少。
讓算法趨于可控。
缺陷檢測難度遠(yuǎn)遠(yuǎn)高于定位。
需求之坑：1. 客戶要求漏檢、過檢都為0?？蛻舨欢夹g(shù)，會有過高的預(yù)期。2. 有些公司就讓你過來，也不提具體需求，就說你只要把現(xiàn)在的質(zhì)檢員替換掉就OK了，哈哈哈，真實，這樣會比較費(fèi)勁兒，后期需求更改啥的很麻煩，這種客戶直接拒絕就好。
數(shù)據(jù)之坑：
模型之坑：過擬合：小樣本上比較好，大樣本效果差。
經(jīng)驗：工業(yè)檢測上，神經(jīng)網(wǎng)絡(luò)的層數(shù)沒必要太多，基本上20多層已經(jīng)完全夠了，層數(shù)過深的話，模型復(fù)雜度高于問題復(fù)雜度，容易出現(xiàn)過擬合。
模型遷移：傳統(tǒng)方法通過改參數(shù)，AI的話需要進(jìn)行遷移。
第一步缺陷定位容易出現(xiàn)過檢，通過第二步像素級分析，通過一些像素級技術(shù)， 降低過檢，最后分類。
開始推銷軟件了，哈哈
工業(yè)圖像會有自己的一個特點(diǎn)，比如樣本比較少，圖片比較大（一張圖片上百M(fèi)，甚至一個G），所以會有幾個方向，第一塊兒是小樣本的問題。第二塊兒是非監(jiān)督模式，用正向本建模的問題（好像是這個詞）。第三塊兒是數(shù)據(jù)生成的問題。第四塊兒是高分辨率圖像處理的問題。
這個問題很大程度上是取決于客戶的一個周期，客戶的規(guī)劃。一般如果客戶配合比較好的話，預(yù)計2~3個月，阿丘這邊比較快，因為阿丘這邊不做整機(jī)設(shè)備，只做AI軟件，只需要和視覺系統(tǒng)集成商，包括設(shè)備公司去合作，一般2到3個月，第一套、第二套上線，后邊copy的話，如果類似的產(chǎn)品，時間會比較快。
轉(zhuǎn)產(chǎn)的成本我沒太理解，我就按遷移吧，從0到1、以及從1到N是一個非常有意思的問題，也是一個必須解決的問題。如果說產(chǎn)品類似的話，大體上，基本上98%的基準(zhǔn)版是有了，但是后面還需要上線，根據(jù)產(chǎn)線的數(shù)據(jù)再做一個迭代，等于說是你軟硬件的工作是有了，主要核心迭代算法模型就OK了。這里邊一般需要一個技術(shù)支持在現(xiàn)場，去采集一些圖片，在之前的基礎(chǔ)上再加一下樣本，尤其是檢測不太好的樣本，做一個refine。
我覺得這個問題不太好回答，是因為他看起來具體但有點(diǎn)抽象，這和場景關(guān)聯(lián)度比較高，以及它臟污臟在什么地方，這個如果有問題，可以私下交流。
其實阿丘不是做AOI或者AVI這一塊兒的，我們是做AOI或者AVI里面的AI軟件或AI算法算法工具平臺這一塊兒，有點(diǎn)偏通用的屬性?？赡苄袠I(yè)里邊知道的，康耐視、WIDI、SuaLab，所以我們偏軟件這一塊兒，但是我們的產(chǎn)品，AI、DI這一塊兒會在客戶的AOI系統(tǒng)上面去使用。比如說對精密結(jié)構(gòu)件的檢測
首先，工業(yè)流程核心環(huán)節(jié)是什么，檢測這個事很多人可能認(rèn)為它不是工業(yè)流程中特別核心的一個事，會有這種認(rèn)知。我覺得我這樣回答這個問題吧，首先工業(yè)里邊哪些地方需要AI吧，目前看來，幾個地方比較多，第一個就在于設(shè)備的預(yù)警這一塊兒，第二個在于質(zhì)量控制這一塊兒，第三個在于設(shè)備參數(shù)的優(yōu)化這一塊兒，但這一塊兒更傾向于傳統(tǒng)機(jī)器視覺。所以關(guān)于工業(yè)流程的核心，質(zhì)量控制也是企業(yè)很關(guān)心的一個點(diǎn)。 做外觀檢測或者做檢測絕不是簡單的為了替代人，它是質(zhì)量管控非常重要的一個工具。稍微展開一點(diǎn)，檢測這一塊兒分為過程中檢測和最終環(huán)節(jié)檢測，過程中檢測主要為了監(jiān)控它，我究竟出現(xiàn)哪些質(zhì)量的問題，哪些出現(xiàn)的概率比較高，哪些出現(xiàn)的概率比較低，我下一步?jīng)Q定干什么，出現(xiàn)概率比較高的缺陷與哪些工藝相關(guān)，哪些工藝設(shè)備對它的影響比較大，這樣可以去做質(zhì)量的工藝分析，去改善工藝制程，在面板半導(dǎo)體領(lǐng)域等，已經(jīng)在往這方面去做了。不同領(lǐng)域會有不同的進(jìn)度。
這要根據(jù)場景的復(fù)雜度，根據(jù)我們的經(jīng)驗，不需要的太多，單一的缺陷的話，圖片在30到50張，多一點(diǎn)的話，100張、200張，超過千張的比較少。
這個問題如果結(jié)合案例來講的話會更好一點(diǎn)，打標(biāo)簽核心的話，就是標(biāo)注信息的時候把信息量標(biāo)出來，就有些的你不一定只標(biāo)注缺陷，缺陷的一些周邊信息，背景信息都標(biāo)注出來，可能會有助于你解決問題。
有信心
正樣本一般不需要生成，正樣本非常好收集，一般會生成負(fù)樣本，比如劃傷。17年研究過數(shù)據(jù)生成，但是計算機(jī)生成的圖像和真實數(shù)據(jù)還是有區(qū)別的，所以當(dāng)時做的不太深。但是19年，我們也在嘗試，在用神經(jīng)網(wǎng)絡(luò)去做，但這個目前不是一個通識的問題。
確實，在工業(yè)場景是需要研究小樣本問題的，大數(shù)據(jù)不在于它數(shù)量的大，而在于它信息的大，盡量讓信息的密度加大。就比如說，一類缺陷可能有三五十張，20類的話，也就有1000張左右，只要它能夠把主流的模式涵蓋調(diào)，再使用一些數(shù)據(jù)生成的技術(shù)，把它擴(kuò)一下，但是真的不需要太多。技術(shù)細(xì)節(jié)不能在這里share，哈哈
OCR的識別簡單，但是如果涉及到中文、日文、英文的字符，比如缺了一個點(diǎn)，這屬于印刷品缺陷檢測，這有一定復(fù)雜度，但是可解。
看場景吧，不能一概而論。
最近有接觸過智能驗布這一塊兒，目前沒有完全上線，技術(shù)論證這一塊兒還需要一些優(yōu)化。
精細(xì)一點(diǎn)的缺陷需要用分割輔助其他的一些方法，大的比較宏觀的缺陷用正樣本建模就OK了。這里面有使用不同模塊兒的問題。
對缺陷這一塊兒不能單純的看成圖像的問題，缺陷認(rèn)知三段論：缺陷分關(guān)鍵的缺陷、重要的缺陷（我覺得這里阿丘嘴瓢了，應(yīng)該是不重要的缺陷吧）、主觀性的缺陷（有爭議的缺陷，需要去和客戶談一個標(biāo)準(zhǔn)）
AIDI我們目前涉及的行業(yè)六七個有了，如果具體場景的話，六七十個場景是有的。
正常如果我們不參與協(xié)助輔導(dǎo)的話，這個時間不太可控，如果他們有有經(jīng)驗的工程師的話，一個兩個月的都有。如果我們?nèi)f(xié)助的話，是以周為單位。
這個也是客戶喜歡提出的問題，我個人認(rèn)為這有點(diǎn)鉆牛角尖了。首先，確實會出現(xiàn)
一些新的缺陷之前在設(shè)計模型、訓(xùn)練沒有做的這種情況，但這并不意味著AI算法識別不出來，AI算法其實是一個偏模式的特征工程，比如說你這個新缺陷和之前的某個缺陷比較像，而且比較像，一般情況下能識別出來。如果識別不出來，就在模型的基礎(chǔ)上把這些東西加進(jìn)去，重新refine一下。如果有問題，再調(diào)整一下，通過這種方式可以解決。
真的想落地的話，公司需要具備設(shè)計網(wǎng)絡(luò)的能力，可以參考VGGnet，或者說
Googlenet等一系列經(jīng)典的網(wǎng)絡(luò)，細(xì)節(jié)這一塊兒，比如loss函數(shù)，很多地方需要自己調(diào)整。
很多人和時間撲上去，開始會出現(xiàn)這種情況，但是隨著你做的有經(jīng)驗，這個邊界成本會降下來，我們的客戶群主要以中間商為主，很少做終端客戶，即便是終端客戶，也是他們的自動化部門。所以，目前公司其實是沒有很大的人員投入
這個問題很專業(yè)。傳統(tǒng)方法的需要花很長時間和精力去設(shè)計算子，但是深度學(xué)習(xí)會好很多，成本會降低，效率會提升。
我們不做最終的解決方案，但是我們的合作伙伴中有在做這方面的一些檢測。其實目前并沒有看到特別成熟方案。手機(jī)2.5D缺陷檢測這一塊兒，有些公司做的還OK
這個和行業(yè)差異有關(guān)，有錢的行業(yè)它的容忍度高，比如3C的話，大概在一年半以內(nèi)。 拿我們AIDI來做的話，大概6個月到12個月，能夠回收成本。
參考：https://www.bilibili.com/video/BV177411f79u
聯(lián)系客服
