2020年8月7日-9日，第五屆CCF-GAIR全球人工智能與機器人峰會于上周五正式在深圳開幕。
CCF-GAIR 2020將延續(xù)過去的強大陣容，在新基建機遇下，CCF-GAIR 2020 設(shè)立了 15 個主題專場。
在工業(yè)互聯(lián)網(wǎng)專場，騰訊云副總裁趙建春發(fā)表了題為《騰訊云人工智能在工業(yè)互聯(lián)網(wǎng)領(lǐng)域的實踐》的主題演講。
以下為演講實錄：
各位朋友大家下午好，非常榮幸能夠在這里和大家分享一下騰訊云人工智能在工業(yè)互聯(lián)網(wǎng)領(lǐng)域的案例和實踐。
人工智能的概念是在1956年提出來的，到現(xiàn)在已經(jīng)有60多年的歷史，期間經(jīng)歷過幾次的高潮和低谷，最近20年可以說是人工智能快速發(fā)展的20年，主要是受互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的需求驅(qū)動，尤其是移動互聯(lián)網(wǎng)。人工智能在消費互聯(lián)網(wǎng)里面積累了豐富的經(jīng)驗，現(xiàn)在開始走入到產(chǎn)業(yè)互聯(lián)網(wǎng)和工業(yè)里面來了。騰訊今年正好是22年，比較完整經(jīng)歷了互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的年代，在內(nèi)部也積累了非常多的人工智能的經(jīng)驗，同時，形成了騰訊AI Lab、騰訊優(yōu)圖、微信人工智能實驗室，現(xiàn)在也依托騰訊云把這些實驗室積累的人工智能的能力向產(chǎn)業(yè)界進(jìn)行輸出。尤其是優(yōu)圖實驗室，因為它隸屬于云與智慧產(chǎn)業(yè)事業(yè)群，它更是這個能力輸出的排頭兵。
由于咱們論壇是工業(yè)互聯(lián)網(wǎng)論壇，我介紹一下騰訊云工業(yè)產(chǎn)品的整體架構(gòu)，在底層是大家熟悉的IaaS平臺、物聯(lián)網(wǎng)平臺和5G的基礎(chǔ)能力。之上是四大基座：大數(shù)據(jù)基座、工業(yè)業(yè)務(wù)基座、工業(yè)營銷基座和工業(yè)智能基座。往上是支撐服務(wù)生態(tài)的產(chǎn)品和生態(tài)，包括工業(yè)生態(tài)能力、行業(yè)定制，生態(tài)集成，去共同支撐為區(qū)域企業(yè)提供數(shù)字化解決方案的平臺，目前在全國落地了8家。還有項目牽引和基座做的泛工業(yè)解決方案。
再看看工業(yè)智能基座，底層也是我們的基礎(chǔ)云，之上是基礎(chǔ)服務(wù)產(chǎn)品、大數(shù)據(jù)能力、AI能力、引擎、計算機語言識別、自然語言處理。往上做應(yīng)用服務(wù)產(chǎn)品，包括騰訊云人工智能服務(wù)平臺、智能對話平臺、數(shù)據(jù)資產(chǎn)管理平臺等等。向上會做各種單向的應(yīng)用，比如說人臉核身、文字識別、人臉識別和圖像識別等。更上面是行業(yè)解決方案，比如說智慧工業(yè)、智慧交通等等。
基于這些能力，在過去幾年騰訊云嘗試非常多的工業(yè)領(lǐng)域的AI應(yīng)用，有很多的收獲，也有不少的教訓(xùn)，最大的感受是落地工業(yè)AI是挑戰(zhàn)和機遇并存的，大家可以看一下，就不一一念了，如果大家做這個領(lǐng)域的事情時就會有同樣的感觸，大家可以看一下是不是有同樣的感觸，現(xiàn)在給大家介紹一些騰訊在工業(yè)AI領(lǐng)域的實踐具體案例。
首先來看一下我們和合作伙伴給華星光電做的ADC自動缺陷檢測項目，這個項目的背景是這樣的，華星光電是深圳建市以來，單筆投資最大的工業(yè)項目，達(dá)到443億的投資，我們需要在7×24小時的不停擺產(chǎn)線中嵌入AI系統(tǒng)運行，這個系統(tǒng)是不能停擺的，否則會造成比較大的經(jīng)濟(jì)損失。產(chǎn)線在每個工序之后，需要對生產(chǎn)出來的基板進(jìn)行顯微拍照和分類，分類之后進(jìn)行修復(fù)和丟棄。如果是有殘次的面板，進(jìn)入下一個環(huán)節(jié)，產(chǎn)生成品的時候，殘次品就會造成更大的經(jīng)濟(jì)損失。之前質(zhì)量檢測是人工進(jìn)行的，每個工人每天要檢測超過1萬張照片，而且是小黑屋看電腦，很枯燥，檢測面臨著人力需求大、培訓(xùn)上崗周期長（2-3個月），離職率達(dá)到20-30%。人員準(zhǔn)確率會受經(jīng)驗影響和誤判的可能性。
華星光電從立項到真正交付使用達(dá)到可靠的標(biāo)準(zhǔn)，經(jīng)過了比較長的時間，并不像想象中那么順利，前后經(jīng)過了一年多的時間。之所以這樣，是我們的工程師需要對這個領(lǐng)域的知識和缺陷進(jìn)行學(xué)習(xí)和理解；工廠需要給我們提供大量的樣本數(shù)據(jù)，并且工人用的額外時間對樣品進(jìn)行打標(biāo)和分類，花了很多的時間，經(jīng)過很多次的交互；圖片處理也不像之前想象的用深度學(xué)習(xí)分類一下就好，主要還是分類的樣本很少、分類不足、部分分類少、分類不準(zhǔn)的問題。實際環(huán)境還有圖片傾斜、尺寸偏差、顏色偏差的問題，這些問題之下，需要進(jìn)行缺陷的定位，然后對缺陷進(jìn)行分類，分類的同時還要判斷缺陷對液晶面板造成的金屬相交和斷線的問題，這些都是因為要在核心系統(tǒng)里面嵌入自動化的系統(tǒng)替代人工。
整體的方案就是如此，電路板因為保密的因素只截了很小部分。主要框架是這樣，圖片先做傾斜校正、尺寸、顏色校正、再用深學(xué)習(xí)分類，同時，通過金屬切片的模板摳圖來做電路板的相交和電路分析。首先是縮放校正和尺寸校正，前面的圖可以看出有大量的水平或垂直線，先用LDS篩選長線段做傾斜角度的估計然后進(jìn)行傾斜的校正，校正完之后會再檢測長水平線和豎直水平線，并對水平和垂直方向上的直線做聚合，找出最大間距，以此進(jìn)行判斷，然后進(jìn)行縮放的校正。同時，由于生產(chǎn)環(huán)境和相機參數(shù)的問題，同一個生產(chǎn)環(huán)節(jié)的照片和顏色的差異，同時，由于時間和人力的限制，訓(xùn)練極的顏色和實際生產(chǎn)的顏色也有比較大的偏差，在推理之前，會對圖片進(jìn)行RGB均值聚類，之后再推送到分割網(wǎng)當(dāng)中去。大部分圖片是黃褐色和棕色，少量呈現(xiàn)紅色，如果把訓(xùn)練數(shù)據(jù)僅包括1和3的黃綠色圖片，生產(chǎn)環(huán)境當(dāng)中存在24這樣的總褐色圖片，表現(xiàn)是很不理想的。
在圖像的校正完之后，下一步就是缺陷的定位，由于之前的樣本數(shù)量比較少，同時存在小樣本覆蓋的問題，所以采用了周期對比+語義分割+深度學(xué)習(xí)的方式，因為面板存在著大量的重復(fù)性周期，對于超過3個重復(fù)性周期就采用重復(fù)對比的方式，選定一個區(qū)域的像素，比相同周期的象素過大或者是過小，這個點就是缺陷點。這個方法好處是準(zhǔn)確性比較高，不足是周期性比較少的區(qū)域和邊緣區(qū)域效果不太好，對于周期性比較小、邊緣區(qū)域就采用標(biāo)準(zhǔn)語義分割的方式進(jìn)行象素的聚類，之后分類，再找到缺陷。好處是比較簡單，不足是需要大量的標(biāo)注，標(biāo)注的區(qū)域比實際的缺陷要大，因為人的標(biāo)注比實際標(biāo)注大一點。
做完缺陷定位之后就進(jìn)行深度學(xué)習(xí)的分類，我們可以看到深度學(xué)習(xí)網(wǎng)絡(luò)分類之后，再投射到二維鏡面，這是分類的花瓣圖。同時，在項目中，客戶不僅關(guān)心面板上的缺陷類型，他還關(guān)心這個缺陷對于電路造成的影響，比如說缺陷落在金屬上，導(dǎo)致金屬斷路。金屬殘留落到金屬上，可能會造成金屬的短路。所以，我們對金屬面板摳圖模板的分析，這是金屬器件的模板。我們用金屬殘留和線路進(jìn)行相關(guān)性的獲取，比如說第一個是金屬殘留，進(jìn)行相交操作的時候，發(fā)現(xiàn)它和兩個金屬線都有交集，這樣我們就能判斷這個金屬殘留對于電路造成的短路影響。第二個金屬殘留和這兩條線進(jìn)行交集時，發(fā)現(xiàn)它并沒有交集，就說明它對電路不造成影響。雖然有金屬殘留，但是不影響電路板的性能。還有殘缺，殘缺和金屬線相交之后，發(fā)現(xiàn)了斷路，造成斷路影響。還有一種更復(fù)雜的情況，這些金屬是成組的，這一排是互相連接的，有金屬落在上面不產(chǎn)生短路，但是上下兩排相交會造成短路。
華星光電項目初期很多工作是獨立實現(xiàn)的，效率比較低，最終項目交付之后，總結(jié)項目經(jīng)驗，打造工業(yè)平臺，封裝數(shù)據(jù)、任務(wù)管理、微服務(wù)、容器化等的服務(wù)，用可視化、拖拽式來管理，大大提高工作效率?，F(xiàn)在模型訓(xùn)練和調(diào)優(yōu)至少提升60%的效率。項目上的周期也縮短到了“周”的級別。
這個項目意義還是蠻重大的，首先它是目前為止國內(nèi)最大規(guī)模的工業(yè)AI質(zhì)檢項目，也是首個應(yīng)用到核心工作生產(chǎn)環(huán)節(jié)的項目，并不是輔助項目，而是直接在核心環(huán)節(jié)的項目。質(zhì)檢覆蓋率超過80%，同時，每年為客戶節(jié)省成本超千萬元。檢測速度比之前的人提升5-10倍，分類準(zhǔn)確率接近90%高于人工的80%。相比人工質(zhì)檢有更高的穩(wěn)定性和擴展性，因為人的產(chǎn)能快速提升，質(zhì)檢的工作很難跟得上。
相比液晶面板這樣的高度自動化的產(chǎn)線的情況，在機械裝備業(yè)、制造業(yè)，對現(xiàn)場工人的依賴更加的明顯。我們來看某大型客機公司的效率優(yōu)化項目。這是我們和合作伙伴一起為空客做的項目，空客做客機裝配時，它有800多萬個零件，由好多個工人裝配數(shù)月，這個裝配不像咱之前想象的是汽車的高度自動化的，它也很自動化，但是還是有大量的人工裝配過程。我們就和合作伙伴通過分析裝配車間的攝像頭、拍照視頻，對圖像識別技術(shù)對現(xiàn)場工人匿名分析，分析非常頻繁的路徑、路徑和裝配的貨位之間的關(guān)系進(jìn)行合理的分析。
基于人體識別和軌跡追蹤的視覺算法，為生產(chǎn)管理和優(yōu)化提供可視化的數(shù)據(jù)，為人員提供可視化的統(tǒng)計、為工序貨位提供可靠依據(jù)，同時依靠電子圍欄，劃定安全的生產(chǎn)區(qū)域，防止出現(xiàn)這樣的安全生產(chǎn)的問題。下面是人員優(yōu)化的工效可視圖，藍(lán)色的是有效的工作時間，灰色的是無效工作時間。如果說把藍(lán)色的柱狀圖有明顯的提高，其實這個裝配效率會有大大提升，同時，也會帶來很明顯的經(jīng)濟(jì)效益。
下面是常見的設(shè)備維護(hù)性的項目，是落地的案例。在工業(yè)里面的煉油、煤礦焦化都是流程性的行業(yè)，單個設(shè)備、核心設(shè)備價值很高，同時，產(chǎn)品比較單一，需要通過大規(guī)模的生產(chǎn)來保證規(guī)?；男?yīng)，同時需要連續(xù)的生產(chǎn)來保持利潤。如果一旦核心設(shè)備產(chǎn)生故障就會造成非常大的損失。2011年的時候某國有煤礦企業(yè)一個齒輪機的損壞，造成了一個月的非計劃性停產(chǎn)，導(dǎo)致5.9億產(chǎn)值的經(jīng)濟(jì)損失。因此，保證核心設(shè)備的健康運行，及時發(fā)現(xiàn)故障是非常非常重要的。
我們?yōu)槟趁旱V企業(yè)做了煤礦的皮帶機的預(yù)測性維護(hù)，通過信號采集、干草堆現(xiàn)象分析、包絡(luò)解調(diào)、特征信號識別等手段確定軸承外圈損傷，我們給出預(yù)計剩余壽命10個月，建議企業(yè)提前進(jìn)行采購，這樣就避免了超億元的損失。
騰訊也打造了設(shè)備健康管理，借助智能診斷算法可以發(fā)現(xiàn)設(shè)備早期的故障，結(jié)合小程序助手來幫助企業(yè)從容面對故障維修。這是現(xiàn)在的小程序，你可以進(jìn)行設(shè)備故障的監(jiān)控，監(jiān)控出現(xiàn)異常的及時上報，在線進(jìn)行維修會簽、審批、維修，最終來完成閉環(huán)的流程。
現(xiàn)在我們也支持齒輪箱、電機、振動篩、空壓機、煤磨、泵、風(fēng)機、輥壓機、液耦等等。還有這些品類和品牌，并不斷的擴充當(dāng)中。
下面看能源行業(yè)知識圖譜項目，能源行業(yè)數(shù)據(jù)量大、經(jīng)驗分散，同時基礎(chǔ)的監(jiān)控、測量數(shù)據(jù)上報非常大量，同時在運維現(xiàn)場時，資料查詢、異常發(fā)生相似度搜索、輔助診斷和輔助決策一直是比較大的挑戰(zhàn)，為此我們通過結(jié)合物聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)采集、和基礎(chǔ)數(shù)據(jù)的采集，共同打造了物聯(lián)認(rèn)知大腦，結(jié)合圖神經(jīng)網(wǎng)絡(luò)、業(yè)務(wù)算法模型來共同做設(shè)備運行狀態(tài)的感知。線網(wǎng)運行風(fēng)險預(yù)測、設(shè)備故障告警的判斷、檢修自動生成，設(shè)備智能監(jiān)控、設(shè)備知識查詢、智能調(diào)度和智能醫(yī)生等等。
這個系統(tǒng)不僅僅可以能源行業(yè)應(yīng)用，只是我們先應(yīng)用在了能源行業(yè)。在電力系統(tǒng)里面我們已經(jīng)多次的進(jìn)行了應(yīng)用，當(dāng)異常的時候，大腦可以進(jìn)行搜索，搜索當(dāng)前的設(shè)備在歷史上的運行狀態(tài)，可以數(shù)十倍提升診斷效率。就像醫(yī)生看病一樣，出現(xiàn)故障時，醫(yī)生可以通過歷史上很多不能說的經(jīng)驗，而找到這樣的相似案例，大大提高效率。
下面是工業(yè)AI視覺巡檢案例，工廠的規(guī)范，安全生產(chǎn)是制造業(yè)行業(yè)非常重要的工作，以前是靠各種流程規(guī)范和約束，以及人員進(jìn)行巡檢、抽檢保障，現(xiàn)在結(jié)合AI的機器技術(shù)，通過圖像采集，對數(shù)據(jù)進(jìn)行標(biāo)注、訓(xùn)練、封裝，通過數(shù)據(jù)BI的展現(xiàn)，還有聯(lián)動告警平臺，很好解決安全生產(chǎn)的問題，并且協(xié)同實現(xiàn)聯(lián)動告警、聯(lián)動人員績效考核、聯(lián)動應(yīng)急指揮、聯(lián)動門禁和禁區(qū)管理等等的工作。這個是我們聯(lián)合合作伙伴為某大型家電制造企業(yè)打造的AI視覺巡檢的項目，大家可以看到工人正在施工做產(chǎn)線的工作，底下就會自動發(fā)現(xiàn)沒有按照標(biāo)準(zhǔn)規(guī)范操作的異常操作，及時的進(jìn)行提醒，右邊是定義的規(guī)范操作，1234都有標(biāo)準(zhǔn)的操作，如果沒有按照規(guī)范操作，就會進(jìn)行相應(yīng)的聯(lián)動處理、報警。
由于時間的關(guān)系，我們還做了很多和工業(yè)AI相關(guān)的嘗試沒有辦法一一向大家介紹，后面的四個項目也只是簡單地介紹了一下，工業(yè)領(lǐng)域的AI項目很多都是剛剛起步，行業(yè)知識多且深、跨界人才少，AI介入核心環(huán)節(jié)困難重重，但當(dāng)我們解決一個問題之后就像爬過一座山峰，回頭看的時候，爬過的辛勞和困難都已經(jīng)成為過去，不再痛苦，并且成為寶貴經(jīng)驗。向前看的時候，正因為我們解決了具體的困難和問題，我們可以到新的不同的地方，比如說湖、島和森林，有了更多的可能，比如華星光電就從原來有人工中斷的過程變成更加全自動的過程。
因此，騰訊云也希望和您一起越過一個個山峰，共同遇見更多美好和可能。這里的您有兩個意思，一是我們希望有更多工業(yè)AI領(lǐng)域的合作伙伴和我們合作，去一起打造垂直領(lǐng)域的人工智能解決方案。工業(yè)領(lǐng)域的行業(yè)知識非常深，騰訊很難深入到每個行業(yè)，所以，就需要合作伙伴和我們一起來打造這個行業(yè)的解決方案。另外，我們希望有更多的工廠、企業(yè)愿意把自己的生產(chǎn)環(huán)境當(dāng)中想用智能化解決的問題交給騰訊，讓騰訊和騰訊的合作伙伴一起來解決，幫助企業(yè)和工廠來實現(xiàn)智慧工廠，智能制造的能力。
好，這是我今天的分享，謝謝大家。
聯(lián)系客服
