物聯網www.mvwegx.live

清華大學電子工程系教授蘇光大:人工智能新硬件時代的瞻望

時間:2019-12-10 22:47:36

來源:慧聰網

作者:慧聰物聯網

 隨著物聯網產業上升到國家戰略的高度,其技術逐漸深入到千行百業,呈現出跨界融合、集成創新和規模化發展的產業特點。物聯網與AI、5G組成超強組合拳,重新定義賦能各大產業,呈現出井噴發展的蓬勃生機。

清華大學電子工程系教授蘇光大:人工智能新硬件時代的瞻望

如何撬動萬億級規模的物聯網市場,是各大企業在穩步前進甚至彎道超車中思考的問題。正值產業變革轉型之際,11月27日,由慧聰物聯網、慧聰安防網、慧聰電子網、慧聰智能家居網聯合主辦的“2019中國物聯網產業大會暨品牌盛會”在杭州盛大舉辦,為中國物聯網產業發展聚集各類優勢資源,助推產業融合發展。

四大資深網站強強聯合打造跨界融合第一盛會,鏈接物聯網全產業上下游,匯聚物聯網產業重磅嘉賓,呈現年度盛典。會上,清華大學電子工程系教授蘇光大發表了以《人工智能新硬件時代的瞻望》為主題的精彩演講。以下為慧聰物聯網在不改變原意下精編的演講實錄:

清華大學電子工程系教授蘇光大:人工智能新硬件時代的瞻望
清華大學電子工程系教授蘇光大

女士們、先生們,大家上午好!今天我講一個題目叫人工智能新硬件時代的瞻望,這個題目是我的認識,請大家多多指正。

CPU+GPU是當前的主流計算模式。我們中國的天河一號用了7168個GPU,成了世界上超算第一。中國神威·太湖之光也是全球三連冠,這樣一個主流模式,也成為一個深度學習的主流計算模式、成為大數據處理的主流計算模式。大家都知道,這些影響非常深遠,深度學習為什么會出現?跟GPU算力很有關系,那就說明了算力的重要性。我們下面看算力有什么樣的挑戰。

我們講視頻圖像為大數據之首,高清、超高清等等,數據量非常大,面臨的問題是什么?我們說算力難以適應,機房面積龐大,功耗龐大,運營成本高居不下。我們看到一個無錫的數據中心,一年電費就6000萬,這個成本還是非常大的。

另外一點,深度學習,算力是它的痛點,因為大量的運算,我們靠神經網絡去算,一層一層卷積,高達數百層神經網絡計算,需要的算力非常之大。還需要反復進行深度訓練,以獲得好的性能。而且數據增加、場景變化需要重新訓練,這個過程非常長。

我們來看GPU,我們只講一款,算力很強,這是很好的優點,但功耗250瓦。

GPU的長處,數千個CUDA核,存儲體字長384位,而且是存取速度非常快,它的弱點就是功耗大、價格高。

我們舉個例子,商湯的一個成功的案例。云南省公安廳人臉識別大數據應用平臺,之所以成功,在一個省里邊部署一個大的平臺,做了1.4億人口特征庫,300萬專題重點人員庫,做到一站式人臉軌跡服務,對3000位警員開放,也就是說并發性,最多并發數是3000。3000路抓拍攝像機,實現了40臺GPU服務器組成的解析中心。

這是一個成功的案例,是很多商家追求的一個省的部署目標。

成功應用的思考在哪里?40臺GPU服務器,能不能被替代?功耗、面積如何?第二點是如果能替代,替代方式是什么,什么時間能夠替代?大家可以去想一下。

關于計算之路的發展選擇。深度學習的訓練,現在的狀況是以天來計算,比如我需要一個禮拜來訓練,能不能把每天變成小時,能不能把小時變成秒,如果深度學習的訓練在大數據下實現秒量級訓練,則可以實時來進行訓練。但是我們很難做到,如果做到秒量級訓練,需要提高86400倍,我們目前能做到的方向是什么?就是把幾天變成幾小時,或者幾分鐘,加速24倍,或者上百倍,這種可能性比較大。這種加速,是對GPU的加速。所以我們說計算之路在哪里?是在提高計算機計算規模,還是去尋找新的計算模式。這個問題是迫不容緩的。

我認為當前計算模式存在兩大問題,第一個問題是馮·諾依曼內存墻,也就是馮·諾依曼瓶頸,就是存儲器與存儲體之間的數據通道存在瓶頸,當處理器訪問存儲體時,由于存儲體的數據存取效率低下,制約了處理器的處理速度。把數據從存儲體搬到處理單位,甚至比運算本身還耗時。運算單位增多,存儲器件供應不上數據。另一方面,處理器處理的多個數據難以高效存入存儲體,形成數據堵塞,導致處理器的處理速度變緩。這是馮·諾依曼內存墻的定義,我要特別強調一點,是存和取兩方面。

我們看CPU架構,看GPU架構,它跟DRAM的聯系存在這樣一個內存墻的問題。這個問題同樣存在于AI芯片,這是我們當前面臨的大的問題。誰能推倒內存墻,我把它看作是一個金蘋果式的成果,摘下這個金蘋果,這是擺在我們面前的任務。

第二個是摩爾定律放緩,我們看到這樣一個摩爾定律發展的曲線,1965年4月19日,《電子學》雜志發表了英特爾公司創始人之一摩爾寫的論文《讓集成電路填滿更多的組件》,文章預言,半導體芯片成的晶體管電阻數量每隔18-24個月將增加一倍,這就是摩爾定律。現在發展摩爾定律放緩了,大家看到近期的這樣一個比較平坦的發展曲線,現在到5納米,還能上4納米、3納米嗎?非常艱難。既有工藝問題,又有馮·諾依曼內存墻的問題,我們下面應該做什么?

我們來看AI芯片的發展,AI芯片是指非CPU、GPU的執行AI算法的芯片,首先我們看一個中星微的AI芯片叫做NPU,2016年出來的。這個結果比同時期的GPU慢78倍,對于GPU,我們還是有一點差距。

寒武紀大家很熟了,寒武紀也是這次參評單位,也來參評了,我不知道有沒有獎項給他們,但是我是給了他們一個高分。寒武紀在中國的AI芯片里邊,做出了很大的貢獻,包括對于華為的一些幫助。它做了這樣一個結果,5萬億次的算力,采用了存儲芯片堆疊技術,四個存儲芯片堆疊,它的存儲體片內存儲容量為36MB,還是相對比較小的。

講到華為就更多了。華為AI芯片的發展突飛猛進。麒麟970、980,現在是昇騰910。昇騰910的算力非常之高,512萬億次,256萬億次,當然有8bit的,有16bit的。在今年深圳安防展上,我們看到了海思芯片的很多新進展。

我們再來看谷歌,谷歌的TPU叫張量處理單元,有這樣這一段話:谷歌目前在全球四大洲建有15個倉儲般大小的數據中心。幾年前谷歌開始為安卓操作系統添加語音,發現算力不夠了,如果世界上每一臺安卓手機每天使用3分鐘的語音搜索功能,那么它的數據中心將要翻番。為了適應在智能時代的發展,谷歌不得不做出改變,不得不停止在服務器規模上的無限擴張,于是提出了TPU。應用了TPU的AlphaGo,戰勝了著名棋手李世石,展現出了AI芯片非凡的能力。請大家注意,“停止在服務器規模上的無限擴張”,這個問題值得我們深思。

下面我來講AI芯片發展的若干問題。一個是計算精度。精度有雙精、單精、半精或者8bit。不少廠家是8bit的,要注意識別率等問題。

算力問題,因為馮·諾依曼墻存在,所以算力問題一定要考慮搭載AI芯片的人工智能硬件的系統算力。另外一個是AI芯片的生態環境,編程環境,用什么樣的語言編程,這一點我覺得GPU的CUDA和賽靈思的FPGA編程工具值得我們學習。

軟件定義AI芯片,這是一個值得發展的方向,人臉識別應用的人證核驗設備將出標準。在錯誤接受率分別為千分之一、萬分之一時,對錯誤拒絕率要求是多少,標準將給出具體的指標。上海某些項目的招標就要求滿足這樣的標準,大家要給以足夠重視。

人工智能硬件的架構創新,這里面要注意一個新詞,即存算一體。賽靈思公司推出自適應計算加速平臺,內置了很多AI核。這個平臺是歷時4年,動用了1500名工程師,投資超過10億美金打造出來的。這里面有一些新的架構。

最近賽靈思公司做了一件事情,把16GB存儲體放在了FPGA里邊,芯片內存儲體容量很大,優化數據搬運路線,力圖解決內存墻問題。

大家也可以看到清華大學發表在《自然》雜志的文章,這樣一個類腦計算的“天機芯”,雖然用的是28納米的芯片工藝技術,但采用了存算一體等新技術,達到了世界層面水平。為什么?架構創新。

清華提出來算存算一體的二維內存計算,這是一個新的架構。和CPU的區別在哪里?CPU訪問內存,一次讀一個數據,而這種方式讀多個數據,成十上百,在一定程度上緩解了內存墻問題,而且數據是結構化的,如2×2,3×3,5×5,這樣的二維數據結構。

我們來看它的基本架構框圖,主要由兩個鄰域存儲體和二維內存計算處理器組成,由此形成乒乓式的二維內存流水處理。第二個框圖是AI硬件集群框圖。我們曾在廣州做過千萬級人臉識別系統,用了10臺計算機集群,現在能不能用10個或更少的小的電路板來代替10個集群計算機,我們希望成為一個方向,AI硬件集群。請大家關注這樣一個方向。

下面我來介紹NIPC-3,這是我們2008年鑒定的一個成果。NIPC-3建立了先進的并行體系結構,達到國際最好水平。在一個周期時鐘內可以形成和處理25×24鄰域的600點數據。以兩種鄰域圖像處理算法為例,與后來的某型號的GPU比較,算力分別快10倍、8倍。

現在我們在做NIPC-4板卡,這樣一個嵌入式的AI硬件系統,它可以在一個周期里同時處理128個3×3卷積。我們給出這樣一個實例。對512×512的圖像,做3x3的Sobel和3x3的中值濾波流水處理,總耗時0.096毫秒,相當于每個算法處理耗時0.048毫秒,如果我們用三級流水、四級流水并行處理,平均每級處理的時間還會更快,而我們所用的計算芯片還是屬于低檔的。

現在,我們想把它應用在人臉識別上,希望有一個好的表現。

結束語:人工智能軟件與人工智能硬件的協同發展,是人工智能發展的一個方向。人工智能硬件發展的關鍵問題,一是解決馮·諾依曼內存墻問題,二是提高芯片工藝水平,三是解決編程生態問題。基于人工智能硬件的人臉識別,將是人臉識別發展的一個重要方向,我們期待人臉識別應用的第三次高潮。第一次高潮是在2012年左右,由清華大學、中科院計算所、中科院自動化所以及一些公司共同推動,其特點是戶籍查重。第二次高潮是在2016年左右,其特點是視頻人臉識別,商湯、曠視、依圖、云從等幾個獨角獸公司表現突出。第三次高潮已經開始顯現,比如說華為、海康等公司的AI硬件的人臉識別,做得不錯。我們期待人臉識別應用第三次高潮的到來。

    因為時間關系,我就講到這里,謝謝大家!

免責聲明: 凡注明來源本網的所有作品,均為本網合法擁有版權或有權使用的作品,歡迎轉載,注明出處。非本網作品均來自互聯網,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責。

廣告

關注我們

掃一掃
關注“慧聰安防”

慧聰會員登錄

忘記用戶名?

忘記密碼?

登錄

注冊

沒有會員賬號?只需一分鐘注冊,您可獲得: 海量買賣家資源,成單機會就在眼前

云南快乐10分开奖节果 网红狗赚钱不 捕鱼达人真人 a股赚钱投资必修课 竞彩比分网竞彩比分网 马云说未来直销赚钱 nba比分直播即时 在哪个平台写技术文章赚钱 约麻甘肃棋牌下载 网易靠梦幻西游赚钱吗 红中麻将 双色球 ui设计工作室赚钱 当今世界最赚钱的三种生意 东方6+1 李逵劈鱼50元提现 卖袜子10元6双赚钱吗