想和人腦一樣智能? IBM 的芯片級模仿才是關鍵
發布時間:2016/10/12 10:25:39 訪問次數:1058
深度學習軟件毫無疑問推動了人工智能的浪潮。現在,許多公司和研究人員都在花大力氣在軟硬件上對人腦進行模擬。
在硬件方面主要是通過對大型神經網絡進行仿真。如google的深度學習系統googlebrain,微軟的adam等。但是這些網絡需要大量傳統計算機的集群。比方說googlebrain就采用了1000臺各帶16核處理器的計算機,這種架構盡管展現出了相當的能力,但是能耗依然巨大。
- 51電子網公益庫存:
- TH58DVG4S0ETA20
- TH58DVG4S0ETAK0
- TH58DVG5H0ETA20
- TH58DVG5S0ETA20
- TH58DVG5S0ETAK0
- TH58DWG02A1XBJJ
- TH58DWG02AICBJJ
- TH58DWG12A2XGJJ
- TH58MBG04G1XBIH
- TH58MBG04G1XGIH
- TH58MBG04G1XGIK
- TH58NVG1S3AFT05
而ibm則是從芯片著手進行模仿。:它設計了一種叫truenorth的仿人腦電腦芯片,并把它當做深度學習的硬件平臺。目前,公司正在對該芯片的性能進行研究測試。
深度學習之所以能力強大,關鍵在于其中的一項算法——卷積神經網絡(convolutionalneuralnetworks)。它包含了大量的節點層(layersofnodes),也稱神經元(neurons)。像這樣的神經網絡可以通過深度結構過濾大量的信息,進而實現自動識別人臉或理解不同語言的功能。
ibm不久前的一項研究顯示,在能支持多種神經網絡的仿人腦硬件上,卷積神經網絡算法同樣有用。
7月9日,ibm把自己的一項研究成果刊登在了proceedingsofthenationalacademyofsciences上。該項研究由u.s.defenseadvancedresearchprojectsagency(darpa)資助,數額近100萬美元。這項支持是該機構皮質處理器項目(corticalprocessorprogram)的一部分,旨在促進能識別復雜情況和適應環境變化的仿人腦人工智能的研究。
dharmendramodha是ibm研究中心almaden仿人腦計算項目首席科學家。他表示:
這個研究具有里程碑式的意義,而且證實了一個顯而易見的概念:仿人腦計算的運行效率會隨著深度學習效率的提升而提升,而這又為新一代芯片和算法提高工作效率和正確率鋪平了道路。
2011年,ibm第一次對外具體公布truenorth和其芯片原型,而以卷積神經網絡為基礎發展起來的深度學習革命卻開始于2012年。由此可看出,剛開始并不是專門為了應用深度學習而設計truenorth,反而有了truenorth才促進了脈沖神經網絡去模仿真實生物大腦中的神經元連接構造。
脈沖神經網絡中的神經元并不是在每一次迭代傳播中都被激活(而在典型的多層感知機網絡中卻是),而是在它的膜電位達到某一個特定值后才被激活。這有效減少了圖形認知或語言處理的運行速度。
但深度學習專家卻覺得,同樣是用在機器學習上,至少和卷積神經網絡相比,脈沖神經網絡的效率并不夠高。
yannlecun是facebook人工智能研究院理事、深度學習領域的先驅。他曾批評過ibm的truenorth芯片,把它稱之為草包族科學。他說,ibm只是復制了機器的表象,卻沒有深入理解及其背后的原理。
有反對的聲音,但也有支持的聲音。zacharychaselipton是加州大學(位于圣地亞哥)人工智能團隊深度學習研究員。他說,
truenorth可以促進實現神經形態計算,要知道,深層次模仿和理解生物大腦正是神經形態計算的功勞。
通過對比不同學者們的觀點可以發現,深度學習研究人員通常更關心的是如何使實踐結果應用到以人工智能為技術支撐的服務和產品上。
還拿那個老套的鳥和飛機的比喻做例子。你可能覺得卷積神經科學研究鳥更多;而脈沖神經科學則更多關注空氣動力學,生物學可有可無。
專有計算機硬件對機器學習的好處越來越明顯。因此,神經形態芯片并沒有讓人覺得很興奮的原因主要是,在深度學習中脈沖神經網絡并沒有那么流行。
因此,為了使truenorth芯片能更好的應用機器學習,ibm必須研究出一種新的算法來幫助卷積神經網絡在神經形態計算機硬件上運行的更好。
在研究測試中,truenorth可以給圖片數據分類,每秒速度1200-2600幀,能耗25-275毫瓦。處理器還能夠識別圖片模式,這些圖片是50-100個攝像頭以每秒24幀的速度拍攝的。
truenorth剛開始進行深度學習測試就獲得這樣的結果,給人的印象好像還挺深刻。但是,大家還是謹慎為好,lipton說,畢竟視覺數據集在處理32×32素的圖像時,還存在有少量問題。
不過這可影響不到modha。他依舊懷著熱切的心情繼續著truenorth深度學習測試。他和他的同事希望芯片測試能在無限制的深度學習環境下進行。這需要他們在訓練神經網絡時逐步引進硬件限制,而不是從一開始就對其完全限制。
modha還指出,truenorth的其中一個優勢是它的普適性,其他很多深度學習硬件都只能在卷積神經網絡上運行,但truenorth可以接受多種類型的人工智能網絡。
“truenorth不僅可運行卷積神經網絡(雖然設計者一開始無意于此),支持多種包括反饋、橫向以及前饋的連接模式,還能應用多種其他的算法。”http://saiertong.51dzw.com/
像這樣的類生物芯片只有比其他深度學習硬件應用更出眾才能流行起來,lipton說。同時,他還建議到,ibm可以利用它的硬件公司,和google、intel一起為設計深度學習專用芯片而奮斗。
“我想,未來肯定會一些神經形態芯片制造商,他們會通過自己的硬件公司來加速芯片的發展以使整個行業更集中于實踐性深度學習的應用,而不是純粹的生物模仿。”
深度學習軟件毫無疑問推動了人工智能的浪潮。現在,許多公司和研究人員都在花大力氣在軟硬件上對人腦進行模擬。
在硬件方面主要是通過對大型神經網絡進行仿真。如google的深度學習系統googlebrain,微軟的adam等。但是這些網絡需要大量傳統計算機的集群。比方說googlebrain就采用了1000臺各帶16核處理器的計算機,這種架構盡管展現出了相當的能力,但是能耗依然巨大。
- 51電子網公益庫存:
- TH58DVG4S0ETA20
- TH58DVG4S0ETAK0
- TH58DVG5H0ETA20
- TH58DVG5S0ETA20
- TH58DVG5S0ETAK0
- TH58DWG02A1XBJJ
- TH58DWG02AICBJJ
- TH58DWG12A2XGJJ
- TH58MBG04G1XBIH
- TH58MBG04G1XGIH
- TH58MBG04G1XGIK
- TH58NVG1S3AFT05
而ibm則是從芯片著手進行模仿。:它設計了一種叫truenorth的仿人腦電腦芯片,并把它當做深度學習的硬件平臺。目前,公司正在對該芯片的性能進行研究測試。
深度學習之所以能力強大,關鍵在于其中的一項算法——卷積神經網絡(convolutionalneuralnetworks)。它包含了大量的節點層(layersofnodes),也稱神經元(neurons)。像這樣的神經網絡可以通過深度結構過濾大量的信息,進而實現自動識別人臉或理解不同語言的功能。
ibm不久前的一項研究顯示,在能支持多種神經網絡的仿人腦硬件上,卷積神經網絡算法同樣有用。
7月9日,ibm把自己的一項研究成果刊登在了proceedingsofthenationalacademyofsciences上。該項研究由u.s.defenseadvancedresearchprojectsagency(darpa)資助,數額近100萬美元。這項支持是該機構皮質處理器項目(corticalprocessorprogram)的一部分,旨在促進能識別復雜情況和適應環境變化的仿人腦人工智能的研究。
dharmendramodha是ibm研究中心almaden仿人腦計算項目首席科學家。他表示:
這個研究具有里程碑式的意義,而且證實了一個顯而易見的概念:仿人腦計算的運行效率會隨著深度學習效率的提升而提升,而這又為新一代芯片和算法提高工作效率和正確率鋪平了道路。
2011年,ibm第一次對外具體公布truenorth和其芯片原型,而以卷積神經網絡為基礎發展起來的深度學習革命卻開始于2012年。由此可看出,剛開始并不是專門為了應用深度學習而設計truenorth,反而有了truenorth才促進了脈沖神經網絡去模仿真實生物大腦中的神經元連接構造。
脈沖神經網絡中的神經元并不是在每一次迭代傳播中都被激活(而在典型的多層感知機網絡中卻是),而是在它的膜電位達到某一個特定值后才被激活。這有效減少了圖形認知或語言處理的運行速度。
但深度學習專家卻覺得,同樣是用在機器學習上,至少和卷積神經網絡相比,脈沖神經網絡的效率并不夠高。
yannlecun是facebook人工智能研究院理事、深度學習領域的先驅。他曾批評過ibm的truenorth芯片,把它稱之為草包族科學。他說,ibm只是復制了機器的表象,卻沒有深入理解及其背后的原理。
有反對的聲音,但也有支持的聲音。zacharychaselipton是加州大學(位于圣地亞哥)人工智能團隊深度學習研究員。他說,
truenorth可以促進實現神經形態計算,要知道,深層次模仿和理解生物大腦正是神經形態計算的功勞。
通過對比不同學者們的觀點可以發現,深度學習研究人員通常更關心的是如何使實踐結果應用到以人工智能為技術支撐的服務和產品上。
還拿那個老套的鳥和飛機的比喻做例子。你可能覺得卷積神經科學研究鳥更多;而脈沖神經科學則更多關注空氣動力學,生物學可有可無。
專有計算機硬件對機器學習的好處越來越明顯。因此,神經形態芯片并沒有讓人覺得很興奮的原因主要是,在深度學習中脈沖神經網絡并沒有那么流行。
因此,為了使truenorth芯片能更好的應用機器學習,ibm必須研究出一種新的算法來幫助卷積神經網絡在神經形態計算機硬件上運行的更好。
在研究測試中,truenorth可以給圖片數據分類,每秒速度1200-2600幀,能耗25-275毫瓦。處理器還能夠識別圖片模式,這些圖片是50-100個攝像頭以每秒24幀的速度拍攝的。
truenorth剛開始進行深度學習測試就獲得這樣的結果,給人的印象好像還挺深刻。但是,大家還是謹慎為好,lipton說,畢竟視覺數據集在處理32×32素的圖像時,還存在有少量問題。
不過這可影響不到modha。他依舊懷著熱切的心情繼續著truenorth深度學習測試。他和他的同事希望芯片測試能在無限制的深度學習環境下進行。這需要他們在訓練神經網絡時逐步引進硬件限制,而不是從一開始就對其完全限制。
modha還指出,truenorth的其中一個優勢是它的普適性,其他很多深度學習硬件都只能在卷積神經網絡上運行,但truenorth可以接受多種類型的人工智能網絡。
“truenorth不僅可運行卷積神經網絡(雖然設計者一開始無意于此),支持多種包括反饋、橫向以及前饋的連接模式,還能應用多種其他的算法。”http://saiertong.51dzw.com/
像這樣的類生物芯片只有比其他深度學習硬件應用更出眾才能流行起來,lipton說。同時,他還建議到,ibm可以利用它的硬件公司,和google、intel一起為設計深度學習專用芯片而奮斗。
“我想,未來肯定會一些神經形態芯片制造商,他們會通過自己的硬件公司來加速芯片的發展以使整個行業更集中于實踐性深度學習的應用,而不是純粹的生物模仿。”