ResNet-50神經網絡的卷積運算強度混合精度
發布時間:2020/11/12 13:15:43 訪問次數:1056
對持續創新的強烈需求則需要使用靈活應變的領域專用架構 (DSA)。優化 AI 推斷性能和降低功耗的主要趨勢之一是使用較低精度和混合精度。為降低硬件設計復雜性,模型量化被當作關鍵技術應用于各類硬件平臺。大量工作被投入用于最大限度地降低 CNN 運算量和存儲成本。這項研究充分地證明,對于大多數計算機視覺任務,在不嚴重犧牲精度的情況下,權重參數和激活參數可以用 INT8 表達。
對于某些邊緣應用而言,硬件資源仍然不足。在對邊緣應用使用較低的位寬時,一些常見的硬件設計解決方案使用簡化的乘法器。盡管這些解決方案時延低、吞吐量大,但它們與全精度模型相比,仍然存在較大的精度差距。在模型精度和硬件性能之間尋求平衡變得至關重要。
賽靈思運用幾種常見的網絡結構MobilenetV1和MobilenetV2,在 ImageNet 任務上通過使用幾種不同的量化算法進行了實驗。結果顯示精度隨著位寬減少而下降。
在位寬低于 4 時精度下降顯著。賽靈思也使用 Williams 等介紹的 Roofline 模型,分析不同位寬下的硬件性能,以賽靈思 ZCU102 評估板為例,隨著 MAC 的精度降低,硬件成本降低,性能得到提高。
低比特量化可通過降低存儲器需求提高性能。這在 ResNet-50 神經網絡的卷積運算強度上得到證實。該網絡分別用 8 位精度和 4 位精度進行了運算。INT4 在模型精度和硬件性能之間實現了最佳權衡。
應用程序本身的秘密性和完整性方面,在芯片啟動專題中有詳細的介紹,即芯片可以啟動經過國密SM4或國際AES算法加密后的二進制應用程序,可防止應用程序被非法竊取后進反匯編破譯。在實際應用中,還可以通過多種加密手段組合及其它防護手段的結合使用,來進一步增強數據的安全級別。
在碼靈半導體CFW32C7UL系列芯片中,我們主要針對的是應用程序知識產權的安全保護。因為現實中,總有一些不法廠商通過直接復制盜取其它廠家的設備(直接復制PCB板、設備元件及可執行程序),以短期獲取暴利,嚴重擾亂行業市場秩序,給設備原廠的生產經營造成極大的不良影響。因硬件防復制比較困難,目前行業內為防止設備被復制,常通采用保護設備的可執行程來完成產品防復制,這包括前面提到的防止程序的反編譯和防止程序直接使用。
數據秘密性方面,通過前幾期的國密算法和國際標準加解密算法介紹中對數據加解密應用的闡述,我們知道通過使用這些商用密碼對數據的加密可保證數據傳輸過程中的數據私性。
對持續創新的強烈需求則需要使用靈活應變的領域專用架構 (DSA)。優化 AI 推斷性能和降低功耗的主要趨勢之一是使用較低精度和混合精度。為降低硬件設計復雜性,模型量化被當作關鍵技術應用于各類硬件平臺。大量工作被投入用于最大限度地降低 CNN 運算量和存儲成本。這項研究充分地證明,對于大多數計算機視覺任務,在不嚴重犧牲精度的情況下,權重參數和激活參數可以用 INT8 表達。
對于某些邊緣應用而言,硬件資源仍然不足。在對邊緣應用使用較低的位寬時,一些常見的硬件設計解決方案使用簡化的乘法器。盡管這些解決方案時延低、吞吐量大,但它們與全精度模型相比,仍然存在較大的精度差距。在模型精度和硬件性能之間尋求平衡變得至關重要。
賽靈思運用幾種常見的網絡結構MobilenetV1和MobilenetV2,在 ImageNet 任務上通過使用幾種不同的量化算法進行了實驗。結果顯示精度隨著位寬減少而下降。
在位寬低于 4 時精度下降顯著。賽靈思也使用 Williams 等介紹的 Roofline 模型,分析不同位寬下的硬件性能,以賽靈思 ZCU102 評估板為例,隨著 MAC 的精度降低,硬件成本降低,性能得到提高。
低比特量化可通過降低存儲器需求提高性能。這在 ResNet-50 神經網絡的卷積運算強度上得到證實。該網絡分別用 8 位精度和 4 位精度進行了運算。INT4 在模型精度和硬件性能之間實現了最佳權衡。
應用程序本身的秘密性和完整性方面,在芯片啟動專題中有詳細的介紹,即芯片可以啟動經過國密SM4或國際AES算法加密后的二進制應用程序,可防止應用程序被非法竊取后進反匯編破譯。在實際應用中,還可以通過多種加密手段組合及其它防護手段的結合使用,來進一步增強數據的安全級別。
在碼靈半導體CFW32C7UL系列芯片中,我們主要針對的是應用程序知識產權的安全保護。因為現實中,總有一些不法廠商通過直接復制盜取其它廠家的設備(直接復制PCB板、設備元件及可執行程序),以短期獲取暴利,嚴重擾亂行業市場秩序,給設備原廠的生產經營造成極大的不良影響。因硬件防復制比較困難,目前行業內為防止設備被復制,常通采用保護設備的可執行程來完成產品防復制,這包括前面提到的防止程序的反編譯和防止程序直接使用。
數據秘密性方面,通過前幾期的國密算法和國際標準加解密算法介紹中對數據加解密應用的闡述,我們知道通過使用這些商用密碼對數據的加密可保證數據傳輸過程中的數據私性。