AI演算法進展速度超越摩爾定律
對於「未來的演算法能與現有半導體晶片或正在開發之新運算架構契合」這件事，我們能抱持多大的信心？隨著演算法的進展速度超越硬體技術進展進步，甚至是最先進的深度學習模型都可以被佈署於只要5美元的Raspberry Pi開發板。
在1980年代的處理器上執行目前最先進的演算法，與在目前最先進的處理器上執行1980年代之演算法，哪一種可以算得更快？答案令人驚訝，通常是在舊處理器上執行新演算法能算得更快。雖然摩爾定律(Moore’s Law)因為是電子產業快速發展的驅動力而備受關注，但它只是驅動力的其中之一，我們經常忘記演算法的進展速度其實在很多情況下都勝過摩爾定律。
根據德國柏林工業大學教授、知名數學家Martin Grötschel的觀察，在1988年需要花費82年才能算出解答的一個線性程式設計問題，在2003年只需要1分鐘就能解決；在這段時間，硬體的速度快了1,000倍，演算法的進步則達到4萬3,000倍。
美國麻省理工學院(MIT)教授Dimitris Bertsimas的類似研究結果顯示，在1991年至2013年間，混合整數求解器(mixed integer solvers)演算法速度快了58萬倍，同時間頂尖超級電腦的硬體速度只有進步32萬倍。據說類似的結果也發生在其他類型的約束最佳化(constrained optimization)問題和質因數分解(prime number factorization)問題中。
這對人工智慧(AI)意味著什麼？
過去五年來，AI無論在學界、業界或是新創領域都呈現爆炸性發展，最大的轉折點可能是發生在2012年，當時一個來自加拿大多倫多大學(University of Toronto)的團隊AlexNet，利用深度學習方法一舉贏得了年度電腦視覺影像辨識大賽ImageNet Large Scale Visual Recognition Challenge (ILSVRC)冠軍，自此深度學習就成為實現AI的關鍵方程式。
電腦視覺的演進已蔓延至自然語言處理和其他AI領域。智慧喇叭、即時電腦翻譯、機器人對沖基金(robotic hedge funds)，以及web參考引擎(web reference engines)…等等新產物，已經不會再讓我們感到驚訝。
AI也成為了交通運輸產業的驅動力(這也是Autotech Ventures的投資標的之一)；我們已經觀察到，先進駕駛輔助系統(ADAS)、自動駕駛、車隊檢測(fleet inspection)、製造品質控制，以及車載人機介面等等應用領域具備龐大的發展潛力。到目前為止，我們已經投資了幾家在諸如ADAS、自動駕駛、視覺檢測與邊緣運算等應用領域開發AI解決方案的新創公司，在分析這些商機時，演算法和硬體之間的交互作用是我們進行投資決策時的關鍵考慮因素之一。
大眾對AI硬體的關注
基於深度學習的AI在其轉折點之後，出現了對繪圖處理器(GPU)的強勁需求。由於具備很強的平行運算能力，GPU對於深度學習演算法所採用的邏輯碰巧能展現驚人效率；GPU大廠Nvidia在市場競爭中脫穎而出，其股價從2013年到2018年上漲了20倍。
當然，Nvidia競爭對手們正在努力追趕；高通(Qualcomm)、Arm和其他公司將注意力集中在AI晶片設計上，英特爾(Intel)則收購了AI晶片新創公司Nervana Systems。Google、Facebook、蘋果(Apple)和亞馬遜(Amazon)紛紛投入了為自家資料中心及其他計畫開發自有AI處理器，也有一些新創公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看準商機，試圖設計更好的圖靈機(Turing machine)系統。像D-wave Systems和IBM等其他一些公司也在積極探索後圖靈時代的架構。大多數晶片開發的目標是趕上或超過Nvidia。然而，據我們所知，大多數處理器都是針對今日的AI演算法進行設計。
儘管需要龐大的前期開發成本，我們仍將經歷各種AI晶片設計的「寒武紀大爆發」。AI前景如此誘人，讓產業玩家願意投入鉅資開發硬體，在以往是要讓硬體與基礎數學演算法匹配，但對於讓現有半導體晶片或正在開發的新運算架構能與未來的演算法契合，我們有多大的信心？
有鑑於演算法的演進速度和幅度變化是如此之快，許多AI晶片設計可能還沒上市就過時了；我們推測明日的AI演算法可能會需要完全不同的運算架構、記憶體資源，以及資料傳輸能力等等條件。
儘管深度學習框架已經出現很長一段時間，直到最近才真正被付諸實現，這要感謝摩爾定律所預測的硬體技術進展。最初的數學不一定是為工程實踐而設計的，因為早期研究人員無法想像今日花1,000美元就能獲得的運算能力有多麼大。現今許多AI實作都是使用原始的數學模型，朝著準確、簡單且更深層的方向發展，或者添加更多資料；但這樣只會很快消耗GPU的運算容量。只有一小部分研究人員專注於改善基礎數學和演算法框架的難題。
還是有很多機會認識並利用這些新穎的數學進展，我們所觀察到的方法包括精簡冗餘數學運算(redundant mathematical operations)而減少運算時間，將卷積壓縮到較小的矩陣而減少記憶體需求，或者對加權矩陣進行二值化(binarize)而簡化數學運算。這些是演算法演進的第一次嘗試，其發展之快已經開始超越硬體進展。
舉例來說，從美國加州大學柏克萊分校(UC Berkeley)研究專案獨立的DeepScale ，就是將應用於ADAS和自動駕駛的AI，「塞進」車用晶片(不是GPU)，與僅採用演算法的物體檢測模型相比較，他們的神經網路模型的運算速度要快30倍，同時在功耗和記憶體佔用方面也有很大的提升，足以在這幾年問世的現有硬體上執行。
另一個演算法大躍進的案例來自美國的非營利研究機構艾倫人工智慧研究所(Allen Institute of Artificial Intelligence)，該機構研究人員採用一種利用神經網路二值化的創新數學方法，已經證明可以大幅提高速度，同時降低功耗和記憶體要求；如此甚至能讓最先進的深度學習模型佈署於售價僅5美元的Raspberry Pi平台上。研究人員最近將這種演算法和處理工具獨立為一家公司XNOR.ai，旨在於邊緣裝置佈署AI，並進一步推動AI演算法的進步。
有趣的是，新的二值化框架從根本上改變了最佳處理邏輯的類型，它們不再需要解決神經網路所需的32位元浮點卷積，而只需要進行位元計數運算(bit counting operations)——這將改變GPU領域的權力平衡。此外如果這些演算法與專門設計的晶片相匹配，則可以進一步降低運算資源需求。
演算法的進步不會停止；有時需要數年甚至數十年才能發明(或者說是發現)新的演算法。這些突破無法以與摩爾定律推動的運算進展相同之方式來預測。它們本質上是非確定性的；但是當它們發生時，整個局勢變化通常會讓現有的主導者變成脆弱的獵物。
黑天鵝效應
暢銷書《黑天鵝效應：如何及早發現最不可能發生但總是發生的事》(The Black Swan: The Impact of the Highly Improbable)的作者在書中闡明，最佳決策在很大程度上取決於分析過程是不可預測或不確定；換句話說，我們是在處理「已知的未知」(known unknowns)還是「未知的未知」(unknown unknowns)？演算法創新基本上是未知的未知，因為它們的發現時間不確定以及影響不可預測，押注於這類發展需要持續的關注。
然而，在應用數學領域，尤其是AI應用領域，在最近二十年內出現了數次顛覆性的演算法發現，它們與GPU一起，將AI從一個不起眼的研究領域帶到了商業化最前線。
我們意識到這些運算領域「黑天鵝」的潛力，它們將使現有晶片架構成為過去，或者在一夜之間讓它們的市場地位重新洗牌。對我們來說，這些「黑天鵝」最後可能會實現更安全的自動駕駛車輛，以及許多其他未知的應用案例。
本文同步刊登於EDN電子技術設計2018年10月平面雜誌；責編：Judith Cheng
(參考原文： Algorithms Outpace Moore’s Law for AI，Alexei Andreev and Jeff Peters； 本文作者為Autotech Ventures高層主管，該公司為專注與智慧交通相關技術的風險投資業者)
留言
張貼留言