賦能生成式AI實現規模化擴展，終端側AI有何魔力？

隨著大模型AI的爆火，以ChatGPT為代表的各類應用開始走進人們的生活和工作之中。特別是對于普通用戶來說，生成式AI應用降低了不少領域的入門門檻，為用戶嘗試和挑戰更專業的創作提供了可能。

就像繪畫一樣，很多人小時候都有一個成為畫家的夢想，最后卻發現，現實只是對著大佬作品喊“666”。某種程度上說，生成式AI應用的到來正在幫助我們圓夢，你不需要刻苦訓練畫技和筆法，也不需要對專業有任何理論上的積累，只需要簡單的文字描述，就能立馬創作出你想要的AI作品。

除此之外，你甚至還能讓AI幫你創作小說，生成圖表，編寫腳本，撰寫程序……在以前看來，里面多多少少還有些科幻色彩，但如今看來卻是如此真實。

生成式AI應用拓展難點何在？

無論如何，生成式AI應用前景廣闊，普及也只是時間問題。不過從眼下來看，想要做到規模化拓展還存在不少難點。

從廠商角度來看，大模型的訓練和使用確實具有很大的挑戰性，除了要面對隱私問題、算力需求、場景碎片化、缺乏可解釋性等問題的困擾外，首當其沖就是成本難題。

此前就曾有外媒報道，作為過去幾個月增長最快的人工智能平臺，ChatGPT每天的成本就達到了近70萬美元，盡管OpenAI試圖將GPT 3.5和GPT 4商業化，但至今仍未實現盈虧平衡。如果這種狀況沒有改觀，那么從長遠看，ChatGPT的前景確實談不上樂觀。

事實上，訓練大型語言模型需要大量的計算資源，像大家熟知的GPU，在加速數據處理和模型訓練的過程中，GPU的并行計算能力將會帶來顯著優勢，同理還有CPU和內存，這些硬件資源對于訓練大型語言模型同樣重要。注意，這里說的是“大量”，如果只是很少量的資源，使用大型語言模型就會受到限制。

如果說，大型生成式AI模型預計每年僅需訓練幾次，成本尚可接受，但隨著用戶人數的增加，以及用戶訪問次數的增多，數據獲取和處理、模型訓練、模型部署以及優化的費用都會隨之增加，此外人數多了，模型復雜度也會提升，而使用云端推理的成本也會居高不下。

可以預見，當一個生成式AI應用使用的人數越多，那么維護它成本也就越昂貴，對于廠商來說，能否堅持下去確實是個未知數。

終端側AI發展的有哪些優勢？

一般來說，為了實現規模化擴展，需要在提高使用效率和降低維護成本方面進行技術創新和優化。比如針對模型本身進行優化，通過降低模型的復雜度，從而降低對計算資源的需求，或者推動大模型AI在云端和終端側同時發展，充分利用各自的優勢，滿足不同的需求。

我們知道，過去很多生成式AI應用都跑在云端，一方面，云端平臺可以提供大規模分布式計算資源和高速內存，同時也可以提供大規模的存儲和計算資源，對處理大規模數據有優勢。

但考慮到不同場景需求，大模型AI不一定非要在云端運行，在一些特定場景下，在終端側運行大模型AI，可以減少數據向云端的傳輸，用戶掌控自己的數據，從而降低數據泄露的風險，更利于隱私保護。

另外，因為不需要經過云端處理數據，在執行特定需求時，在終端側運行大模型AI能夠快速響應用戶的請求。比如在自動駕駛場景中，就需要減少從數據輸入到決策輸出的時間。而在網絡環境不穩定的區域，訪問云端較慢也會極大影響用戶體驗。顯然面對此類場景，計算任務還是放在終端運行更為合適。

當然還有更關鍵的一點，云端計算需要消耗大量的資源和能源，而終端側AI可以高效利用本地資源進行計算和數據處理，從而大大降低對云端的依賴，利于節省成本和節約能源。總之，終端側AI的優勢很明顯，一旦完全鋪開，將會成為大模型AI規模拓展過程中的重要助力。

誰在推動終端側AI的發展？

眼下，終端側AI正在呈擴大化的發展趨勢，而高通在其中無疑扮演了很重要的角色。

高通公司全球副總裁侯明娟致辭

今年9月份，高通發布了《混合 AI是AI的未來》白皮書，表達了高通對未來AI技術發展的趨勢的理解和展望，并深入闡述混合AI架構的領先優勢。

實際上，高通技術方案正在為終端側AI的廣泛應用和快速發展提供了重要支持和保障。此前，高通通過開發AI加速架構和全棧AI套件，為開發者提供靈活和穩健的AI解決方案。這些措施不僅幫助開發者、OEM廠商輕松開發混合AI應用，也為用戶能夠享受AI技術樂趣按下了加速鍵。

事實上，驍龍芯片就是一個很好例子。驍龍芯片作為移動端處理器，具有強大的AI處理能力，最新的第二代驍龍8移動平臺采用了第八代高通AI引擎，其AI性能提高了4.35倍。同時，這款芯片也是首個支持變革性的INT4 AI精度格式的驍龍移動平臺，在持續AI推理方面能夠實現60%的能效提升。可以說，第二代驍龍8不僅提高了AI應用的性能和效率，同時也為智能手機運行更復雜的AI應用提供了支持。

圖源：@小米手機微博

目前，小米自研的端側大模型已經在驍龍平臺跑通，其自研13億參數端側大模型的效果，在部分場景上可以媲美行業60億參數的云端大模型。

與此同時，高通已經實現了Stable Diffusion和ControlNet在終端側的運行。Stable Diffusion是一個參數超過10億的超大神經網絡基礎模型，能夠基于輸入的文本提示生成圖片。

根據高通的演示，將手機設置成“飛行模式”，再通過手機端全棧AI優化，這一模型能夠完全在終端側運行，實現在15秒內完成20步推理，最終生成飽含豐富細節的圖像。

ControlNet是一種基于生成式AI的神經網絡模型，可以用于智能語音、文本生成和圖像編輯等場景，在智能手機上運行ControlNet，意味著可以在各種場景下實現更加快速、高效和實時的AI計算和推理，對于AI大模型在終端側普及具有深遠的意義。

最后：

在大熒幕上，科幻影視中的AI機器人總會給人留下深刻印象，無數觀眾也夢想著有朝一日，我們身邊也能擁有這樣一位無所不能的好助理。

從現實生活來看，這樣的想法絕非異想天開，隨著終端側AI的廣泛應用，未來移動設備、智能家居、可穿戴設備和汽車，都將成為運行生成式AI應用的主要載體。幸運的是，這一天看起來并不遙遠，得益于高通AI技術和解決方案在終端側AI發展中起到的推動和引領作用，大量邊緣側終端已經有能力運行生成式AI應用，未來隨著終端數量的增多，也勢必會為用戶帶來更好的體驗和更多的便利。

(8325249)