金秋十月，各大消費(fèi)電子公司輪番登場，展示最新的產(chǎn)品和技術(shù)，智能體成為了新主角。
vivo展示了手機(jī)智能體 PhoneGPT可以在了解需求后自動(dòng)在餐廳訂座，聯(lián)想AI智能體聯(lián)想AI Now可以化身老師給學(xué)生出題。
隨后，榮耀跨應(yīng)用開放生態(tài)智能體的個(gè)人化全場景AI操作系統(tǒng)MagicOS 9.0將推出，OPPO ColorOS 15系統(tǒng)也將AI從單點(diǎn)功能升級到系統(tǒng)集成。
手機(jī)和PC普及智能體的趨勢越來越明顯，對于強(qiáng)大AI處理器的需求也越來越高。
作為端側(cè)AI的領(lǐng)導(dǎo)者，高通也為端側(cè)智能體的落地做好了技術(shù)和產(chǎn)品的準(zhǔn)備。
2023年高通驍龍峰會(huì)，高通展示了一系列基于第三代驍龍8的手機(jī)AI應(yīng)用，結(jié)合手機(jī)攝像頭和位置信息的前瞻應(yīng)用終端側(cè)AI助手讓人眼前一亮。
今年2月份，高通在MWC巴塞羅那演示了全球首個(gè)在Android手機(jī)上運(yùn)行的多模態(tài)大模型（LMM），以及基于驍龍X Elite平臺(tái)運(yùn)行的70億參數(shù)的多模態(tài)大模型(LMM)，為智能體在手機(jī)和PC上的落地奠定了基礎(chǔ)。
10月22日將舉辦的2024驍龍峰會(huì)，高通將展示最前沿的終端側(cè)AI新應(yīng)用。讓人期待的是，高通將發(fā)布首款集成了定制高通Oryon CPU的新一代驍龍8系旗艦移動(dòng)平臺(tái)，CPU和AI性能的提升會(huì)有多驚人？基于更強(qiáng)大的AI性能和不斷進(jìn)化的AI軟件棧，高通將激發(fā)出包括智能體在內(nèi)的新一輪AI應(yīng)用創(chuàng)新。
混合AI已成共識(shí)，智能體時(shí)代到來
在進(jìn)一步探討智能體以及未來端側(cè)AI的發(fā)展前，不要忽略混合AI已經(jīng)成為行業(yè)共識(shí)，以及輕量級的生成式AI模型性能足夠好的前提。
以ChatGPT為代表的生成式AI是在2022年后迎來爆發(fā)，生成式AI一系列超越想象的功能，最初都是基于云端千億參數(shù)的大模型的能力。
《高通AI白皮書》中提到，每一次基于生成式AI的網(wǎng)絡(luò)搜索查詢，成本是傳統(tǒng)搜索的10倍。
生成式AI要普及，需要成本能被大眾接受，并且體驗(yàn)不差，混合AI是理想的選擇。
所謂混合AI，就是在需要即時(shí)感知即時(shí)處理的情況下使用設(shè)備上的AI模型，在需要更多計(jì)算能力、任務(wù)更復(fù)雜時(shí)使用云端的AI模型。這讓混合AI兼具性能、成本、時(shí)延、隱私等優(yōu)勢，已經(jīng)成為巨頭押注的方向。
無論是今年微軟Build大會(huì)推出的全新的PC品類Copilot+ PC（Windows 11 AI+ PC），還是谷歌I/O宣布將AI嵌入到了安卓操作系統(tǒng)，以及蘋果Apple Intelligence重視使用戶數(shù)據(jù)在本地完成處理，減少對云端的依賴，都表明混合AI已經(jīng)成為行業(yè)共識(shí)。
高通早在2007年就啟動(dòng)首個(gè)AI研究項(xiàng)目，一直主張以終端為中心的混合AI，也就是讓終端充當(dāng)錨點(diǎn)，云端僅用于分流處理終端無法充分執(zhí)行的任務(wù)。
大談智能體的手機(jī)和PC廠商進(jìn)一步利用和延展以終端為中心的混合AI，用智能體為終端AI帶來體驗(yàn)的革新。
榮耀以用戶日常“取消APP自動(dòng)續(xù)費(fèi)”需要經(jīng)過7步人工操作的步驟為例，展示了擁有榮耀AI智能體的MagicOS 9.0后，用戶只需要一句話即可完成復(fù)雜操作。
榮耀CEO趙明將榮耀AI智能體形象地比喻為手機(jī)內(nèi)的“自動(dòng)駕駛”，并表示最大化實(shí)現(xiàn)用戶價(jià)值呈現(xiàn)的AI智能體，應(yīng)具有自然語義理解和計(jì)算機(jī)視覺、用戶行為習(xí)慣學(xué)習(xí)和場景環(huán)境感知、意圖識(shí)別及決策能力、應(yīng)用內(nèi)及跨應(yīng)用操作四大核心能力。
聯(lián)想也有相似的AI智能體核心理念，聯(lián)想表示要實(shí)現(xiàn)橫跨多個(gè)設(shè)備、橫跨多個(gè)生態(tài)系統(tǒng)的無縫、安全的AI體驗(yàn)。
基于這一核心理念，聯(lián)想發(fā)布了聯(lián)想AI Now智能體。
要實(shí)現(xiàn)跨應(yīng)用、跨設(shè)備甚至跨生態(tài)的智能體，多模態(tài)大模型是基礎(chǔ)。
就像人類需要利用各種感官學(xué)習(xí)，多模態(tài)生成式AI模型可基于一系列模態(tài)進(jìn)行訓(xùn)練，包括文本、圖像、語音、音頻、視頻、激光雷達(dá)等傳感器數(shù)據(jù)，讓生成式AI模型更加智能。
多模態(tài)大模型已經(jīng)成為AI發(fā)展的方向，行業(yè)領(lǐng)先的OpenAI GPT-4V、谷歌Gemini在云端使用不同模態(tài)的數(shù)據(jù)訓(xùn)練多模態(tài)大模型。
集成了各種傳感器和豐富本地情境信息的手機(jī)和PC是理想的多模態(tài)大模型落地的載體。搭載高通高性能AI驍龍平臺(tái)的終端設(shè)備，能夠帶來更高的隱私、安全性和更好的個(gè)性化體驗(yàn)，以及對多模態(tài)大模型的支持。
高通的多模態(tài)AI先行一步
高通AI研究在今年2月演示的全球首個(gè)在Android手機(jī)上運(yùn)行的多模態(tài)大模型，展示的是一個(gè)超過70億參數(shù)的大語言和視覺助理大模型(LLaVA)，可以接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并生成關(guān)于圖像的多輪對話。
通過全棧AI優(yōu)化，LLaVA能夠在搭載第三代驍龍8移動(dòng)平臺(tái)的參考設(shè)計(jì)上以實(shí)時(shí)響應(yīng)的速度在終端側(cè)生成token。
高通同時(shí)演示了搭載驍龍X Elite的Windows PC上運(yùn)行超70億參數(shù)的多模態(tài)大模型，可接受文本和環(huán)境音頻輸入（如音樂、交通環(huán)境音頻等），并基于音頻內(nèi)容生成多輪對話。
能夠率先支持多模態(tài)生成式AI模型，離不開高通在AI領(lǐng)域的持續(xù)投入以及領(lǐng)先的技術(shù)和產(chǎn)品。
生成式AI爆發(fā)后不久的2023年初的MWC，高通就展示了全球首個(gè)運(yùn)行在Android手機(jī)上的Stable Diffusion終端側(cè)演示。
2023年底，驍龍移動(dòng)平臺(tái)運(yùn)行的AI大模型的參數(shù)從10億陡增至100億，運(yùn)行Stable Diffusion模型的速度從年初的不到15秒縮短至1秒以內(nèi)，提升幅度和速度驚人。
2024年初，高通推出高通AI Hub，為驍龍和高通平臺(tái)提供豐富的經(jīng)過優(yōu)化的AI模型，開發(fā)者只需通過幾行代碼即可在搭載高通平臺(tái)的云托管終端上自行運(yùn)行這些模型。
高通也已經(jīng)先行一步，推出了高通AI規(guī)劃器（Qualcomm AI Orchestrator），為智能體未來成為手機(jī)和PC上的亮點(diǎn)奠定基礎(chǔ)。
高通AI規(guī)劃器利用存儲(chǔ)在終端側(cè)的用戶情境信息，如喜歡的飲食、鍛煉習(xí)慣、常用聯(lián)系人和消息、過往偏好歷史等作為個(gè)人知識(shí)圖譜，以更好地理解用戶意圖。
