模型小型化讓一些端側(cè)場(chǎng)景用了起來(lái)。

“零售場(chǎng)景下，8B（B為十億參數(shù)）模型能做人流預(yù)測(cè)、商品檢驗(yàn)、導(dǎo)購(gòu)；14B可以做一些簡(jiǎn)單報(bào)表分析；32B在報(bào)表出來(lái)后還可以給圖譜指引、數(shù)據(jù)預(yù)警；70B可以扮演區(qū)域經(jīng)理、大區(qū)經(jīng)理的角色。” 工控主板廠商吉方工控副總經(jīng)理李曉濤在近日一場(chǎng)分享中表示。他告訴記者，近期有很多模型已能用于公司實(shí)際運(yùn)營(yíng)中，且性價(jià)比高。

在大模型中，8B~70B參數(shù)并不算大。記者了解到，對(duì)模型小型化和性價(jià)比等的重視，讓端側(cè)場(chǎng)景的芯片方案與數(shù)據(jù)中心有一些不同。相比數(shù)據(jù)中心硬件投資向GPU等加速芯片傾斜，端側(cè)小模型對(duì)算力的要求不一定很高，在一些情況下，獨(dú)立GPU不一定是必選項(xiàng)。

零售場(chǎng)景擴(kuò)大AI應(yīng)用

記者了解到，作為端側(cè)場(chǎng)景之一，零售場(chǎng)景過(guò)去幾年一直在嘗試擴(kuò)大AI應(yīng)用。已經(jīng)落地的AI應(yīng)用中，最早實(shí)現(xiàn)的包括商品自動(dòng)識(shí)別，隨后擴(kuò)展至AI自助防損等。

據(jù)商業(yè)軟硬件廠商海石商用副總經(jīng)理李昊旻介紹，零售場(chǎng)景AI落地源于芯片算力冗余，“三四年前，我們就看到算力的應(yīng)用前景，根源在于觀察到CPU和GPU性能在零售場(chǎng)景開(kāi)始出現(xiàn)冗余，單純的算賬和支付不需要太高的性能。（與此同時(shí)）AI場(chǎng)景開(kāi)始顯現(xiàn)出來(lái)?！?/p>

據(jù)李昊旻介紹，最早被提出并解決的是生鮮識(shí)別問(wèn)題，由攝像頭采集生鮮圖像并由AI識(shí)別、算出SKU（最小存貨單位）。如今，一些超市的秤能自動(dòng)識(shí)別生鮮，無(wú)須人工選擇，其他應(yīng)用還包括AI 通道識(shí)別方案、AI團(tuán)餐識(shí)別方案，分別用于識(shí)別超市收銀是否有異常掃碼行為、提高自選菜餐廳的收銀效率。

AI自主防損是一種更新的應(yīng)用。李昊旻表示，當(dāng)前零售行業(yè)最需要解決的問(wèn)題包括自助防損，有2%~3%的商品顧客未能成功完成掃描動(dòng)作。防損算法、ToF傳感器可用于判斷收銀動(dòng)作是否完成，有80%無(wú)意間造成的掃描異常會(huì)被識(shí)別。

商用終端設(shè)備和系統(tǒng)廠商中科英泰副總經(jīng)理管建鵬向記者舉例，某區(qū)域的龍頭超市有4臺(tái)自助收銀機(jī)，系統(tǒng)識(shí)別異常并提醒顧客后，80%的顧客會(huì)重新掃描商品，超市每日平均止損65次。若消費(fèi)者不重新掃描，系統(tǒng)會(huì)通知超市防損員，人力介入后每日止損約1066元。

不過(guò)，零售業(yè)AI應(yīng)用還有一些難題待解決，例如，李昊旻稱，實(shí)現(xiàn)生鮮識(shí)別后，標(biāo)準(zhǔn)品識(shí)別在技術(shù)上還存在一定難度，業(yè)內(nèi)還在研究。

業(yè)內(nèi)認(rèn)為大模型將帶來(lái)助力。英特爾中國(guó)網(wǎng)絡(luò)與邊緣技術(shù)產(chǎn)品總監(jiān)王景佳向記者表示，以往AI應(yīng)用基于計(jì)算機(jī)視覺(jué)、卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，現(xiàn)在大模型技術(shù)除了可能帶來(lái)新功能，還能幫助解決一些傳統(tǒng)AI應(yīng)用的難題，例如物品遮擋的情況下以往AI可能無(wú)法識(shí)別，現(xiàn)在識(shí)別效率有所提高。

“1.5B模型只能做簡(jiǎn)單問(wèn)答，而且反應(yīng)不夠快，容易出錯(cuò)；7B、8B的模型可以做簡(jiǎn)單的文案生成和代碼編寫(xiě)，會(huì)出現(xiàn)一些錯(cuò)誤，但能慢慢修正；14B有很強(qiáng)的能力，可以總結(jié)、匯總；32B到70B已經(jīng)達(dá)到普通人無(wú)法達(dá)到的水平了?！崩顣詽Q。

今年4月，絕味食品與騰訊智慧零售聯(lián)合發(fā)布了中國(guó)零售連鎖AI垂直大模型和三個(gè)AI應(yīng)用，可用于與顧客互動(dòng)、智能排班、庫(kù)存預(yù)測(cè)等。去年，天虹股份下屬子公司則開(kāi)發(fā)了百靈鳥(niǎo)AI大模型，可用于AI搜索推薦、AI導(dǎo)購(gòu)等。

業(yè)內(nèi)還在展望更多應(yīng)用。“零售行業(yè)站在一個(gè)變革潮頭。當(dāng)走進(jìn)便利店，你可能會(huì)發(fā)現(xiàn)便利店里的攝像頭不再是簡(jiǎn)單的安防工具，而是成為體驗(yàn)、消費(fèi)、情緒的傳感器。當(dāng)貨架上的電子價(jià)簽閃爍，你可能不知道它也在經(jīng)歷一場(chǎng)毫米級(jí)的、非常高難度的算力革命，可能正在打價(jià)格戰(zhàn)?！?中國(guó)連鎖經(jīng)營(yíng)協(xié)會(huì)副秘書(shū)長(zhǎng)楊雯表示。

不同芯片搶奪端側(cè)市場(chǎng)

以零售業(yè)為例，從成本等方面考慮，業(yè)內(nèi)認(rèn)為參數(shù)較小的模型適合端側(cè)應(yīng)用。

李昊旻告訴記者，不太可能在每個(gè)門(mén)店都部署很大的大模型，無(wú)論是從成本還是功耗考慮，都不可行。

端側(cè)不運(yùn)行大參數(shù)模型，就不一定要配備十分高端且昂貴的顯卡，一些消費(fèi)級(jí)顯卡、CPU也可以用。英特爾中國(guó)零售行業(yè)高級(jí)技術(shù)經(jīng)理夏耿告訴記者，合作伙伴在32B模型上的投入比較多，這是因?yàn)榫C合考慮部署成本和應(yīng)用場(chǎng)景之后，發(fā)現(xiàn)32B模型在成本、效率和精準(zhǔn)度之間有比較好的平衡。32B模型的運(yùn)行可以采用4張A770顯卡的方案，如果考慮冗余，該方案在商超中可以支持前端36到48臺(tái)設(shè)備，整機(jī)成本在4萬(wàn)元~5萬(wàn)元之間。

李曉濤告訴記者，如果是14B模型用上顯卡，成本基本上能做到萬(wàn)元級(jí)別，該公司用英特爾CPU和顯卡的方案，“我們內(nèi)部評(píng)估認(rèn)為，如果現(xiàn)在可以做到萬(wàn)元級(jí)別，并服務(wù)20個(gè)人的公司，這樣客戶就愿意（購(gòu)買(mǎi)）。” 李曉濤表示，門(mén)店級(jí)的普通員工一年需要小10萬(wàn)元的成本，而使用智能體，相關(guān)成本可以做到萬(wàn)元級(jí)別。

在不用到獨(dú)立顯卡的情況下，夏耿表示，單張酷睿Ultra SoC可以支持14B大模型，單SoC每秒可產(chǎn)生12個(gè)token。此前英特爾的芯片已經(jīng)進(jìn)行了AI計(jì)算重構(gòu)，去年發(fā)布的酷睿Ultra有NPU（神經(jīng)網(wǎng)絡(luò)計(jì)算單元）結(jié)構(gòu)，可做AI加速處理。李曉濤則告訴記者，如果不用顯卡，一些情況下CPU能直接運(yùn)行7B、8B的模型。

業(yè)內(nèi)還在展望端側(cè)芯片算力繼續(xù)提高。李昊旻表示，端側(cè)設(shè)備需要部署足夠多的AI功能，并降低對(duì)網(wǎng)絡(luò)的依賴性，從算力支撐看，端側(cè)AI算力會(huì)越來(lái)越大。

CPU制程演進(jìn)已在推進(jìn)。記者從英特爾了解到，Intel 18A制程已進(jìn)入風(fēng)險(xiǎn)試產(chǎn)階段，將于今年第四季度首度量產(chǎn)，Intel 14A則計(jì)劃在2027年進(jìn)行風(fēng)險(xiǎn)試產(chǎn)。夏耿表示，采用Intel 18A工藝的Panther Lake處理器推出后，搭載Panther Lake的POS機(jī)將不僅能運(yùn)行收銀ERP系統(tǒng)和交互界面，還能通過(guò)攝像頭等傳感器接入店鋪數(shù)據(jù)，用AI算法分析客流，下一步還能在POS機(jī)上運(yùn)行大模型，實(shí)現(xiàn)數(shù)字導(dǎo)購(gòu)助手的功能。

從端側(cè)的芯片組成看，市場(chǎng)研究機(jī)構(gòu)IDC中國(guó)副總裁周震剛告訴記者，未來(lái)在端側(cè)推理方面，CPU會(huì)有很大的進(jìn)步，但端側(cè)究竟是以CPU為主，還是以CPU加協(xié)處理器為主，例如CPU GPU或其他處理器，現(xiàn)在還沒(méi)有很好的定論，“畢竟終端情況復(fù)雜。PC端可能是英特爾和AMD主導(dǎo)，端側(cè)手機(jī)、車(chē)載則比較復(fù)雜。”

即便都是CPU，在一些端側(cè)AI場(chǎng)景中，CPU架構(gòu)的組成也較為多元。以筆記本電腦為例，目前還是x86架構(gòu)的CPU較為主流。集邦分析師黃淑芳表示，不同CPU制造商的AI發(fā)展脈絡(luò)不同，預(yù)計(jì)發(fā)展最快的是微軟 x86（英特爾和AMD）的陣營(yíng)，傳統(tǒng)CPU巨頭的市場(chǎng)資源較多，多數(shù)人則熟悉微軟系統(tǒng)，預(yù)計(jì)該陣營(yíng)AI滲透較快。Arm陣營(yíng)（包括蘋(píng)果、高通等）短期還需接受市場(chǎng)考驗(yàn)，但有機(jī)會(huì)快速成長(zhǎng)。

“未來(lái)幾年不同CPU制造商的市場(chǎng)占有率將會(huì)發(fā)生變化。AI興起讓大家對(duì)終端省電有所期待，比較期待Arm的功耗表現(xiàn)。隨著Windows on Arm組合的生態(tài)越來(lái)越成熟、AI應(yīng)用越來(lái)越豐富，2029年基于Arm架構(gòu)的筆記本電腦預(yù)計(jì)將有接近40%的市場(chǎng)份額?！秉S淑芳表示。

AD：

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。