70B模型能当零售业区域经理！小模型加速端侧落地，芯片不一定要GPU

模型小型化让一些(yīxiē)端侧场景用了起来。 “零售场景下，8B（B为十亿参数(cānshù)）模型(móxíng)能做人流预测、商品检验、导购；14B可以做一些简单报表分析；32B在报表出来后还(hái)可以给图谱指引(zhǐyǐn)、数据预警；70B可以扮演区域经理、大区经理的角色。” 工控主板(zhǔbǎn)厂商(chǎngshāng)吉方工控副总经理李晓涛在近日一场分享中表示。他告诉记者，近期有很多模型已能用于公司实际运营中，且性价比高。 在大模型中，8B~70B参数并不算大。记者了解(liǎojiě)到，对模型小型化和性价比等的重视，让端侧(duāncè)场景的芯片方案与数据中心有一些(yīxiē)不同(bùtóng)。相比数据中心硬件投资向GPU等加速芯片倾斜，端侧小模型对算力的要求不一定很高，在一些情况下，独立GPU不一定是必选项。 零售场景扩大(kuòdà)AI应用 记者了解到，作为端侧场景之一，零售场景过去几年一直在尝试扩大AI应用(yìngyòng)。已经落地的AI应用中，最早(zuìzǎo)实现的包括商品自动识别(zìdòngshíbié)，随后扩展至AI自助防损等。 据商业软硬件厂商海石商用副总经理李昊旻介绍，零售场景AI落地(luòdì)源于芯片算力冗余(rǒngyú)，“三四年前，我们就看到算力的应用前景，根源在于观察(guānchá)到CPU和GPU性能在零售场景开始出现冗余，单纯的算账和支付不需要太高的性能。（与此同时(yǔcǐtóngshí)）AI场景开始显现出来(xiǎnxiànchūlái)。” 据李昊旻介绍，最早被(bèi)提出并解决的是生鲜(shēngxiān)识别问题，由摄像头采集生鲜图像并由AI识别、算出SKU（最小存货单位）。如今，一些超市的秤能自动识别生鲜，无须人工选择，其他应用还包括(bāokuò)AI+通道识别方案、AI团餐识别方案，分别用于识别超市收银是否有异常扫码(sǎomǎ)行为、提高(tígāo)自选菜餐厅的收银效率。 AI自主防损是一种更新的(de)应用。李昊旻表示，当前零售行业最需要解决的问题包括自助防损，有(yǒu)2%~3%的商品顾客未能成功完成扫描动作。防损算法、ToF传感器(chuángǎnqì)可用于判断收银动作是否完成，有80%无意间造成的扫描异常会(huì)被识别。 商用终端设备和系统厂商中科英泰副总经理管建鹏向记者举例，某区域的龙头超市(chāoshì)有(yǒu)4台自助收银机，系统识别异常并(bìng)提醒顾客后，80%的顾客会重新扫描商品，超市每日平均止损65次。若消费者(xiāofèizhě)不重新扫描，系统会通知超市防损员，人力介入后每日止损约1066元(yuán)。 不过，零售业AI应用还有(háiyǒu)一些难题待(dài)解决，例如，李昊旻称，实现生鲜识别后，标准品识别在技术上还存在一定难度，业内还在研究。 业内认为大模型将带来(dàilái)助力。英特尔(yīngtèěr)中国网络与边缘技术产品总监王景佳向记者表示，以往AI应用基于计算机视觉、卷积神经网络技术，现在大模型技术除了可能(kěnéng)带来新功能(gōngnéng)，还能帮助解决一些传统AI应用的难题，例如物品遮挡的情况下(xià)以往AI可能无法识别，现在识别效率有所提高。 “1.5B模型只能做简单问答，而且反应不够快，容易出错；7B、8B的模型可以做简单的文案生成(shēngchéng)和代码编写，会出现一些错误(cuòwù)，但能慢慢修正；14B有很强的能力，可以总结、汇总(huìzǒng)；32B到70B已经达到普通人无法达到的水平(shuǐpíng)了。”李晓涛称。 今年4月，绝味食品与腾讯智慧零售联合(liánhé)发布(fābù)了中国零售连锁AI垂直大模型和(hé)三个AI应用，可用于与顾客互动、智能排班、库存预测等。去年，天虹(tiānhóng)股份下属子公司则开发了百灵鸟AI大模型，可用于AI搜索推荐、AI导购等。 业内还在展望更多应用。“零售行业(hángyè)站在一个变革潮头。当走进便利店，你(nǐ)可能会发现便利店里的(de)摄像头不再(bùzài)是简单的安防工具，而是成为体验、消费、情绪的传感器。当货架(huòjià)上的电子价签闪烁，你可能不知道它也在经历一场毫米级的、非常高难度的算力革命，可能正在打价格战。” 中国连锁经营协会副秘书长杨雯表示。 不同芯片抢夺端侧(duāncè)市场 以零售业为例，从成本等方面考虑，业内认为参数较(jiào)小的模型适合(shìhé)端侧应用。 李昊旻告诉记者，不太可能在每个门店都(dōu)部署很大的(de)大模型，无论是从成本还是功耗考虑，都不可行。 端侧不运行大参数模型，就不一定要配备十分高端且昂贵的显卡，一些消费(xiāofèi)级显卡、CPU也可以(kěyǐ)用。英特尔中国零售行业高级技术经理(jīnglǐ)夏耿告诉记者，合作伙伴在32B模型上的投入比较(bǐjiào)多，这是因为综合考虑(kǎolǜ)部署成本和应用场景之后，发现32B模型在成本、效率和精准度之间有比较好的平衡。32B模型的运行可以采用4张A770显卡的方案(fāngàn)，如果考虑冗余，该方案在商超中可以支持前端36到(dào)48台设备，整机成本在4万元~5万元之间。 李晓涛告诉记者，如果是14B模型用上显卡，成本基本上能做到万元(wànyuán)级别，该公司用英特尔CPU和显卡的方案(fāngàn)，“我们内部评估认为，如果现在可以做到万元级别，并服务20个人的公司，这样客户就愿意（购买）。” 李晓涛表示，门店(méndiàn)级的普通员工(pǔtōngyuángōng)一年需要(xūyào)小10万元的成本，而使用智能体，相关成本可以做到万元级别。 在不用到独立(dúlì)显卡的情况下，夏耿表示，单张酷睿Ultra SoC可以支持14B大模型(móxíng)，单SoC每秒(měimiǎo)可产生12个token。此前英特尔的芯片已经进行了AI计算重构，去年发布的酷睿Ultra有NPU（神经网络计算单元）结构(jiégòu)，可做AI加速处理。李晓涛则告诉记者，如果(rúguǒ)不用显卡，一些(yīxiē)情况下CPU能直接运行7B、8B的模型。 业内还在展望端侧芯片算力继续提高。李昊旻表示，端侧设备(shèbèi)需要部署(bùshǔ)足够多的AI功能，并降低对网络的依赖性，从算力支撑(zhīchēng)看，端侧AI算力会越来越大。 CPU制程演进已在推进。记者(jìzhě)从英特尔了解到，Intel 18A制程已进入风险(fēngxiǎn)试产阶段，将于今年第四季度首度量产，Intel 14A则计划在2027年进行风险试产。夏耿表示，采用Intel 18A工艺的(de)Panther Lake处理器推出后(hòu)，搭载Panther Lake的POS机将不仅能运行收银(shōuyín)ERP系统和交互界面，还能通过摄像头等传感器接入店铺数据，用AI算法分析客流，下一步还能在POS机上运行大模型，实现数字(shùzì)导购助手(zhùshǒu)的功能(gōngnéng)。 从端侧的芯片组成看，市场研究机构IDC中国副总裁周震刚告诉记者，未来在端侧推理方面，CPU会有很大的进步，但(dàn)端侧究竟是以CPU为主，还是以CPU加协处理器为主，例如CPU+GPU或其他处理器，现在还没有(méiyǒu)很好的定论(dìnglùn)，“毕竟终端(zhōngduān)情况复杂。PC端可能是英特尔和AMD主导，端侧手机、车载则比较复杂(bǐjiàofùzá)。” 即便都是CPU，在一些端侧AI场景中，CPU架构的组成也较为多元。以笔记本电脑为例，目前还(hái)是x86架构的CPU较为主流。集邦分析师黄淑芳(shūfāng)表示，不同CPU制造商的AI发展脉络(màiluò)不同，预计发展最快的是微软(wēiruǎn)+x86（英特尔和AMD）的阵营，传统(chuántǒng)CPU巨头的市场资源较多，多数人则熟悉微软系统，预计该阵营AI渗透较快。Arm阵营（包括苹果、高通等）短期还需接受市场考验(kǎoyàn)，但(dàn)有机会快速成长。 “未来几年不同CPU制造商的(de)市场占有率(shìchǎngzhànyǒulǜ)将会发生变化。AI兴起让大家对终端省电有所期待，比较期待Arm的功耗表现。随着Windows on Arm组合的生态(shēngtài)越来越成熟、AI应用越来越丰富，2029年基于(jīyú)Arm架构的笔记本电脑(bǐjìběndiànnǎo)预计将有接近40%的市场份额。”黄淑芳表示。 (本文来自第一财经(cáijīng))