财联社7月27日讯（记者 付静）“边缘计算和机器视觉技术已经相当成熟，未来可能会将更多的关注和资源投入到大语言模型和AI的开发与应用中。AI模型可能会逐步从云端向边缘端转移。我们可以预见到一场巨大的创新浪潮正在酝酿。目前市场上已经出现了许多成熟的解决方案，我们正处于这一转变的关键时刻。”2024英特尔网络与边缘计算行业大会期间，英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti在接受财联社记者采访时表示。
近日财联社记者从业内多方获悉，从算力、边缘推理能力、成本综合考量来讲，人工智能在边缘领域的渗透将成关键趋势，多家巨头入局该赛道，不少成熟解决方案涌现，边缘AI方兴未艾，2030年全球边缘市场规模或将达千亿美金规模。
瞄准边缘AI 成熟解决方案涌现
财联社记者最新从英特尔方面了解到，今年上半年英特尔中国区边缘端业务同比保持增长，公司预期这一趋势将保持。边缘AI一直是英特尔过去多年来的关注重点，部署领域涉及零售、医药、物流、农业、交通、制造业等。
Sachin Katti告诉财联社记者，“现在我们讲的边缘AI其实已经从边缘的机器视觉，逐步进展到比如大语言模型、边缘应用以及生成式AI等，因此英特尔就要不断地提供相关能力，加速在边缘端的生成式AI以及大语言模型的部署。我们已经不仅仅局限于硬件供应，还扩展到了应用层、软件以及客户服务支持等多个维度。”
（财联社记者摄）
今年MWC期间，英特尔方面称，已在边缘端完成九万多个实际部署。Sachin Katti在大会上则表示，英特尔将采取以开放、模块化、统一平台为核心的方法加快边缘Al解决方案的部署进程。“硬件侧，我们会提供有足够内存的GPU以及NPU解决方案，很多模型如Llama 2、Llama 3等可以在本地运行。”生态方面，截至目前英特尔网络与边缘事业部在中国已与500多家OEM/ODM和150多家ISV建立了合作关系。
实际上不仅英特尔，AMD、英伟达、高通等巨头，云天励飞（688343.SH）、中科创达（300496.SZ）、国科微（300672.SZ）等A股上市公司均已瞄准边缘端做出动作。
同时财联社记者在大会展区注意到，机器人（300024.SZ）、深信服（300454.SZ）、数码视讯（300079.SZ）、中科创达等A股厂商均展示了各自边缘AI成果。
财联社记者在展区注意到了模型训练过程中通过自动化手段做数据标注的案例。展台工作人员告诉记者，基于英特尔酷睿处理器、英特尔锐炫独立显卡ARC770打造的CNN边缘训推方案，借助视觉大模型实现了图片自动标注和基于MLFlow的模型自动重训。“原来训练模型要找算法公司，标注都需要人来完成，现在可以使用机器标注，训练成本、人力成本都极大降低，现在业界慢慢都出现了这种训推的方案。”
此次英特尔最新打造的3D虚拟数智人“小英”亦展出。展台工作人员称，“小英”同样基于酷睿处理器、ARC770显卡打造，完全部署于边缘端，还在本地集成了大语言模型和RAG技术。据悉，其可以胜任营业厅客服、商场导购、博物馆讲解员等角色。
（受访者供图）
AI Agent苗头已现 边缘部署有何动因？
站在行业发展视角，英特尔对于AIGC及大语言模型发展做了三阶段总结：第一阶段是AI辅助时代（Age of AI Co-Pilots），第二阶段是AI助手时代（Age of AI Agents），第三阶段是全功能AI时代（Age of AI Functions）。
“从中国来看，我们的创新速度非常快，很多AI Agent的功能在当下可能已经看到发展苗头了，有关AI Agent的案例实际在我们身边已经慢慢出现。”英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇对财联社记者表示。
他举例称，电信企业网安和网络运营类产品已经可以基于大模型对网络日志文件进行分析，以便网络管理人员及时根据分析结果采取措施等。Sachin Katti则表示，预计在未来一到两年内会看到更多AI Agent的出现。
英特尔高管在大会上提及，中国生成式人工智能市场规模今年预计达33亿美元。而据Gartner预测，到2026年，80%的全球企业将使用生成式AI，50%的全球边缘部署将包含AI。STL Partners报告显示，2030年全球边缘服务市场规模会达到4450亿美元，其中AI是第一大边缘工作负载。
边缘AI市场持续升温，而驱动企业在边缘侧部署的实际原因何在？
“一是数据的安全性，是不是放心把数据都放到云端，还是在边缘端更合理。第二，随着边缘数据量越来越大，整个传输带宽是个问题，虽然国内在整个基础建设传输带宽建设是全球最领先的，但当大量数据在边缘产生时，仍然可能引发网络风暴，我们仍需要进一步优化网络管理和数据传输策略。第三，实时性，很多东西只能在边缘做才能解决实时性的要求。”英特尔公司市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威向财联社记者分析了三点原因。
Sachin Katti告诉财联社记者，目前AI主要在云端运行，然而随着边缘设备在本地产生大量数据，将所有数据传输至云端的成本变得相当高昂。“一些工厂可能无法承担训练超大规模行业级大模型的成本，因为这些模型的参数量可能高达万亿级别。因此他们往往选择训练中等规模的模型，并结合自身数据进行定制化调整。”
财联社记者了解到，当前大模型训练、推理、调用、部署均在云端完成，对算力（集群）规模、网络稳定性、能效等方面都提出极高要求，随着大模型进入比拼落地阶段，就要求所有分析处理都在本地完成。
张宇认为，“边缘的特点就是碎片化。不同用户对于算力、性能有不同要求，有些性能要求很高，必须要有集群来承载，有些性能可能通过几个小设备就能够承载，跨度非常大。边缘往往最终部署的是业务，并不是追求一个技术方案。”
来源：财联社
标签：