破解云端大模型瓶颈，边缘AI驶入发展快车道

  【天极网IT新闻频道】当前,随着终端应用场景不断扩展,数据即时处理需求水涨船高。云端大模型落地行业逐渐面临日趋明显的数据缺失、反馈缓慢、成本过高等许多挑战,与云端AI相辅相成又优势明显的边缘AI成为攻克瓶颈的关键。意识到这一点的科技巨头们纷纷入局低成本、高效率且更具隐私性的边缘 AI,也让业内惊呼,边缘AI正进入发展快车道。

  以国内抢先发力边缘AI的领军企业云天励飞为列,其8月26日发布的2024年半年度报告显示,云天励飞2024上半年营业收入达到2.89亿元,同比增长97%。其主要业绩均来自于基于边缘AI平台的智能硬件、智算运营和智慧行业三大业务领域,也再次验证了边缘AI未来的广阔市场前景。

  边缘AI进入加速发展期

  和人们更为熟知的云端AI相比,边缘AI发展初期并未受到同等的重视。不过,边缘AI固有的更低成本、更好的数据隐私保护以及更快的响应速度,使其在近年来吸引了越来越多行业巨头的关注。大模型方面,谷歌、微软、Meta以及云天励飞都推出了轻量化大模型支撑边缘AI的应用;芯片方面,苹果、英伟达等巨头先后推出边缘AI芯片,应用在AI 手机和机器人上,云天励飞也在2022年底推出DeepEdge 10系列芯片,以支撑边缘端的大模型运行。

  有了成熟大模型的支撑以及性能不断提升的芯片,边缘AI的应用变得更加广泛和实用。边缘设备需要处理更加复杂的任务,反过来也促进了边缘AI技术的发展。良性循环为边缘AI的行业发展提供了加速度。

  以既有自研大模型又有自研芯片的云天励飞为例,其在今年7月由中国信息通信研究院承办的WAIC 2024“迈向AGI:大模型焕新与产业赋能”论坛上公开的边缘AI战略即显示,将依托多模态大模型、NPU加速计算平台这两大平台,发展智能硬件、智算运营、智慧行业三大主营业务,并确定了个人、家庭、城市三个应用方向。

  从云天励飞刚刚发布的半年报来看,三大主营业务都有不错成绩,其边缘AI战略初见成效。

  边缘智能硬件未来增长态势惊人

  在边缘AI应用方面,边缘智能硬件是*贴近广大用户,也是增长态势*为迅猛的智能设备领域之一。据市场研究报告显示,预计到2025年,全球智能硬件市场规模将达到数千亿美元规模,年复合增长率保持在两位数以上。特别是,随着技术进步和产品创新,物联网升级成AIoT,加上国家相关产业政策的大力扶持,预计未来3年边缘智能硬件设备将保持50%以上的复合增长率。

  从云天励飞的半年报来看,如今市面上可应用智能硬件的场景十分丰富,与从前相比实用领域也有了明显扩展。云天励飞基于自研“云天天书”大模型和神经网络处理器,打造面向各类边缘AI场景的各类硬件设备并对外销售,包括 AI 芯片、与华为昇腾合作打造的“天舟”大模型一体机等。报告期内,云天励飞还推出了融合“云天天书”多模态大模型能力的警务安全智能终端,具备万物识别、自然语言检索、警务知识咨询等功能,可全面助力基层警务人员提升执法水平。

  此外,云天励飞还收购了智能穿戴方案设计头部公司岍丞技术。岍丞技术主要产品包括智能蓝牙耳机PCBA、智能手表PCBA、智能音箱PCBA等IoT产品,主要应用在华为、荣耀、OPPO、VIVO、安克、boAt、Noise等品牌的终端产品上。行业*企业对于“大模型+智能可穿戴”相关产品的积极探索和加速布局,也使得边缘AI赋能下游终端应用渐呈百花齐放。

  自研大模型+自研芯片是云天励飞边缘AI业绩增长底气

  智慧行业是边缘AI可发挥作用的重要领域之一。从云天励飞半年报可见,目前云天励飞已形成了城市治理、智慧交通、智慧应急、智慧城管、智慧园区、智慧社区、智慧泛商业、智慧道路巡检、智慧警务、低空经济、智慧教育等行业产品与解决方案体系,并结合多模态大模型技术特点和行业需求,持续拓展创新业务。

  另一主营业务智算运营也是极具发展前景的潜力股。今年6月,云天励飞与德元方惠签署AI算力运营合作协议。德元方惠将向云天励飞购买AI训练及推理异构算力服务,总算力规模约4000 PFLOPS,该协议在未来三年服务期内将为云天励飞贡献约16亿的营收。

  无论是智慧行业,还是智算运营,想要在边缘AI领域有所建树,都离不开成熟的大模型技术以及性能足够强大的芯片支持。

  以大模型为例,云天励飞自主研发了千亿级大模型“云天天书”。今年中国信通院发布《2024大模型示范应用案例》,云天励飞与深圳市龙岗区打造的数字政务行业大模型入选。在智慧交通和智慧警务解决方案中,云天天书大模型助力城市实现了交通的智能调控以及公共安全事件的有效预防;在智慧商业领域,大模型通过分析客流动线等信息,为商业智能体的运营决策提供了有力支撑;在智慧教育方面,云天励飞提出了 Fly计划,致力于构建全面、立体的人工智能教育生态系统。

  再以芯片为例,云天励飞去年底发布了大模型推理芯片DeepEdge10;今年推出采用D2D Chiplet技术,基于DeepEdge10芯片平台打造的大算力芯片DeepEdge200,并打造了IPU-X6000加速卡,可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。

  可以预见,未来云天励飞会利用这些技术优势,将自研大模型与自研芯片更好结合,进一步促进行业边缘AI发展。

  长远来看,我们必将进入一个由云端AI+边缘AI的混合式AI时代。而在这一过程中,离不开边缘AI的重要支撑。目前,无论是从自动驾驶、机器人/具身智能到 AI PC/phone,基于设备端智能化的边缘 AI 正逐步发展壮大,并显现出蓬勃发展的积极活力。显然,把握边缘AI的发展趋势,加速其技术与产业的深度融合,将是推动未来智能科技革命的重要力量。而如何更好地制订边缘AI战略,在这一过程中分到更多的蛋糕,正是业内应该深入思考的重要议题。