祥承科技团队荣膺亚马逊云科技LLM联赛季军,边缘计算与模型优化实现突破
- +1 你赞过了
【天极网IT新闻频道】近日,在2025年亚马逊云科技中国峰会LLM League大语言模型联赛中,祥承科技创新中心梁宝迩、伍梓樟与Pioneer事业部斯烺组成的研发团队,历经5小时高强度技术角逐,从数百名参赛者中成功斩获全国季军。这一成就标志着祥承科技在大语言模型优化与边缘计算融合领域再次崭露头角,再获创新突破。
技术攻坚:
模型优化与边缘推理的实战检验
2025年亚马逊云科技中国峰会LLM League大语言模型联赛由DeepRacer原班团队打造,结合了模型微调、数据准备与部署流程,旨在考验参赛者是否已全面掌握生成式AI建模的关键路径。联赛设置三重技术关卡:工作坊技术解析、虚拟编程实战和模型擂台赛。
祥承团队基于大赛指定的Llama-3.2-3B-Instruct基础模型,通过创新参数优化方案完成微调。在*终擂台环节,团队通过动态调整模型参数与Prompt策略,在7道专业领域限时挑战中实现精准应答,其技术方案获得赛事评委组高度认可。
此次突破的核心支撑源于祥承科技在端侧推理引擎的持续研发。据祥承科技创新中心验证,基于自研XCNN双模型并行推理引擎在APU设备运行Qwen2.5-3B模型时,实现文本理解速度706*2 tokens/s、文本输出速度17*2 tokens/s的性能表现,较传统方案实现显著提升。该技术成果为竞赛中的实时优化提供了底层支持。
技术落地:
边缘终端与优化模型的深度集成
据悉,此次获奖技术方案已与祥承旗舰产品 H20 EDGE AI终端实现技术融合,标志着国产端侧大模型部署能力的实质性突破。该终端搭载联发科高端芯片天玑9300,通过48TOPS端侧算力与TEC+风冷双散热系统,为LLM部署构建硬件基础,在边缘端构建起全栈自主可控的LLM技术闭环。
竞赛验证的动态参数优化框架与双模型并行调度技术(专利申请已受理)集成微调模型后,H20 EDGE AI终端呈现两大技术特性:
通过 Peripheral-Level HID自动化技术 ,设备在办公应用场景实现虚拟人机交互能力。结合DP+HDMI双视频接口,为多场景交互提供硬件支持。依托XCNN推理引擎的技术优势,终端在保持本地化部署的同时实现高效模型运行。
采用动态任务调度架构,轻量级指令由端侧模型实时响应,复杂任务通过Wi-Fi 7通道协同云端处理。该架构使设备在256GB UFS 4.0存储基础上,可扩展支持2TB外接SSD模型存储,为多元化场景部署提供技术保障。
H20 EDGE AI终端的推出,标志着祥承科技实现了边缘设备“轻量化部署与高性能推理并存”的突破性进展,彰显中国智能硬件终端的技术自主性和场景创新价值更进一步。
持续进化:
深耕数据与硬件的协同创新
此次赛事荣誉是对祥承科技"边缘智能"技术路径的重要验证。未来公司将聚焦三大技术方向:构建企业级数据治理管道提升微调质量,深化MTK芯片架构优化实现端侧推理效率突破,推进双调度系统在边缘计算场景的产业化落地。
祥承科技将充分发挥在硬件开发领域的深厚积累,结合前沿的软件算法能力,打造具有全球竞争力的企业级边缘AI解决方案,让“每个终端都拥有大脑”,推动人工智能在边缘侧的普惠化进程。
类型:广告最新资讯
新品评测