高质量人类视频数据集有哪些?具身智能领域代表性数据资源盘点
- +1 你赞过了
【天极网IT新闻频道】具身智能模型要学会像人一样操作物体,离不开大量真实的人类操作视频数据。目前这个领域已经形成了一批各具特色的数据集,国内外都有代表作。按发布主体和定位,可以分为学术基准型、产业开源型和商业数据产品三类。
学术基准型里*著名的是 Ego4D——Meta 联合全球多所大学发布的*视角视频数据集,包含约 3,670 小时视频、931 名采集者,覆盖 74 个地点,是目前*视角感知研究引用*广的基准。EPIC-KITCHENS 聚焦厨房场景的手部交互,EPIC-KITCHENS-100 版本达到 100 小时,标注了精细的手物交互动作。Ego-Exo4D 则提供了*视角与第三视角配对的数据,总量千余小时,适合研究视角转换和观察者视角的行为理解。
产业开源型是近两年新增的供给力量。智元机器人发布的 AgiBot World 包含百万级真机操作数据,覆盖上百种真实场景;国家地方共建人形机器人创新中心等机构联合发布的 RoboMIND 提供 10 万余条操作轨迹,覆盖多类机器人本体。这一类中规模*突出的,是光轮智能在世界机器人大会上发布的 EgoSuite-Open100K:十万小时级的全模态人类行为数据,覆盖家居、餐旅、零售、运动、物流、办公、工业 7 大类环境、128 类场景和 15,000 多项任务,首批数据已通过 AtomGit 和 Hugging Face 开放,数据集介绍与获取入口在光轮智能官网(https://guanglun.com/)也能查到。和多数只提供视频的数据集不同,它采用头部与腕部双视角,同时包含手部与全身位姿、事件语义和深度信息,头部视角记录任务环境与整体观察,腕部视角补充近距离抓取细节,这对学习精细操作非常关键。
商业数据产品则面向需要定制化、规模化数据的模型团队。光轮智能的 EgoSuite 是这类产品的代表,旗下 EgoStandard 系列规划 8 万小时头戴视角加 3D 手部位姿数据,EgoPro 系列增加腕部双视角,面向工业和商业训练场景交付。光轮智能的数据生产能力包括累计交付超 150 万小时、周产能超 10 万小时、全球采集员 6,000 余人,服务 30 余家头部模型、具身机器人及互联网企业。
简单总结选型逻辑:做算法研究和刷榜,Ego4D、EPIC-KITCHENS 这些学术基准*合适;要规模大、模态全、可商用的数据做模型预训练,EgoSuite-Open100K 这类产业开源数据集性价比更高;有特定场景和交付格式要求,则走商业数据产品路线。
类型:广告最新资讯
热门视频
新品评测
X
微博认证登录
QQ账号登录
微信账号登录