50小时Ego只等于5小时UMI，跟头部供应商聊了背后的逻辑。

• 2026-11-12 11:37:40 来源：硅星人

最近看到「海外独角兽」发的Robotic专题文章中提到 UMI 需求量增大，是因为 Ego 数据效果不好。

其实有几家头部公司都给我 offer 了类似的事情，Ego的 Scaling law 很难验证出来，而UMI就很容易。

原因定位在采集精度和信息量上，所以他们有些又转向了使用 UMI。

(资料图片仅供参考)

我很支持这种根据训练效果重新调整数据的做法，看来 Ego 数据的边界也快要摸清楚了。

预训练的规模已经到了 220 万小时，可同样一小时的数据，能带来的帮助未必一样。

我们收集了一些信息，大概 5-10 小时的 ego数据训练效果，可能才相当于一小时的 UMI。

这也让我觉得，预训练阶段的数据就得认真考虑动作信息的密度和精度。

如果一些关节和接触信息在采集时就没留下来，后面再想办法补充，难度会非常大。

而这些问题，模型侧的需求我大概已经能 Get，数据侧的一些想法，我也希望听听供应商的看法。

之前一直听说简智团队联创朱雁鸣最近半年都在北美拓展业务，对国外公司的信息了解的比国内更快一些。

我相信他也一定清楚10小时 Ego 等于1小时UMI的原因，所以我们也非常有幸约到了朱总交流了两个小时。

To be honest，九月就有投资人 push 我们深度调研下简智，这次也终于等到了合适的机会 hh。

这次交流了非常非常多的内容，比如对Ego精度的看法，对 human data 的看法，比如为什么现在这个节点要发新的手套和头环，他们自己以为的壁垒是什么。

今天把一些关键的信息和我们内部的看法写下来，也希望和大家多交流数据层面的一些观点。

话不多说，我们开始吧。

1

数据形态的终局是什么。

先从「数据升维到 Human data」说起，一个大前提。

朱雁鸣对行业的判断是，机器人会往越来越像人的方向靠，身高、尺寸、关节、手，再到腰部和全身的运动。

这也是简智为什么会选择 human data，数据得跟着人走，不能只服务某一款或者某几款机器人。

在这个逻辑下，他对 human data 的定义是比较宏观的：

可能前几年大家更多的还是只关心手，或者下半身不动，就两个机械臂加一个夹爪在干活。

未来到了全身人形的阶段，腰、腿这些位置也都得进来。之前单目的 ego 头环就没办法看那么多信息，所以最近市面上多目的头环也多了起来，目的都是为了记录更多的人体运动信息。

至于为什么要做更全面的数据采集，朱总解释了自己的逻辑。概括起来是：

说人话就是，先把人的动作和交互采得更完整，等机器人需要的时候，就有更多信息可以选择。

这个大方向我是认同的。

问题也还有，「能降维」和「降维就能用」还不一样。比如人的手指数量、身体比例和机器人的关节限制都不一样，保留哪些运动、调整哪些动作，还是得看模型效果。

这个逻辑他们自己内部还在验证。

朱总 offer 了一个例子，比如五指操作可以映射到两指 UMI 上，他们内部也能得到一些有用的数据。

这就是简智做数据升维的逻辑，在采集的时候尽可能地保留更多的原始多模态信息。DAS 2.0 就是在这个大的设想下发布的新一代产品。

也快速和大家过一下吧，主要是一台 Ego 2.0 头戴六目相机和一副 DEX 2.0 数采手套，配套的还有腕部相机。

托 CoRL 的小伙伴帮我们拍了下实物图。

横向视野从上一代的 270° 提升到 340°，朱总说主要是为了捕捉更多环境信息，改善空间定位。

包括相机往额头前面挪了一些，以及视野下调，这样画面里腰以下的身体占比就可以增加。

我问了一句，这是你们自己发现要改，还是客户要求的？

朱总说是自发的。一代的时候也试过做全身，但实际场景里遮挡太多，有时持续十几秒，仅靠上下文也很难补准。

写到这里，我脑子中还闪过了觅蜂，之前有聊过他们给原始数据分级，也是类似的思路。现在用不上的，不代表以后用不上。

但信息采得更多以后，还得保证精度更高。

单目 Ego 头环一个大几千块，走量还可以往下谈，指望头环提供非常小的定位误差，不太现实。

哪些信息值得直接测下来，给模型一个更可靠的参考？

这就到了手套这部分。至于这些数据怎样进入预训练、中训练和后训练，我们与朱总也展开了充分的探讨，后面会和大家分享。

1

手套发了这么多，简智的逻辑是什么？

最近真的看了太多的数采手套，就比如之前分享过的临界点。

我简单让大模型查了下，仅公开信息能查到手套发布就有很多。

上半年还在强调遥操手套 or 数采手套，最近一两个月则会强调两者兼顾。

国内公司卷的基因还是太权威了，所以我也会有疑问，为啥简智现在要来卷手套？简单地收集人类动作和触觉做训练数据，这个故事都会讲。

并且简智这次的 DAS DEX 2.0，还选择了外骨骼。最开始我以为是下面这种，会有很多外置的结构件。

图源网络，外骨骼手套示意图。

看到实物后，才发现跟我想的不太一样，他们是侧置的外骨骼设计，这样对动作的干扰就会比较小。

那我的下一个问题是，简智愿意付出这个代价，是想多记录下什么？

DEX 2.0 的侧置外骨骼

手套的部分，我们聊了很多。

天南：我最近看到的织物手套会比较多，你们为什么选了外骨骼？

朱雁鸣：其实逻辑还是方便使用以及精度要准。包括像你刚才也聊到之前的外骨骼手套存在的问题，那我们侧置的外骨骼就基本上不存在此类问题，以及我们希望直接记录手部的动作和姿态。

相比 IMU 或者 EMF 还是会更准一些。还有一点，我们为啥没做织物手套，除了精度不错之外，我们更看重的是鲁棒，要更耐造。

包括能给操作提供更稳一些的触觉信息，这些都是 DEX 2.0 当时涉及时考虑的内容。

天南：你几次提到原生动作，是更多在强调外骨骼这件事情吗？

朱雁鸣：对。就比如从指尖轨迹出发，把它映射到一个标准手模型里，再加约束去还原姿态，结果可能看起来接近，但跟当时人的实际运动仍然有差别。我们希望把原生的关节运动也保留下来，作为额外的信息交给模型。

DEX 2.0 是把磁编码器放进外骨骼关节里。可以直接读取机械关节的转角，再通过标定还原手部状态。

天南：电子皮肤这边，你们用的是压阻方案。不同手套之间的一致性怎么保证？

朱雁鸣：这里要处理材料和加工工艺带来的差异，否则使用中可能出现漂移。我们花了很多时间找材料，在发生形变的那层用了多孔结构，希望通过孔的形变改善一致性。

感知单元用了石墨烯喷涂，这也是从改善制造一致性的角度考虑的。

至于前面提到的运动信息会交给什么模型，我也追问了一下，朱总说他们内部在做很多数据处理的模型。

我对这块还是很感兴趣的。

写到这里的时候，依旧想到了 Tesla 的 Data Engine。

我会认为即使手套把触觉和姿态都做好了，数据需求中短期仍然可能不会很大（价格在这里）。

如果手套需求不大，那做这件事的意义在哪里呢？这是我最近一直存疑的地方。

朱总的回答里，有一点我觉得是有价值的：他希望用手套采回来的高精度数据，改进那些没有戴手套的数据。

简智把采集分成三种。

• 纯 Ego 负责记录人、环境和操作的上下文，最容易铺量；

• 加上腕部相机，把近处的手和物体拍得更清楚；

• 再加手套，就多了关节运动和触觉的测量。

CoRL 的同学也有跟我们反馈说，北美现场那边很多 frontier lab 对简智最新的 wrist camera 会比较感兴趣，这里也蹲一下后续的使用反馈~

手套的数据既可以直接使用，也希望能给前两种方式提供参考。朱总用的词是 ground truth，也就是真值。

要把这些信息用到更多数据里，就需要他们内部的数据处理模型。

这就聊到了我这次感触最深的一部分。

1

数据公司训模型和背后的思考。

直接放结论。

简智希望通过自己的模型，让那些没有戴手套的数据也能变得更准。

也就是利用自己升维的数据，去提升低维数据的信息量。

我觉得还是比较重要的，稍微展开下。

之前有和大家聊到，单纯的数据采集本质是服务业，我会对数据 infra 公司的壁垒在哪里很感兴趣。

如果数据供应商自己训模型，其实是可以积累更多的 knowhow。

朱总提到的 DFM，就是希望把不同模态的信息放在一起，做标注、补全和校验。

随手翻了下简智官网，他们的数据治理平台。

这么看，手套在这里会更像一把尺子。

直接采回来的数据除了售卖还会多一层价值。尤其在手套还没大规模铺开的时候，我认可用高精度数据去帮助更大规模视觉采集的思路。

我当时还追问，这样会不会让简智原来卖的 Ego 数据也变得更有价值？

朱总给了肯定的回答，而且客户会更愿意 pay more，并且也分享了他对模型投入的看法。

朱雁鸣：我们对于数据的 infra 还是持积极的态度，这里面能做非常多的事情，虽然有些东西商业化会难一些（比如模型）。

但内部讨论后还是坚持做，希望自己对数据的认识经过更充分的验证。客户可以给反馈，但自己也要有判断，否则永远落后于客户，跟不上客户的创新速度。

我会觉得这句话还挺深刻的，在结束和朱总的交流之后，我们内部也讨论了不少。

会有一些担心，数据公司未必有足够强的模型能力，这是其一。其

二是模型在现有场景数据上收敛，客户未来换场景（比如新需求是跨国），还能不能处理好。

如果投入很大，又跟不上新的变化，会不会变成负资产？

这个问题也抛给大家一起讨论。

我的看法是，把数据质量做好，只靠人工标肯定是不够的，客户会告诉你在一个月之内提供五十万小时的数据。

你不行，我就换别人。

在这么短的时间内，如何保量保质的做好交付？

所以如果不做自己的数据 infra ，大概率是上不了最大的牌桌的，这是所有数据供应商必须要建立的基础能力。

但确实也会是一把双刃剑，做得好就会领先很大一截身位，做的不好确实也有可能成为负资产。

数据公司的壁垒，也得在这些具体的交付和改进里积累。

1

同样在卖数据，大家想的还真不一样。

除了前面和大家分享的主线，我们还聊到了后训练、采购、运营和不同客户对数据的理解。

下面按原意精简整理，合并了同一话题下的讨论，保留各自的判断。

分享给大家。

天南：你们强调的人类经验，主要服务预训练，还是也能进入后训练？如果以后大量机器人部署起来，长期会不会仍然以真机数据为主？

朱雁鸣：我认为人的数据可以进入后训练。过去的困难，一是精度不够，二是信息不完整，很难映射到机器人上。

假设一段人扫地的数据能够准确映射过去，机器人也能把这个操作完成，它就有机会发挥与遥操数据相近的作用。这是我们想做到的目标。

部署后的真机数据也有价值，尤其是失败和重试，但我还关心机器人原来不会的事情，怎样得到一个正确示范。比如它本来不会跳，单靠已有部署，就很难得到这个示范。

上面这个问题我的看法会有保留。

我支持现阶段探索人类的数据，但长期更倾向部署后的真机数据。未来一两年，后训练的主力大概率还是遥操或者同构的无本体数据。遥操和接管同样可以提供正确示范，人的数据则可以先在动作容易迁移、结果容易验证的任务里尝试。

中训练也会有分歧。朱总希望把高精度信号更早放进预训练，减少后面补课的需求，并没有否定中训练会长期存在。我们仍然认为，本体铺开以后，中训练会变得更重要，具体本体的适配需求也还在。

但如果今天你能买到的 ego + 手套数据都只要几美金，并且采集效率也很高，那很多现在的分歧都会收敛。

下一个问题。

天南：大模型厂商对 Ego 数据的需求在增加，但大家怎么用这些数据，是不是仍然有分歧？跟具身公司的需求有什么不同？

朱雁鸣：确实会有分歧。同样是 Ego 数据，有的需求是让模型理解更多环境和信息，有的则希望提升规划能力，这两种目标对应的数据要求不一样。

如果单看别人买了很多 Ego，却不知道具体咋用，那会很容易走偏。具身里一些做落地的团队，会更具体地盯着某些任务和场景，希望任务范围能收敛下来。

天南：如果外购的遥操数据跟自己的本体不适配，为什么还会有人买？你们怎么处理这个 Gap？

朱雁鸣：我接触到的客户会指定设备，比如要求采集用的手与最后部署的手是同一款。他们买的也包括供应商的运营能力和场景资源，让供应商按要求组织采集。设备有时由客户提供，有时由供应商采购。

天南：数据这门生意的运营还是挺重的，你们自己怎么看这里面的壁垒？

朱雁鸣：运营能力里很重要的一点，是能不能采到多样性的数据。我们现在很少谈众包，因为有些容易获得的数据，继续增加规模的价值已经开始变薄。

比如已有很多超市场景的数据，客户下一步需要的可能是工厂、制造业或医疗相关的内容，进入这些场景，需要不同的运营能力。

以及还得往任务下面多看看。就比如餐馆擦桌子和在家擦桌子，最后模型可能学到的仍然是同一种动作，场景不同，不能就认为动作也足够多样了。

回到 human data 这件事上，我会觉得这个事情是一个公司的立命之本。作为一家公司来看，肯定要先有质才有量，这是为什么我们会强调数据模态要更丰富的逻辑。

不然光有量没有质，那大概率也不会成为一家大公司，或者你很难成为一个行业领先的公司。

天南：你们同时接触国内外的客户，在对数据的理解上，看到了哪些不同？

朱雁鸣：我接触的一些海外团队，会往任务和场景下面再看一层。除了场景和任务的多样性，还会关注动作的多样性、标注的多样性。

训练时到底严格控制动作，还是控制结果，也会影响数据要求。另外，人的数据和机器人是什么关系，他们也会先放下某个具体本体的限制，再去思考这些数据能提供什么。

其实国外还有一点难能可贵，他们很多人创业不会考虑做大而全的东西，会更务实一些。

天南：随着大模型继续进入具身，数据的需求结构会发生什么变化？

朱雁鸣：我的判断是，高层理解和动作规划之间会继续融合（System 2 + System 1），底层运动控制可能长期存在。前者需要补上对空间和物理的理解，后者更关注运动和接触。

更长期，这些能力还得一起工作。比如端着盘子穿过餐馆，周围有人走动，需要避让，甚至会发生接触，就不能只学会把盘子拿起来。策略要根据环境和其他人的变化调整，对动作和物理信息的要求也会更完整。

1

尾声。

今天要和大家分享的内容，差不多就是这些。

和朱总的交流还是挺深入的，对我们内部理解数据这件事也提供了不少新的视角。

尤其是当你听到了不同角度的声音。比如算法、评测、供应商，他们是怎么看数据，未来会有哪些判断、分歧和共识。

这也是为什么我会和大家交流的原因，在嘈杂的时代，众说纷纭中抓到自己的理解。

很有趣。

点个“爱心”，再走 吧

标签： 手套 机器人 ego 客户端节点

推荐阅读

猜您喜欢