苹果新 CEO 最近对自家 AI 的进度有点不满意。
据彭博社最新爆料，苹果 CEO 约翰·特努斯已经要求软件主管费德里吉加快 AI 开发节奏，拿出更大胆的方案，不能只满足于给 Siri 升级几个功能。
比起苹果 AI 落地的速度，苹果在研究上的进展其实超出很多的预期，其中就包括具身智能，苹果也在研究怎么让 AI 拥有一副能在现实世界行动的身体。
最近，苹果研究团队公开了一项名为 HALO 的人形机器人研究，直接用宇树 G1 当身体，后背绑着一台 Mac mini M4 Pro，里面运行的还是阿里的千问模型。
这套看起来有点混搭的系统，已经能够让机器人自主走进陌生家庭，找到椅子坐下、钻过桌底、推走箱子。在 6 个从未见过、没有提前扫描的真实环境里，360 次测试的平均成功率达到 91%。
图｜项目地址：https://apple-aiml-research.github.io/ml-halo/更有意思的是，苹果甚至没有专门找人遥控机器人来采集这些训练数据。
研究团队用几百张 GPU，在上千个虚拟家庭中批量生成机器人的动作和视觉数据，再把学到的技能直接搬进现实世界。
这意味着，人形机器人原本需要人类手把手教的动作，现在开始有机会靠算力来学习。
[demo-1080.mp4]
教机器人坐下，得先拍到它看见了什么
我们听到「去椅子上坐」，一般会先看椅子在哪儿，然后走过去，转身，再把身体的重量落到座面上。
对机器人来说，这个过程则需要一种很具体的训练数据。一条常见的数据样本里，既要有它听到的指令和第一视角画面，也要有完成任务时全身关节怎么动的记录。靠人遥操作采集，每多一条样本，就得再做一遍。
这种配对机器人的数据叫做「视觉-语言-动作 Vison-Language-Action，VLA」，和训练大语言模型可以使用互联网上取之不尽的文本不同，现实世界中并不存在已有的 VLA 语料数据。
每一条训练样本都必须有人专门制造出来：遥操作系统（如 ALOHA）、穿戴式动捕设备（如 UMI），产出一小时数据至少要消耗一小时人力，这也是人形机器人领域著名的「数据瓶颈」。
苹果的这篇论文 HALO 给出的方案是不采人数据了，全部用仿真合成。
研究团队用运动扩散模型生成全身动作，用程序化生成器（INFINIGEN）造出 1000 个虚拟家庭，客厅、办公室、卧室，家具疏密随机；再在 Isaac Sim 里把动作放进场景，渲染出机器人头部相机看到的第一视角画面，最后交给自动校验器筛掉穿模、滑脚的坏样本。
拿坐椅子来说，研究人员先指定走过去、转身、坐下这几个阶段，以及最后坐稳的姿势。动作生成模型据此给出多组轨迹，程序检查脚底有没有打滑、身体有没有穿过地面、关节有没有超过活动范围，再把筛过的动作和椅子摆进虚拟房间，避开周围的家具。
接下来，仿真器从机器人头部摄像头的位置把这一幕拍下来。团队在约 1000 个程序生成的房间里做出了 16.3 万条、近 300 小时的配对样本，数据规模只受算力限制。
论文里还提到，仅生成 SIT（坐下）一个技能的 5 万条样本，就用了 250 张 H100 GPU 跑了 9 个小时；全部 1178 个房间的生成用了约 300 张 GPU、26 个小时。
房间多样性本身也起了作用。研究团队保持动作数据量不变，只调整训练场景的数量。在 100 个没见过的模拟房间里，坐椅子的成功率从只用 1 个房间训练时的 43%，涨到用 100 个房间时的 81%。场景再加到 1000 个，成绩升到 84%。
苹果的机器人生态，跑在自己的芯片上
HALO 的自主性由三层结构协作完成，而且全部在机器人本体上运行，不联网、不遥控、不需要外置动捕。
- 编排器（约 0.5 Hz）：一个视觉语言模型（默认是本地运行的 Qwen3.6-35B-A3B）每两秒看一次画面，可以把「帮我把箱子推到桌子那边」这样的自由指令拆解成子任务序列；
- 运动生成器（3 Hz）：冻结的 Qwen3.5-2B VLM 编码器加上一个从零训练的扩散 Transformer 解码器，根据当前第一视角画面和子任务，生成未来 5 秒的全身运动计划，即机器人身上 29 个关节角度加骨盆位姿；
- 运动跟踪器（50 Hz）：结合深度视觉和本体感觉，把运动计划落地成真正的关节命令。它经过「特权专家训练 → 多教师蒸馏 → 多 critic 强化学习微调」三段式训练，是解决「物理问题」的最底层。
总的来说，上两层解决的是「语义」问题，即指令说的是哪把椅子；最底层解决的是，如何让屁股结结实实落在椅面上，还不能失去平衡。
这套编排有趣的地方是软硬件上的混搭，用的是宇树 Unitree G1 的身体，背上驮着一台 Mac mini M4 Pro（64GB 统一内存）负责思考，而机器人原厂 Jetson Orin NX 负责 50Hz 的实时控制，头部加装一颗 120° 广角相机，全身无线、无缆绳、无外接动捕。
而这台苹果机器人背上的大脑，即 Mac mini M4 Pro 里面，运动的又是是阿里开源的模型。当然，编排器也预留了调用云端前沿大模型的选项，离线时则完全依赖本地模型。
Mac mini 直接从机器人（宇树 G1）的内部电源总线取电 ，没有单独的电池或电源适配器。
真机运行时，背上的 Mac mini 会判断人说的是哪把椅子、眼下该先做什么。动作模型接过当前这一步，根据摄像头画面生成接下来 5 秒的全身动作，每秒更新约 3 次。
麻烦在于，机器人等新计划的时候，可能已经抬起了一只脚。要是新计划接上来就改掉脚的落点，动作就会突然一顿。
HALO 采用了运动生成器采用异步推理 + 训练时前缀约束，在生成新计划时，会保留旧计划里已经决定要做的半秒动作，只重算后面的 4.5 秒。这样，机器人可以继续走，新计划也能顺着已经开始的动作接下去。
再往下，G1 自带的 Jetson 芯片结合朝下看的深度相机和身体状态，每秒给 29 个关节更新 50 次位置目标。上层计划里的一句「坐下」，到这里才变成现实中膝盖该弯多少、躯干该怎么稳住的一连串动作。在模拟坐椅子测试里，如果去掉这一层的深度输入，成功率会从 84% 降到了 74%。
此前的同类工作大多在提前扫描过的房间里测试，而 HALO 的评测环境是 6 个训练中从未出现、也没有被扫描或建图过的真实家庭。
机器人在这些环境里完成了坐下、走向指定物体、侧身穿过半开的门、蹲下/爬行钻过桌底、推箱子 6 类任务，360 次物理试验的平均成功率是 91%，这和仿真里的 91% 完全一样。
把技能串成组合任务（如「钻过桌子→走向箱子→推箱子」）时，成功率降到约 70%。失败原因很有意思：上一个动作结束时机器人的朝向不对，下一个目标根本不在视野里，机器人被别的物体「带偏」了。但解决办法也很容易，论文里提到，加一个简单的「原地转圈找目标」的恢复行为就能缓解。
更厉害的是，在对照实验里，当训练场景从 1 个增加到 100 个，机器人成功率从 43% 飙升到 81%；再增加到 1000 个，达到 84%。
这不是苹果的第一次出手
虽然苹果 AI 多次跳票，但翻一翻苹果过去两年的公开论文，对具身智能的布局也逐渐有了清晰的路线：
- 2024 年 11 月，ARMOR（与 CMU 合作）：把 40 个低成本 ToF 雷达像皮肤一样铺满傅利叶 GR1 的双臂，解决人形机器人「看不见自己手臂」的遮挡难题，确立了第一视角机载感知的路线；
- 2025 年 1 月，ELEGNT：那台刷屏的皮克斯台灯机器人，探索「功能 + 表达」的运动设计，让机器人会点头、会靠近、会用灯光引导我们的注意力，这也是苹果对消费级机器人形态的思考；
- 2025 年 5 月，EgoDex 与 PH2D：用 Vision Pro 采集了 829 小时第一视角灵巧操作数据，并让人类教练戴着头显直接训练人形机器人。
HALO 看起来像是这条线短暂的收束，感知上继承了第一视角哲学，场景上瞄准了 ELEGNT 描绘的家庭，而在数据这个最关键的环节上，苹果这次放弃人力采集，押注仿真。
当然，距离真正能走进千家万户的人形机器人，HALO 还有很长一段路要走。
它现在能坐椅子、钻桌底、推箱子，但要让它收拾一间乱糟糟的卧室，或者从冰箱里拿出一瓶饮料，仍有大量技能需要学习。甚至每增加一项新技能，研究人员依然需要手动设计动作提示和关键帧。
不过，HALO 至少证明了一件事：人形机器人学习如何与真实世界互动，可以有一条更容易规模化的路径。
过去，想让机器人积累 300 小时的经验，就得有人陪着它练习、记录。如今，研究人员可以用几百张 GPU，在一天多的时间里生成同等时长的训练数据，再把这些经验交给一个从未踏进真实家庭的机器人。
更有意思的是，这次苹果甚至没有自己的机器人身体。宇树的 G1、阿里的千问、英伟达的 Jetson，再加上一台 Mac mini，就组成了这套可以自主感知和行动的系统。
当机器人训练开始越来越依赖算力，未来人形机器人行业的竞争，或许也会从谁的身体更灵活，延伸到谁能让机器人更快、更便宜地积累经验。
#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。