这项由西湖大学、浙江大学、清华大学、香港科技大学（广州）以及北京智源东谈主工智能考虑院连结开展的考虑，于2026年5月发表在预印本平台arXiv上，论文编号为arXiv:2605.10903。感敬爱的读者不错通过这个编号检索到完竣原文。

机器东谈主在现在社会越来越常见，从工场活水线到病院手术室，再到家庭管事，东谈主们对机器东谈主的期待也越来越高。但有一个令考虑者头疼的问题遥远悬而未决：那些经过大限制西席的"智谋"机器东谈主，在面对新的具体任务时，通常阐发得令东谈主失望——它们不仅学得慢，或然以至不如从零起初西席的专用机器东谈主。

这就好比培养了一个博览群书、博物多闻的通才，收场他去应聘一份专科使命时，却比一个只专注学这一门本领的学徒阐发还差。这种反常表象背后的根源，以及如何系统性地责罚它，恰是这篇论文所要探讨的中枢问题。

考虑团队提议了一种名为"能力向量"（CapVector）的全新法子，其中枢念念想不错用一句话详细：与其让机器东谈主每次西席新任务时都重新起初积聚能力，不如事前把那些贵重的通用能力"刻进"机器东谈主的基因里，让它天生就具备这些才能。代码、模子权重以及演示网站均已公开，考虑效果向统共这个词社区开放使用。

一、机器东谈主学习濒临的简直逆境

要认识这项考虑的真谛，需要先弄了了当代机器东谈主是怎么被"教化"干活的。

面前起初进的机器东谈主系统往往叫作念"视觉-言语-动作模子"（VLA），这类模子不错认识图像、听懂言语辅导，并将两者连续起来放手机器东谈主的肢体动作。西席这么一个模子，需要两个阶段：第一个阶段叫"预西席"，奢华大都揣测资源和时间，用海量的机器东谈主操作数据西席模子建设基础领会；第二个阶段叫"微调"，用一丝针对特定任务的演示数据，让模子学会完成具体使命，比如捏取某种零件、摆放某类物品。

平淡的逻辑是：预西席打好地基，微调只需在上头盖屋子，应该既快又好。相关词现实通常令东谈主不振。大都考虑发现，只是采集一丝演示数据、进行圭臬的微调（学术上叫"监督微调"，SFT），往往不及以让模子在复杂任务上快速达到优秀水平，以至或然候不如特地为该任务重新西席的模子。

为了险峻这个瓶颈，考虑界提议了一类"带援手指标的微调"法子。这类法子的念念路是：在西席机器东谈主完成具体任务的同期，额外给它嘱托一些"援手功课"，比如要求它同期学会认识三维空间结构，或者考验它的多模态推理能力。这就像是给一个学徒除了教他干活，还同期让他练想法、练逻辑念念维。实考阐述，这类法子如实有用：模子不仅任务完成得更好，还学得更快，需要的西席轮次大幅减少。

但问题随之而来。这些援手西席需要额外的揣测量，或然多出快要三成的揣测支拨和接近两成的显存占用。跟着任务数目加多和数据限制扩大，这种额外职守会越来越难以承受。于是，考虑团队提议了一个关节问题：有莫得主张把援手西席带来的自制"预先储存"起来，让模子在进行普通微调时自然就能享受到这些自制，而不消每次都付出额外代价？

二、从"数学减法"中提真金不怕火出能力的精华

考虑团队的中枢瞻念察来自一个简单的数学直观。

任何一个模子，都不错用一组数字来完竣描画——这组数字称为"参数"，不错认识成模子的"神经齐集权重"，是它顾虑学问和技巧的载体。当模子从"原始情状"经过西席酿成"西席后情状"，参数会发生变化。这个变化量，就像是西席过程在模子身上留住的"思绪"。

考虑团队的关节假定是：当一个模子经过"带援手指标的微调"之后，它参数的变化不错被分红两部分——一部分是特地用来学习现时具体任务的变化，另一部分是援手指标带来的通用能力晋升。这两部分不错被分歧开来，相互孤独。

考证这个假定的法子突如其来地浅近。对相似一组西席数据，用两种神志分别西席兼并个预西席模子：一种是普通微调，一种是带援手指标的微调。两种神志西席出来的模子，在学习具体任务动作方面的变化应该基本相通（因为任务数据一样）；而两者参数之间的相反，就主要代表援手指标带来的那部分通用能力晋升。

把这个相反单独提真金不怕火出来，就得到了"能力向量"（CapVector）。用数学言语来说，如若用字母θ_ft代表普通微调后的模子参数，θ_ao代表带援手指标微调后的模子参数，那么能力向量γ_ao就等于θ_ao减去θ_ft。

提真金不怕火出能力向量之后，把它加回到原始的预西席模子参数上，就得到了一个"能力增强版的元模子"（metamodel）。这个元模子既莫得经过任何具体任务的特地西席，却自然地佩带了援手西席所赋予的通用能力。而后，用这个元模子行为起点，只需进行普通的圭臬微调，就能享受到蓝本需要援手西席才能得到的效果。

为了直不雅认识，不错将其类比为基因工程：考虑东谈主员当先在一小批实验个体身上实施了一套复杂的强化西席，提真金不怕火出这套西席赋予个体的遗传改善；然后把这份遗传改善径直"写入"统共后代的基因，让后代们天生就具备这种上风，无需重迭经验崇高的强化西席过程。

三、给元模子打上"防淡忘补丁"

只是把能力向量合并进预西席模子还不够。问题在于：当模子而后用普通微调学习新任务时，西席过程会调整模子参数，而这种调整可能会把之前注入的通用能力给"袒护"掉，导致能力退化。

这就像是你花了温暖气学会了一项才艺，但随后为了学习另一门十足不同的技巧，旧的才艺从容萧索淡忘了。

为了退守这种淡忘，考虑团队引入了一个轻量级的"正交正则化亏本"。听起来很复杂，中枢念念想其实很朴素：在西席新任务时，要求参数的更新地点尽量与照旧注入的能力向量保持"垂直"——在数学上叫作念正交。垂直意味着两个地点相互孤独、互不侵略，就像东西地点的行走不会影响南朔地点的进展。这么，学习新任务的参数变化就不会冲刷掉能力向量所佩带的通用能力。

最终的西席亏本由两部分构成：一部分是完成具体任务动作所需的圭臬亏本，另一部分便是这个新加入的正交亏本，通过一个权重统共λ来补救两者的比重。实验标明，λ取1e-4（也便是万分之一）时效果最好。

在使用LoRA这类参数高效微调技术时（LoRA是一种只西席一丝参数的轻量化法子，合适显存有限的场景），正交亏本只需揣测LoRA矩阵中的A矩阵，因为A矩阵代表参数更新的地点，B矩阵只是对地点的线性加权统共，不影响地点的孤独性。

这个正交亏本引入的额外揣测代价不错忽略不计：实测仅加多约0.3亿次浮点运算（比较基础西席的17.9万亿次，增幅不及0.002%），显存额外占用约0.5GB（比较基础62.8GB，增幅不及0.8%）。比较之下，援手西席法子自己需要额外加多5万亿次浮点运算（增幅约28%）和10.9GB显存（增幅约17%）。两者的支拨差距格外悬殊。

四、在仿确切验室里考证：既快又好

考虑团队在两个圭臬的机器东谈主仿真测试平台上进行了大都实验。

第一个平台是LIBERO，这是机器东谈主学习领域泛泛使用的基准测试，包含四类任务套件：波及空间位置关系的Spatial任务、波及物体识别的Object任务、波及指标导向的Goal任务，以及波及长序列操作的Long任务，每类10个具体任务，共40个任务。第二个平台是RoboTwin2.0，这是一个专注于双臂互助操作的测试平台，包含各种缜密操作任务，如翻转开关、传递物品、摆放鞋子等。

实验中采用了三种代表性的预西席VLA模子行为基础：OpenVLA-OFT（一种基于自追想架构的模子）、StarVLA（一种接管流匹配架构的模子）和π0.5（另一种流匹配架构的先进模子）。援手西席法子例采用了两种：SpatialForcing（通过对王人视觉特征与三维几何默示来增强空间感知能力）和LaRA-VLA（通过隐式链式念念维推理来增强长程筹算能力）。

在LIBERO平台上，以OpenVLA-OFT为基础、SpatialForcing为援手西席法子的实验最为详备。收场呈现出一幅领悟的图景：在仅西席5000步这种极少西席量的情况下，普通微调的平均见效力为82.1%，而援手西席的SpatialForcing达到87.5%，CapVector法子（使用元模子加正交亏本的普通微调）则达到91.7%，彰着超越了两者。西席一个完竣轮次（1Epoch）后，差距陆续保持：普通微调90.9%，SpatialForcing95.2%，CapVector96.5%。在西席150000步（即充分西席）的情况下，普通微调92.7%，SpatialForcing96.9%，CapVector97.1%，仍然保持最优。

特别值得心境的是正交亏本的作用。如若只使用元模子进行普通微调而不加正交亏本，在西席要领少的时候（5k步、1epoch、8epochs）还能陆续优于SpatialForcing；但到了150k步这种充分西席的阶段，九游体育得益下滑到96.2%，低于SpatialForcing的96.9%。这证据在长时间西席的情况下，已注入的能力如实会被袒护磨损，而正交亏本能有用远离这种退化，使最终得益保持在最优水平。

在StarVLA模子上，将LaRA-VLA的援手西席能力向量注入后，CapVector在LIBERO四个任务套件上的平均见效力为97.1%，优于StarVLA基础微调的94.5%，接近LaRA-VLA援手西席的97.9%。这证据CapVector不仅适用于空间感知类能力，关于多模态推理类能力相似有用。关于π0.5这种双组件架构的模子（包含视觉言语骨干和动作推行头两个部分），实验还分别测试了只合并视觉言语骨干参数、以及同期合并视觉言语骨干和动作推行头参数两种决策，收场显现两者都优于基础微调，而同期合并两部分参数的效果略好。

五、越过领域领域：能力不错"空运"到目生地方

一个自相关词然的疑问是：能力向量是否具有普适性？它是不是只在提真金不怕火它的那类任务上有用，换了一个十足不同的场景就失灵了？

考虑团队特地想象了跨领域转移实验。具体作念法是：用LIBERO的数据提真金不怕火能力向量（能力提真金不怕火阶段），然后把这个能力向量注入预西席模子，再用十足不同的RoboTwin2.0平台的数据进行微调（下流任务阶段），两个平台的视觉格调、物体类型、操作内容均有较大相反。

收场格外有劝服力。以OpenVLA-OFT为基础，在RoboTwin2.0的10个任务上，普通微调的平均见效力仅有6.7%；SpatialForcing援手西席（即蓝本需要崇高揣测代价的决策）达到33.1%；而使用从LIBERO-Spatial提真金不怕火的能力向量构建元模子、再进行普通微调的CapVector，达到了31.8%，险些与SpatialForcing持平，同期比普通微调高出接近五倍。

反地点的实验相似缔造：用RoboTwin2.0的任务数据提真金不怕火能力向量，注入到模子后，在LIBERO-Long（长序列任务）上进行微调，见效力相似有彰着晋升。

这个收场从根底上陈述了"能力向量是否任务无关"这个问题——谜底是笃定的。能力向量所佩带的是抽象层面的通用感知能力（比如对空间几何联系的认识、对多模态信息的整合推理），而不是针对特定任务场景的专用学问，因此它能越过具体任务和数据分散的领域，在目生的新场景中依然知道作用。

六、并非统共西席数据都能提真金不怕火出好的能力向量

考虑团队莫得停步于考证CapVector有用，还进一步探究了什么样的数据条目才能提真金不怕火出高质地的能力向量。这部分考虑揭示了两个值得深念念的规矩。

第一个规矩：数据万般性越高，提真金不怕火出的能力向量质地越高。考虑团队对比了RoboTwin2.0平台中两类不同布景建立的任务数据：一类是布景固定、场景单一的干净布景数据；另一类是布景当场化、每个任务会当场呈现多达一万种不同视觉环境的当场布景数据。在数据量和任务数目相通的前提下，使用当场布景数据提真金不怕火出的能力向量，在跨领域转移到LIBERO-Long后，见效力彰着高于干净布景数据提真金不怕火的版块。

这背后的原因在于：当模子在面对海量不同的视觉布景时，它被动学会了更骨子、更抽象的空间关系，而不是依赖特定的布景纹理或颜色。这种更深层的视觉认识随后被凝结进能力向量，转移到新环境时当然更有稳健力。用烹调来类比：用来自多个国度、多种烹调格调提真金不怕火出的调味精华，比只从单一菜系中提真金不怕火的精华更能稳健万般口味。

第二个规矩：任务场景之间相反过大，反而会导致能力向量质地下滑。考虑团队在LIBERO平台上对比了三类西席集：LIBERO-Spatial（10个任务，1种布景），LIBERO-Long（10个任务，3种布景），LIBERO-90（90个任务，3种布景）。尽管LIBERO-90包含了最多任务，直观上应该提供最丰富的信息，但实验收场却相背：从LIBERO-90提真金不怕火的能力向量转移到RoboTwin2.0后见效力最低，以至接近莫得使用能力向量的基线水平。

考虑团队将这一表象归因于"捷径学习"：当90个任务中的布景和物体高度万般、相反显赫时，模子在援手西席过程中会被这些高方差的视觉特征所主导，优先学习这些名义相反，而不是更深层的空间感知骨子。打个比喻：如若你给一个学生90谈题，但每谈题的场景和表述都大相径庭，他可能花大都元气心灵应付名义相反，而没能建设起深层的解题法子论。换句话说，更多的任务数目如若带来了更高的任务间异质性，反而可颖悟扰中枢能力的提真金不怕火。因此，用于提真金不怕火能力向量的任务数据应当具有丰富的里面万般性（比如丰富的布景当场化），而不应当由相反极大的不同任务硬拼在全部。

七、走出仿真室：在确切机器东谈主上的现实考证

仿确切验再精彩，也只是数字游戏，机器东谈主考虑最终必须追想确切寰宇。考虑团队在工业场景中的确切机器东谈主平台上进行了考证，接管的是UR3工业机器东谈主，想象了模拟工场坐褥场景的一系列任务，包括将钢质套管移到托盘、将金属零件叠放到夹具台、从器具架拾取气动夹爪等。每个任务采集100组演示数据，模子在全部任务上连结西席，评估时每个任务运行100次来统计见效力。

能力向量十足来自仿真环境（LIBERO-Spatial的数据），但被径直哄骗于确切机器东谈主西席——这是典型的"仿真到现实"转移场景，亦然机器东谈主领域最难越过的鸿沟之一。

收场令东谈主饱读动。在统共任务上，使用CapVector法子的见效力都优于对应的基础模子，部分任务上以至越过了SpatialForcing援手西席的得益。以π0.5为基础的实验中，"拾取夹爪"任务的见效力从0.10（10%）晋升到了0.32（32%）；以OpenVLA-OFT为基础的实验中，"将钢质套管移到托盘"任务从0.24（24%）晋升到了0.38（38%）。这证据从仿真数据中提真金不怕火的空间感知能力向量所拿获的是基本的几何规矩，而不是仿真场景特地的视觉细节，因此大约越过仿真与现实的鸿沟，在确切物理寰宇中陆续知道作用。

更进一步，考虑团队将相通的能力向量权重共享给两组外部合作团队，让他们在各自实验室顶用两种十足不同的机器东谈主硬件平台上进行测试：ARXLift2是一种六摆脱度双臂机器东谈主，AgileXCobot是另一种六摆脱度双臂遥操作系统，两者的机械结构、传感器建立和指点特色均不相通。外部团队分别在这两种平台上用能力向量增强的元模子进行我方的微统一评估。

想象的四类任务涵盖了复杂的长序列操作：将右侧试管架上的试管次序盘曲到左侧试管架（需要链接精准操作4根试管）、洞开器具箱找到扳手、挪动电源排插并按下其按钮、擦抹盘子后将其摆放到指定位置。

在四项任务上，CapVector法子均优于对应的基础π0.5模子。特别是试管盘曲任务——这是四项中最考验长序列精准操作能力的任务，失败一步则全盘失败——基础模子见效力为36%，CapVector晋升到53%，晋升幅度接近一半。这标明能力向量的有用性不依赖于特定的机器东谈主硬件，具备确切的跨机型转移能力。

归根结底，这项考虑的真谛在于，它提供了一种看待机器东谈主西席的新角度：预西席模子不应该是一个白板，而应该是一个被全心优化过"基础体质"的起点。通过一次性地在小限制数据上提真金不怕火能力向量、合并到预西席参数中，就能让后续统共的圭臬微调过程都站在更高的起点上——不需要每次都付出崇高的援手西席代价，也不需要修改任何西席经由，只需提供一个更好的运行化起点。

这种念念路对机器东谈主技术的普及有着具体的现实真谛。面前，部署和微调先进机器东谈主模子需要大都的揣测资源，这是好多中微型工场、病院、科研机构难以承担的门槛。如若大约裁汰微调所需的揣测代价，同期保证以至晋升微调效果，这些场景就能以更低的资本享受到先进机器东谈主技术带来的便利。此外，能力向量不错像软件包一样共享——考虑团队照旧把西席好的能力向量公开拓布，任何使用相通基础模子的用户都不错径直下载使用，无需我方进行崇高的援手西席，径直获取晋升。

固然，这项考虑也坦承了一个彰着的领域：面前的使命仅袒护了监督微调这一西席范式，如安在强化学习西席过程中提真金不怕火和转移能力向量，还有待当年考虑探索。这是一派尚未垦荒的领地，亦然这条考虑阶梯最值得期待的蔓延地点。有敬爱长远考虑的读者不错通过arXiv:2605.10903检索完竣论文，以及通过论文中公布的GitHub仓库获取代码和模子权重。

Q&A

Q1：CapVector法子需要再行西席预西席模子自己吗？

A：不需要再行西席预西席模子。CapVector的作念法是：先用一丝任务数据分别进行普通微统一援手指标微调，提真金不怕火两者参数之差行为能力向量，再通过浅近的加法将能力向量合并进预西席模子，得到一个增强版的元模子。统共这个词过程不篡改原始预西席模子，揣测代价远小于援手西席法子自己。

Q2：能力向量是否只对特定型号的机器东谈主有用？

A：实验收场标明，能力向量具有跨机型转移能力。考虑团队将相通的能力向量共享给外部合作团队，在ARXLift2和AgileXCobot两种结构和传感器建立十足不同的双臂机器东谈主上均取得了优于基础模子的得益，部分任务见效力晋升幅度接近50%，证据能力向量拿获的是机型无关的通用感知能力。

Q3：提真金不怕火能力向量时，使用什么样的数据效果最好？

A：实验发现九游体育 - 九游9Game sports(中国)官网，数据里面万般性高的场景（比如布景当场化丰富）有助于提真金不怕火出高质地的能力向量；而由相反极大的不同任务硬拼在全部的数据集，反而会导致模子在西席中偷学名义特征、产生捷径学习，使能力向量质地着落。因此，提真金不怕火能力向量应优先采用任务相对聚焦、但场景万般性丰富（如布景、物体当场化进度高）的数据集。