智能体一际遇没见过的工作就“卡壳”，，，，，，，主题问题其实是训练数据太“偏科”，，，，，，，场景局限、工作类型少。。。。。。。z6首页在高低文强化进建领域提出破局新规划：依附自动天生多样复杂工作，，，，，，，补上 “操练题”不够多样的短板；；；；；；；并提出高效解耦战术蒸馏框架，，，，，，，有效引发模型高低文强化进建能力。。。。。。。钻研还带来新启发：随着训练集工作种类增长，，，，，，，模型会从“死记答案”转向“当场解题”以及“学会若何进建”；；；；；；；评估在线进建智能体也得换思路，，，，，，，要看在盛开世界工作中的长高低文阐发，，，，，，，而非封关工作集上的零样本能力。。。。。。。

• 泛化性不及？？？？？？本原在于“操练题”不够用 。。。。。。。“给智能体1000种工作，，，，，，，它能学好1000个；；；；；；；换一种新工作，，，，，，，立马‘惊惶失措’。。。。。。。」剽是当前大模型、具身智能领域普遍存在的困境。。。。。。。目前训练智能体基座模型的普遍逻辑是依附规模取胜，，，，，，，通过富集海量训练数据来优化模型。。。。。。。然而，，，，，，，这类数据通常拥有很强的场景属性，，，，，，，好比导航工作和活动节造工作的数据散布很难有沉叠，，，，，，，它们覆盖的领域是离散且有限的。。。。。。；；；；；；；痪浠八担，，，，，想要智能体具备跨工作、跨场景的泛化能力，，，，，，，除了数据量要大，，，，，，，更必要数据类型足够多样。。。。。。。

• “自动出题” 解决 “死记硬背” 问题：让模型把握进建步骤。。。。。。。智能体的进建过程堪比学生备考：想考高分，，，，，，，既要有足量的习题，，，，，，，又要预防沉复刷题导致的“思想固化”；；；；；；；与其记住某路题的解法，，，，，，，更沉要的是学会若何分析标题、见招拆招。。。。。。。论文提出“AnyMDP”工作集，，，，，，， 基于马尔可夫链构建盛开的强化进建工作集，，，，，，，通过齐全随机天生与筛选机造，，，，，，，既保留了工作之间的多样性，，，，，，，也保障了问题的难度和挑战性。。。。。。。尝试了局批注，，，，，，，在训练数据量一样的情况下，，，，，，，随着工作种类从100种增长到10万多种，，，，，，，基座模型在未知工作上的泛化能力逐步加强。。。。。。。 这注明，，，，，，，要使智能体从死记硬背的权沉进建模式（In-Weight Learning，，，，，，，IWL）转变为矫捷使用高低文进建（In-Context Learning，，，，，，，ICL），，，，，，，工作的数量和规模至关沉要。。。。。。。

  

• 复杂高低文推理只能通过昂贵的强化进建引发？？？？？？提出代替强化进建的解耦合战术蒸馏（Decoupled Policy Distillation，，，，，，，DPD）规划 。。。。。。。论文提出了多用处的高低文强化进建（ICRL）算法框架，，，，，，，除了训练规模涉及上百亿Token，，，，，，，序列更是达到了数十万序列长度。。。。。。。ICRL的引发通常必要依赖强化进建预训练自身，，，，，，，效能极低。。。。。。。利用“自动出题”的“答案已知”的特点，，，，，，，文章提出相识耦战术蒸馏规划，，，，，，，不必要强化进建，，，，，，，只需在随机扰动的轨迹上逐帧提供领导，，，，，，，机能显著好于其他战术蒸馏步骤。。。。。。。

  

• 单个基座模型不仅能进行在线强化进建，，，，，，，还能凭据提醒自主切换到离线强化进建或仿照进建，，，，，，，从而实现高度矫捷的自主进建。。。。。。。传统强化进建通常必要为每种进建方式设计分歧的指标函数，，，，，，，而该模型在多种进建模式下都能达到甚至超过传统步骤的成效。。。。。。。这使得智能体可能齐全凭据高低文自主选择进建模式，，，，，，，极大地扩大了其通用性潜力。。。。。。。

  
• 迈向规；；；；；；；那短捉ǎ╪ested learning）和学会若何进建（learning to learn）。。。。。。。嵌套进建的性质是训练模型不仅是为了影象特定的知识，，，，，，，更是为了获得进建能力自身。。。。。。。z6首页的钻研甚至批注，，，，，，，训练数据的绝对正确性不定是关键，，，，，，，数据的长度，，，，，，，序列内陆续性和序列间多样性可能更为沉要。。。。。。。即便选取异常随机的环境工作和大量不正确的合成数据，，，，，，，模型也可能通过把握进建能力，，，，，，，在真实工作中通过经验沉新把握正确的知识。。。。。。。该工作还证明，，，，，，，线性把稳力模型可能轻松实现对数十万长度序列的高低文进建，，，，，，，这有望极大地扩大高低文进建的能力天堑。。。。。。。

论文链接：https://arxiv.org/abs/2502.02869

有关代码：https://github.com/airs-cuhk/airsoul/tree/main/projects/OmniRL