HER目标重标记：破解强化学习稀疏奖励难题，把失败轨迹变成成功样本

1. 训练智能体最磨人的死局奖励稀疏到学不动1.1 稀疏奖励的本质一万次试错一万次零反馈做强化学习的朋友应该都有过这种体验盯着屏幕上的训练曲线它像心跳停止的病人一样在0附近横了一整晚。代码没bug环境没写错reward也没忘给智能体就是学不会。我第一次在机械臂抓取任务里被这个死局卡住的时候差点把锅甩给随机种子。后来我才意识到问题不在探索策略而在我们处理“失败样本”的态度——而Hindsight这套思路用一个极简单的改动把整个训练过程从绝望边缘拉了回来。先说清楚死局是怎么形成的。在目标条件任务goal-conditioned task里比如让机械臂把红色方块推到桌面上某个特定位置最直白的做法是“到了就给reward 1.0没到就给0”。表面上看这个设定合情合理但真正跑起来你会发现随机初始化的策略拿到非零奖励的概率低得吓人。以经典的FetchPush环境为例动作空间是4维连续向量每一步相当于在[-1, 1]区间里做多次采样再叠加环境动力学的不确定性。要让方块恰好停在目标点周围几厘米范围内随机采样的成功率往往低于0.1%。换句话说智能体平均要尝试上千次才可能碰巧吃到一次正奖励而这一千次尝试里有九百九十多次拿到的反馈是完全相同的——零。这里有个经常被忽略的致命细节当几乎所有样本的reward都是0时critic网络学出来的Q值函数基本就是个全零常函数actor的梯度方向完全被探索噪声主导。训练曲线当然不涨准确说是它正在0轴上做布朗运动。逻辑上你甚至没法区分“策略没在学”和“策略在乱学但学不动”。更尴尬的是有些轨迹明明已经把方块推过了目标点附近只差最后三五厘米没压上整个episode就被判定为失败这些轨迹蕴含的信息被一股脑丢弃了。1.2 传统解法为什么治标不治本面对稀疏奖励行业内第一反应通常是做奖励塑形reward shaping。把reward函数改成“离目标越近奖励越高”例如r -||state - goal||这样确实能给actor提供一个连续的梯度信号训练曲线也能动起来。但这是我踩过坑最多的一条路。首先是靠不靠谱的问题人为设计的距离度量往往和任务本质不一致。抓取任务里机械臂靠近物体不等于能抓好距离指标和真实的抓取成功之间存在严重偏置策略学到的是“靠近”而不是“抓住”。其次是安全性问题智能体会极其擅长钻奖励函数的漏洞。我亲眼见过一个在连续控制任务里训练出来的agent学会了在角落里高频振动因为在那里距离传感器的读数波动能产生最高的平均距离奖励——任务本质是移动目标它学的却是原地抖腿。这在行业里有个专门叫法reward hacking。另一种常见思路是课程学习curriculum learning先给简单目标再逐步过渡到困难目标。这个方法本身没毛病但你需要额外设计课程难度梯度每个阶段还要重新调参。在复杂接触性任务里难度怎么定义都是个开放问题更别提自动化课程生成又要引入一堆复杂机制。所以当时我卡在原地的主要原因不是“拿不到奖励”而是“不知道该从哪条路把拿不到奖励的问题绕过去”。直到我重新思考了一个反直觉的问题如果一条轨迹没有达成原定目标但它确实在过程中到达过某些有意义的中间状态那我们能不能把这条轨迹的“目标”直接改掉把它重写成另一条完全成功的学习样本1.3 一个反直觉的观察失败轨迹里全是“成功的经验”举个最直观的例子。机械臂想把红色方块推到位置A结果一路笨拙地把它推到了位置B附近。站在原目标A的视角看这当然是一条失败轨迹但如果你把目标从A改成B这条轨迹就变成了一段完美的成功示范——每一步动作都精确地把方块从起点带到了B。接下来我们再用这段“伪造的成功轨迹”去训练策略让它学习“如何把方块推到B”。关键问题来了这个知识能不能迁移到“把方块推到A”的任务里答案是大部分能。因为两种目标共享同一个状态空间、同一个动作空间、同一套环境动力学底层技能大量重叠。这个洞察就是Hindsight Experience ReplayHER的核心。它不要求智能体只在“被指定的正确目标”下学习而是把所有轨迹都和“实际达到的状态”做匹配把失败的探索直接转化为有效的教学。我第一次读到这个思路时愣了好一会儿如此简单的逻辑为什么之前没人告诉我因为大家的默认假设是“目标就是目标你没完成任务就是失败”。HER把这个假设彻底掀翻了——在现实世界里一次行动是否成功取决于你用什么参照系评价它。2. hindsight的破局点把失败轨迹重新包装成成功样本2.1 目标重标记的核心逻辑与技术直觉HER的核心操作只有三个字重标记relabeling。一份标准的goal-conditioned经验元组长这样(state, action, reward, next_state, goal, achieved_goal, done)。其中reward完全由goal决定r [||achieved_goal - goal|| threshold]。正常训练时这些元组被直接丢进replay buffer按原始goal学习。HER的做法则是在把一段轨迹写进buffer之前或者在采样时额外生成一批“替代目标”用替代目标重新计算reward和done然后把原始样本和替代样本一起送入buffer。于是同一个动作、同一个状态转移在buffer里可以同时以两种身份存在在原目标下它是失败样本在替代目标下它是成功样本。critic不会觉得矛盾因为这两个样本分属不同的目标actor读到的是“在这个状态下往某些方向转是有正收益的”reward信号的密度就这样被直接抬上去了。整个过程不需要人为设计连续奖励函数不需要课程表只需要把目标字段换掉重算一次。这一步之所以成立依赖一个被我反复验证的前提目标条件的策略网络本质上学习的是“当前状态期望目标”到动作的映射。对同一个状态来说目标从A换成B策略输出自然会不同。重标记的作用就是强制性地让网络意识到——通向B的这条动作轨迹是好的于是它有了更多可学习的正样本。这和人类“回头看发现自己当年尝试过的方向其实是对的只是当时衡量结果用的标准不对”是同一件事。2.2 数学上的等价性为什么重标记不会引入错误信号可能有人会担心把目标改掉这不是在欺骗网络吗奖励函数都是假的学出来的东西能信要回答这个问题得先把任务形式化。一个带目标条件的MDP它的转移是(s, a, r_g, s)其中r_g由目标g决定。如果每个episode开始前从目标分布p(g)中采样g这就是多目标任务。HER在收集完一条长度为T的轨迹后会选择一个或多个替代目标g且g必须是这条轨迹访问过的状态。这时我们用r_{g}重新标注轨迹得到额外的学习样本。关键在于替代目标是从轨迹中真实出现过的状态里选的。它不在地图之外不在不可达区域所以不存在“你要求智能体完成一个不可能任务然后白受惩罚”的情况。同时这个替代目标和原目标共享同一个状态空间、动作空间和转移概率矩阵。这意味着重标记后的样本和原始样本服从同一个动力学规律只是把“到达哪”这个标签换了一下。从贝叶斯的角度看你没有引入额外假设只是把一条真实轨迹重新解释成了另一个任务的成功示范。策略网络从中学到的“状态-动作”关联在物理上完全成立——它确实做到了从初始位置到达那个替代目标。这比人为造一个连续reward函数要干净得多。奖励塑形是往环境里塞外部知识一旦塞错就歪楼HER只是把环境本来就存在的信息换了个角度复用。2.3 四种重标记策略与效果对比论文里给出了四种替代目标的选取策略实际效果差距很大final用轨迹的最终状态作为替代目标整条轨迹都标成“成功到达终点”。episode从整条轨迹里随机抽一个状态作为替代目标。random从一个预先定义的随机状态集合里选目标不要求轨迹真的去过。future对轨迹中的每个时刻t从[t, T)区间随机选一个未来状态作为替代目标。我自己的实验里future是明显最稳的。原因是它有因果合理性用当前时刻之后的某个状态做目标意味着“从t时刻开始的一串动作把Agent带到了future_t那个状态”目标和动作存在因果链条而如果像episode策略那样随机抽过去的状态做目标就会出现“这个动作明明发生在目标之后却要为到达目标负责”的荒谬情形。final在长轨迹上对早期状态几乎没有任何有效信号因为终点离起点太远中间隔着大量步骤奖励无法回传到早段动作。random就更不稳定了你选的目标可能根本不可达重标记出来一堆噪声样本。我用一张表把这个对比整理一下策略目标来源优点缺点适用场景final轨迹终点状态实现最简单长轨迹早期状态学习信号弱短任务、目标接近初始分布episode整条轨迹随机状态覆盖范围大目标与动作因果弱中短轨迹random独立随机状态无需轨迹内容目标可能不可达噪声大几乎不推荐future当前位置之后的未来状态因果一致样本密度高采样逻辑稍复杂最推荐通用性最好3. 一步步搭建带目标重标记的训练回路3.1 环境与算法的选型逻辑先解决一个选型问题HER不是策略优化算法它本质上是数据增强方法必须配合off-policy算法使用。原因很直接HER要反复从历史buffer里抽取旧轨迹、重标记、再更新而on-policy算法如PPO每轮更新基于的是当前策略刚采样的数据旧轨迹重标记后拿来更新行为策略分布已经不匹配收益很低。所以我的推荐组合是HERSAC动作空间连续时尤其推荐如果更看重工程部署速度HERTD3也是常规选项。原论文用的是DDPG效果没得说但超参数敏感度偏高SAC能在稳定性和样本效率之间取得更好的平衡。环境选择上最经典的实验床是MuJoCo的Fetch系列。官方gym环境返回的observation结构很统一包含三块observation机械臂关节状态和速度、desired_goal当前episode目标、achieved_goal实际达到的位置。HER的所有实现都依赖这个三元结构这很重要如果你想把手头的自定义环境接进来第一步就是确保环境能同时输出desired_goal和achieved_goal否则重标记毫无抓手。为了方便理解下面我的示例用一个简化的二维点环境做说明状态state是(x, y)目标goal是(gx, gy)动作是速度增量环境直接返回achieved_goal new (x, y)。逻辑和Fetch完全一致只是去掉了机器人动力学复杂度。3.2 轨迹缓冲区与目标重标记的实现实现HER时buffer要按整条episode组织而不是存单步transition。因为重标记需要知道这段轨迹访问过的所有状态只有把轨迹完整存下来才能从中挑选替代目标。下面这个示例代码把核心逻辑写得很清楚了from collections import deque import numpy as np class EpisodeBuffer: def __init__(self, capacity): self.episodes deque(maxlencapacity) self.transitions [] # 平坦化用于随机采样 def add_episode(self, episode): self.episodes.append(episode) self.transitions.extend(episode) def sample_batch(self, batch_size): idx np.random.choice(len(self.transitions), batch_size) return [self.transitions[i] for i in idx]然后是实现future策略重标记的函数def relabel_with_future(episode, k4, threshold0.1): 基于future策略生成额外样本。 对轨迹中每个时间步t从[t, T)随机挑一个future状态作为替代目标。 返回增广后的轨迹样本列表。 T len(episode) augmented [] # 保留原始目标下的全部样本 for trans in episode: augmented.append(trans) # 额外生成k组替代目标样本 for _ in range(k): t np.random.randint(0, T) future_t np.random.randint(t, T) state episode[t][state] action episode[t][action] next_state episode[t][next_state] achieved episode[t][achieved_goal] # 用future_t时刻实际达到的状态作为新目标 new_goal episode[future_t][achieved_goal] dist np.linalg.norm(np.array(achieved) - np.array(new_goal)) new_reward 1.0 if dist threshold else 0.0 new_done (new_reward 1.0) augmented.append({ state: state, action: action, reward: new_reward, next_state: next_state, goal: new_goal, achieved_goal: achieved, done: new_done }) return augmented这段代码里最需要注意的就是新目标取的是episode[future_t][achieved_goal]必须是轨迹中真实到达过的状态。这个细节决定了重标记样本的可靠性千万不能随手从状态空间里瞎抽一个向量来当目标否则你就是在给策略灌噪声。3.3 训练主循环结构有了缓冲区和重标记函数训练主循环就顺理成章了for episode_idx in range(total_episodes): obs env.reset() episode_data [] for step in range(max_steps): action policy.select_action(obs[observation], obs[desired_goal]) next_obs, reward, done, info env.step(action) episode_data.append({ state: obs[observation], action: action, reward: reward, next_state: next_obs[observation], goal: obs[desired_goal], achieved_goal: next_obs[achieved_goal], done: done }) obs next_obs if done: break augmented_data relabel_with_future(episode_data, k4) buffer.add_episode(augmented_data) if len(buffer.transitions) warmup_steps: batch buffer.sample_batch(batch_size) update_critic_and_actor(batch)有一个关键点我想单独强调重标记后的替代样本要和原始轨迹一起放进buffer不要只放替代样本。原始目标下的失败样本同样有价值它负责告诉critic“这个goal不可达时reward确实是0”如果失去这部分critic会对所有目标都过度乐观表现出一种虚高的Q值。我自己试过只放hindsight样本训练曲线前期涨得快后期直接崩原理就在这儿。3.4 关键超参数选择与理由k每个episode额外生成的替代样本数。论文里k4是综合表现最稳的设置。一条轨迹通常产生T个原始样本重标记后变成(k1)T个。k太小正样本密度提不上去k太大buffer里替代样本过多原始目标信息被严重稀释。我从1试到8k4在大多数环境下是性价比峰值。hindsight采样比例实践中我倾向把“使用替代目标的样本”占总batch的比例控制在80%左右。可以通过上面的按episode扩充天然实现也可以用采样器按比例从原始/替代池里各抽一部分。比例过低重标记作用不明显比例过高原始目标信息会被淹没。threshold距离阈值不要用绝对距离0Fetch任务一般取0.05平面任务根据坐标尺度取0.1附近。阈值过小重标记样本里的正奖励依然稀疏等于白做阈值过大一个模棱两可的位置会被判成成功策略学出来的控制精度远达不到环境要求。网络结构HER本质上是把多个目标的学习任务混合在同一个网络里网络容量要够用。我最低推荐256x256的全连接MLP。容量不够时loss在降但成功率震荡而且cant resolve目标之间的干扰。4. 跑通实验之后我踩过的三个最隐蔽的坑4.1 坑一替代目标与当前策略的分布偏差过大先说这个我印象最深的坑。第一次用future策略时我注意到一个诡异现象训练中期成功率明明已经爬到80%了再往下跑反而掉回60%。排查了好久最后发现问题出在替代目标的“来源污染”上。我的buffer里存着早期策略收集的大量旧轨迹这些轨迹访问过的状态分布和当前策略能到达的状态分布差得很远。我虽然用的是future策略但在采样替代目标时仍然可能从很久以前的episode里抽出那些已经被策略“淘汰”的老目标。这些替代目标在旧分布下合法在新分布下却近乎不可达生成的重标记样本就成了critic外推区域的噪声。解决办法有两个一是严格按future策略执行替代目标必须来自同一条轨迹中当前时刻之后的真实状态而不是全局乱抽二是给buffer里的episode加一个权重优先采样最近收集的轨迹让训练数据尽量贴近当前策略的访问分布。我后来还专门做了个验证实验把buffer容量从512个episode缩小到128个淘汰旧数据的速度加快成功率曲线反而更稳了。4.2 坑二距离阈值设置不合理正样本依然稀疏或失真第二个坑出在threshold上。我最初为了追求“高精度控制”把成功判定阈值设成了0.01在FetchPush环境里机械臂末端要达到这个精度相当困难。于是HER重标记之后正样本所占比例依然很低稀疏奖励问题只是从“一万次试一次”变成了“一千次试一次”治标不治本。把阈值放宽到0.05之后训练成功率肉眼可见地上升。但别急着欢呼我把阈值调到0.2又试了一次曲线确实更好看了实际部署时机械臂却根本达不到环境标准里“距离小于0.05才算成功”的要求——因为buffer里的reward全用0.2判定策略学会的是“大概到位”而不是“精确到位”。这里我总结出一个原则buffer里的奖励判定阈值必须和环境真正的成功判定保持一致。如果行为不命中真实成功条件重标记样本就是虚假的策略会被带偏。你可以用更小的阈值来提精度但要保证这个阈值和你想学会的控制指标一致。4.3 坑三多目标混合训练把网络容量撑爆第三个坑也是最难定位的坑网络容量。HER把几十个目标的学习任务混在同一套网络参数里这本质上是在做一个隐式的多任务学习。我一开始用的网络很小只有两层、每层64个神经元结果训练时loss下降得很平滑成功率曲线却剧烈震荡完全达不到预期。起初我以为是学习率问题调了好几次没有改善后来怀疑是buffer混乱也排查过。最后换了256x256的网络结构并把状态向量和目标向量拼接后做了归一化处理曲线才稳定下来。这也是我后来一直强调的HER的网络容量需求远高于普通单目标强化学习因为网络内部要同时逼近多个目标下的Q函数。目标向量进入网络前建议做归一化避免某个维度的量纲直接主导第一层梯度。4.4 如何判断训练是否真的健康除了会看成功率曲线之外我建议每轮额外记录两个指标重标记样本的reward均值。这个数值反映的是“增广后的正样本密度”。它应该随训练逐步上升如果长期低于0.1说明重标记没起到增加正样本的作用大概率是threshold太小或k值不够。原始目标下的reward均值。这个指标比成功率更早暴露问题且方向必须和成功率一致。如果原始reward在上升、成功率却在下降通常意味着策略把目标学偏了回看第4.1和第4.2节排查。最后说一句关于随机种子的体会HER对种子的敏感度比普通强化学习低一些但单次运行仍然可能存在明显波动。要对比实验结果固定seed跑3个以上取中位数别拿单次曲线下结论。5. 离开机器人实验台hindsight的逻辑还能迁移到哪里5.1 强化学习内部数据复用与自动课程HER这套“目标重标记”的思路后来被大量后续工作吸收几乎成了机器人强化学习管道的标配。它不再只是一个算法更是一种数据使用哲学旧轨迹不会被浪费哪怕它没有达成预设目标只要换个标签就能变成新任务的训练语料。这种自动生成课程和数据复用的思想还催生了不少变体工作。比如有人把重标记和优先级采样结合让专家轨迹能够反复被学习也有人把它扩展到多智能体场景中把队友行为当成可重标记的“目标”。领域内现在常说的“利用失败数据做进一步优化”基本都可以溯源到HER这里。5.2 产品迭代与项目复盘中的“事后目标”跳出代码HER的思维模式在工程项目复盘里也非常好用。我参与技术团队复盘时就发现大家习惯性只看一个指标原定目标有没有达成。达不成整段过程就被判定为失败过程中沉淀的模块、验证过的思路、积攒的候选方案全部划到“沉没成本”那一栏。如果套用HER的逻辑可以问问这次迭代虽然没有把“指标A”做上去但过程中验证了模块B的可行路径那如果把“验证模块B”定为本次目标这次迭代成功吗大概率是成功的。于是团队不会把精力浪费在自我怀疑上而是把这段探索标记成有效产出并把模块B的经验迁移到下一次设计里。这个转变和机器学习里的重标记一样前提是必须伴随行动变化。产品团队确认模块B可行之后要么把它正式立项要么把关键结论写进团队知识库总之要让这次探索真正影响后续决策而不是开完会就忘了。5.3 用后见之明但别掉进后见之明偏差的陷阱这里必须警惕一个双关陷阱。“Hindsight”在英文里还有一层意思叫“事后聪明”心理学上的“hindsight bias”指的是事情发生后人们总觉得自己早就预料到了一切。HER很容易被误读成“把失败强行说成成功”的自我安慰要是真这么理解那就完全跑偏了。区分“健康的重新标记”和“自欺欺人的事后合理化”关键就一条重标记之后策略有没有更新。在机器学习里旧轨迹被新目标重标记后policy确实会发生改变下次面对类似状态输出的动作不再一样。在真实团队里如果把一个失败项目改标成“成功实验”之后没有任何流程、方法、能力上的变化那只是在给自己找台阶下不是在学习。HER教会我的一件事是任何一次失败都同时是某种意义上的成功但前提是你能从“花了代价的探索”里提取出可迁移的经验并且让这些经验真的改变下一次行动。这也是我在所有实验和项目里始终提醒自己的标准。最后再分享一点个人体会。我后来训练智能体时看到一条轨迹偏离了目标第一反应已经不是“丢掉这组数据”而是问一句它在什么目标下是成功的这个问题放在工作和生活里同样通用。遇到没达成的项目先别急着判零把“原目标”替换成“实际推进出的价值”再看一眼往往能发现那条轨迹并不是白跑的。真正掌握这套思维比记住k4这个参数有价值得多——参数会随任务变化但“重新定义参照系来盘活资源”的方法论可以陪你走很久。