LeRobot 训练监控完整指南：WandB 指标追踪、Rerun 实时可视化与评估视频导出

LeRobot 训练监控完整指南WandB 指标追踪、Rerun 实时可视化与评估视频导出【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot策略训练一旦启动你通常只能在终端里翻 loss 数字机器人到底学没学会基本靠猜。本文覆盖 LeRobot 训练可视化的三个环节按 WandB 指标配置、Rerun 实时监控接入、评估视频导出与归档的顺序展开。LeRobot 训练监控能力全景LeRobot 把训练黑盒拆成三条可视化通路WandB 负责聚合训练指标并归档模型工件Rerun 负责遥操作与录制时的实时观测流评估视频则把策略在仿真环境里的真实执行过程录下来供事后回放。三者分别挂在训练主循环、控制循环脚本和评估函数上你不需要自己搭日志管道。能力解决的问题对应源码路径WandB 指标追踪loss、学习率、成功率等训练曲线无法直观对比src/lerobot/common/wandb_utils.pyRerun 实时可视化遥操作、录制时看不到传感器画面与关节动作src/lerobot/utils/visualization_utils.py评估视频录制策略在环境里执行得如何缺乏直观证据src/lerobot/scripts/lerobot_eval.py核心操作流程从 WandB 配置到评估视频导出三条通路都不需要改动训练代码本身调用点已内置在脚本里你只需要打开配置开关并理解各自的数据流向。配置 WandB 训练指标日志WandB 默认是关闭的启动训练后只有本地日志可看。打开它只需在lerobot-train命令上补几个参数可用的键值都在 src/lerobot/configs/default.py 的WandBConfig中定义。# 配置定义见 src/lerobot/configs/default.py 的 WandBConfig lerobot-train --policy.typeact --dataset.repo_id... \ --wandb.enabletrue \ --wandb.projectlerobot-training \ --wandb.entityyour-team \ --wandb.modeonline --wandb.add_tagstrue这一步完成后终端里会打印一条 run 链接。WandBLogger在 src/lerobot/common/wandb_utils.py 中实现enable、project、entity是最常用的三个键mode可选online、offline、disabledadd_tags开启后每个 run 会自动带上策略类型、seed、数据集名等标签方便事后筛选对比。接入 Rerun 实时数据流指标回答训练得好不好Rerun 回答机器人此刻在干什么。录制、遥操作与 rollout 脚本已集成init_visualization和log_visualization_data把 display mode 指定为rerun观测画面、标量关节值和动作指令就会实时推送到 Rerun 查看器。# src/lerobot/scripts/lerobot_record.py: 录制/遥操作控制循环 from lerobot.utils.visualization_utils import init_visualization, log_visualization_data init_visualization(rerun, session_namerecording) ... # 控制循环内每个时间步 log_visualization_data(rerun, observationobservation, actionaction)Rerun 后端实现在 src/lerobot/utils/rerun_visualization.py标量进时间序列视图摄像头画面自动从 CHW 转成 HWC 并独占一个空间视图单通道数组按深度图渲染。依赖rerun-sdk安装lerobot[viz]extra 后即可使用。导出评估视频并同步到 WandB当训练进入环境评估阶段你会注意到eval_policy_all除了统计成功率还会把前几个 episode 逐帧渲染成 mp4落在输出目录的eval子目录下WandBLogger.log_video再把其中一条上传到 WandB与该 step 的指标自动对齐。# src/lerobot/scripts/lerobot_train.py: env_eval 到达时触发 eval_info eval_policy_all( envseval_env, policy..., n_episodescfg.eval.n_episodes, videos_dircfg.output_dir / eval / fvideos_step_{step_id}, max_episodes_rendered4, ) if wandb_logger: wandb_logger.log_video(eval_info[overall][video_paths][0], step, modeeval)n_episodes控制每个任务的评估回合数max_episodes_rendered控制实际渲染成视频的 episode 上限默认取 4避免编码开销拖慢评估节奏。进阶技巧如果你需要横向对比多组超参数保持add_tags默认开启多个 run 会带上策略类型、seed、数据集名等标签在 WandB 里按 tag 筛选比按项目翻找快得多。一个比较省事的思路是训练机先跑--wandb.modeoffline日志缓存在本地目录训练结束后再统一同步断网环境也不会丢数据。如果 Rerun 推流在远程机器上卡顿可以给init_visualization传ip/port指向远端 server或在log_visualization_data里打开compress_images压缩图像降带宽。延伸阅读docs/source/il_robots.mdx在真实机器人遥操作与录制脚本中使用 Rerun 的完整示例src/lerobot/utils/visualization_utils.pyrerun / foxglove 两种可视化后端的统一分发入口examples/training/train_with_streaming.py流式训练场景下如何复用同一套日志配置下一次启动lerobot-train时不妨顺手把wandb.enable打开让指标、实时画面和评估视频三条通路同时工作起来。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考