LeRobot 机器人学习实战指南：从采集数据到训练策略的完整路径

LeRobot 机器人学习实战指南从采集数据到训练策略的完整路径【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 是 Hugging Face 开源的机器人学习框架用 PyTorch 实现了数据采集、策略训练和真机部署的一体化流程。它提供统一的硬件控制接口、标准的数据集格式以及 ACT、Pi0、SmolVLA 等可直接训练的策略模型适合想在自己机械臂上跑通机器人学习的开发者、学生和研究者。什么时候值得用 LeRobot判断是否值得上手可以对照这几个具体场景你有一台低成本机械臂如 SO100、OpenARM想让它学会抓取推物这类任务但不想自己写底层电机协议。LeRobot 内置了 SO100、LeKiwi、Koch、Reachy2、Unitree G1 等十余种机器人的驱动接上硬件即可用同一套 API 控制。你需要标准化的机器人数据集。LeRobotDataset 格式把视觉信息存成 MP4 视频、把状态和动作存成 Parquet 文件支持流式读取和可视化避免各团队数据格式互不兼容的问题。你想对比或复现主流策略。框架内置模仿学习ACT、Diffusion、VQ-BeT、强化学习HIL-SERL、TDMPC和视觉-语言-动作模型Pi0、Pi0Fast、SmolVLA、XVLA 等全部是纯 PyTorch 实现训练与评估走同一套脚本。你需要在训练后做验证。除了真机回放框架支持 LIBERO、MetaWorld 等仿真基准lerobot-eval一条命令即可跑评估。你的硬件不在官方支持列表里。框架通过插件机制扩展安装以lerobot_robot_、lerobot_teleoperator_、lerobot_camera_为前缀的包后对应设备会出现在 CLI 的type参数中无需改框架代码。按任务拆解硬件连接、数据采集、模型训练与评估接硬件。每种机器人对应一个Robot子类控制逻辑分三步connect()连接、get_observation()读取观测、send_action()发送动作。硬件差异被封装在各自目录中位于src/lerobot/robots/上层代码不需要关心串口还是 CAN 总线。采数据。lerobot-record配合遥操作设备主从臂、手柄、键盘、手机实时录制操作直接生成标准 LeRobotDataset。采集完成后可以用lerobot-dataset-viz回放检查轨迹质量用lerobot-edit-dataset删除坏掉的 episode 或拆分数据集。选模型并训练。策略实现在src/lerobot/policies/下按类别选择模仿学习ACT、Diffusion Policy、VQ-BeT、Multitask DiT——数据量中等时通常从这里起步强化学习HIL-SERL人类在环的在线 RL、TDMPC模型预测控制VLA 模型Pi0、Pi0.5、GR00T N1.7、SmolVLA、EO-1 等适合需要语言指令驱动的任务。做评估。lerobot-eval统一入口支持仿真--env.typelibero和真机两种模式训练前后的成功率对比就是最直接的指标。LeRobot 环境搭建与最小验证先确认三个前提Python 3.12 或更高版本、可用的 PyTorch2.10、以及视频解码所需的 ffmpegmacOS Intel、Linux ARM 等平台会自动回退到 pyav可跳过。建议使用 conda 或 venv 建立独立环境避免与系统包冲突。安装与验证只需两条命令pip install lerobot lerobot-infolerobot-info会打印版本与运行环境信息能正常输出即说明核心依赖就位。如果你需要参与开发可以克隆源码到本地git clone https://gitcode.com/GitHub_Trending/le/lerobot安装细节含各平台差异、WSL 下 evdev 依赖、Jetson 适配在 安装文档 中有完整说明。跑通最小链路的建议顺序先验证lerobot-info再连一次机器人并做一次遥操作最后回看录好的数据确认硬件链路没问题后再进入训练。一条完整工作流怎么跑以让 SO100 学会推物为例整条链路分五步每步的输入输出都很明确数据准备输入是机器人和遥操作设备运行lerobot-record --robot.typeso100 --teleop.typeso100 --dataset.repo_id你的仓库/my-task输出是一个标准 LeRobotDatasetMP4 视频 Parquet 状态/动作。注意检查相机画面是否清晰、动作是否连贯坏数据在这里删掉成本最低。策略选择输入是数据规模和任务类型中等规模、无语言指令的任务从 ACT 或 Diffusion 开始需要指令驱动再考虑 Pi0 系列。各策略的显存与训练时长要求见 硬件指南。训练输入是策略类型和数据集 ID命令形如lerobot-train --policy.typeact --dataset.repo_id你的数据集输出是检查点。训练过程可记录 loss 曲线收敛后再停避免过早中断。仿真验证输入是训练好的检查点和基准任务lerobot-eval跑若干 episode输出成功率。仿真不达标时回到第 2 步换策略或补数据。真机部署输入是验证通过的模型和机器人用lerobot-rollout/lerobot-eval的真机模式执行观察动作平滑度。真机表现抖动时优先检查控制频率和动作插值配置而不是继续调模型。常见问题与快速排障现象pip install后导入报错提示 PyTorch 版本不符。常见原因是系统里已有旧版 torch 或环境未隔离。处理方向是新建一个干净的 3.12 虚拟环境重装并用lerobot-info核对 torch 版本。现象机器人无法连接报串口或端口权限错误。通常是当前用户对/dev/tty*设备没有访问权限或端口被其他进程占用。先检查端口占用再把用户加入 dialout 组用lerobot-find-port确认端口识别正常。现象读取数据集时视频解码失败。某些平台macOS Intel、Linux ARM不支持 TorchCodec框架会自动回退 pyav无需额外处理若仍报错先确认 ffmpeg 已安装或查看日志确认回退路径是否生效。现象训练显存不足。处理方向按代价从小到大减小 batch size、开启混合精度、降低图像分辨率。换更小参数量级如从 Pi0 系列切到 ACT 或 SmolVLA也是常见选择。现象仿真达标但真机动作抖动。原因多半在部署侧而非模型侧。先检查真机控制频率与训练时是否一致再确认动作插值器开启最后复查电机标定。继续学习与扩展路径官方文档在 docs/ 目录其中 安装指南、数据集格式说明 和各策略的 README如 Pi0 文档是最常用的入口。想理解框架本身建议按三个方向读源码src/lerobot/robots/看硬件抽象怎么封装差异src/lerobot/datasets/看数据集格式如何读写src/lerobot/policies/看不同策略如何接入统一的训练循环。examples/ 下还有遥操作、训练、回放的完整脚本示例tests/ 中的用例可以直接当作 API 用法参考。如果你想扩展硬件支持实现一个Robot子类并注册新的type即可贡献入口说明见 CONTRIBUTING.md。一个合适的起点用你手头的机器人录 10 条 episode跑一次 ACT 训练再用lerobot-eval对比训练前后——这条最小链路走通后后续换硬件或换策略都只是替换参数的事。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考