HY-World 2.0 实战部署：如何将生成的3D世界导入Blender/Unity/Unreal游戏引擎

HY-World 2.0 实战部署如何将生成的3D世界导入Blender/Unity/Unreal游戏引擎【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0HY-World 2.0 是一个开源的多模态 3D 世界模型能从文本、单张图片或视频直接生成/重建可编辑的 3D 资产3D 高斯、网格、点云并可直接导入 Blender、Unity、Unreal 等游戏引擎——这不是一段视频而是可以永久保留、自由漫游的真实 3D 世界。本文带你走通从环境安装、世界生成、资产导出到引擎导入的完整实战流程 一、为什么选 HY-World 2.03D 资产 vs 视频传统视频世界模型生成的像素画面播放完即消失而 HY-World 2.0 输出的是真实 3D 资产这决定了它能否进入游戏开发流程能力视频世界模型HY-World 2.0输出像素视频不可编辑网格 / 3DGS完全可编辑生命周期看完即消失资产永久保存渲染逐帧推理延迟高消费级 GPU 实时渲染引擎兼容✗ 仅视频文件✓ 直接导入 Blender / UE / Unity物理无碰撞、光照、零误差控制它提供两条主线世界生成文本/图片 → 可导航 3D 世界和世界重建多视图照片/视频 → 3D分别对应 hyworld2/worldgen/ 与 hyworld2/worldrecon/ 两大模块。二、环境准备一键安装步骤硬件要求NVIDIA GPU CUDA 12.8 Python 3.11。世界生成推荐 4 卡以上官方在 8×H20 上验证。# 1. 克隆仓库 git clone https://gitcode.com/gh_mirrors/hy/HY-World-2.0 cd HY-World-2.0 # 2. 创建环境并安装基础依赖 conda create -n hyworld2 python3.11.15 conda activate hyworld2 pip install -r requirements.txt # 3. 安装自定义 gsplat同时支持重建与生成 cd hyworld2/worldgen/third_party/gsplat_maskgaussian pip install -e . --no-build-isolation按需追加世界生成的 git 依赖requirements_git.txt、Recast 导航网格扩展hyworld2/worldgen/third_party/navmesh以及 FlashAttention 后端完整说明见 README_zh.md 的快速开始章节与 DOCUMENTATION_zh.md。三、生成你的 3D 世界五阶段流水线世界生成模块把一张 360° 全景图变成可导航的 3D 世界共 5 个阶段参考 hyworld2/worldgen/README.md阶段脚本产出1️⃣ 轨迹规划traj_generate.py基于 VLM 的相机轨迹障碍感知导航2️⃣ 轨迹渲染traj_render.py多卡点云渲染 cameras.glb3️⃣ 世界扩展video_gen.pyWorldStereo 2.0 生成关键帧视频4️⃣ GS 数据准备gen_gs_data.py图像、对齐深度、法线、相机参数5️⃣ 3DGS 训练world_gs_trainer.py最终 3D 世界PLY/SPZ/网格全景图可由 HY-Pano 2.0 从一句话提示自动生成示例数据见 examples/worldgen/。整体架构如下图所示关键让训练器直接导出可导入引擎的资产第 5 阶段的 world_gs_trainer.py 通过命令行开关决定导出内容建议全部打开python -m world_gs_trainer default \ --data_dir $TARGET_PATH/gs_data --result_dir $RESULT_DIR \ --save_ply --convert_to_spz --export_mesh三个开关对应三类资产--save_ply→3D 高斯 .plypoint_cloud_*.ply含全部高斯属性--convert_to_spz→压缩 SPZ 格式且已自动转换为 RUB右-上-后坐标系——正是 Unity/Unreal 习惯的引擎坐标系导入即对--export_mesh→TSDF 融合网格fuse_post.ply并可用 pymeshlab 减面输出fuse_simplified.ply网格提取逻辑见 gs/extract_mesh.py训练结束后用浏览器查看器先验收一遍效果再进入引擎python show_gs.py --port 8081 --gpu_id 0 --ckpt $RESULT_DIR/ckpts/ckpt_1499_rank*.pt四、照片秒变 3DWorldMirror 2.0 重建路线不想从零生成拍一段环绕视频或准备一组多视图照片即可。WorldMirror 2.0 是统一前馈模型单次前向传播同时输出深度、法线、相机参数、3D 点云和 3DGS# 单卡推理 python -m hyworld2.worldrecon.pipeline --input_path path/to/images # 多卡图像数量需 GPU 数 torchrun --nproc_per_node2 -m hyworld2.worldrecon.pipeline \ --input_path path/to/images --use_fsdp --enable_bf16示例输入examples/worldrecon/ 内置多组真实场景推理结果保存在输出目录中包含点云.ply、深度图、法线图、3DGS.ply和camera_params.json相机内外参由 save_utils.py 写出。想要可视化交互直接启动 Gradio 应用python -m hyworld2.worldrecon.gradio_app五、导入游戏引擎三种格式三条路先明确手里的资产再选路资产文件适用场景高保真外观 3DGSpoint_cloud_*.ply/.spz影视级画面、快速预览传统网格fuse_post.ply/fuse_simplified.ply物理、动画、光照全支持点云重建输出的.ply快速占位、导航参考 路线 ABlender最省事网格File → Import → Stanford PLY (.ply)直接拖入fuse_post.ply顶点色自动保留若面数过高万面级场景先用 extract_mesh.py 配套的减面逻辑pymeshlab/Open3D降到目标面数再导入3DGS安装社区 BlenderGS 类插件导入.ply或走高斯 → 网格转换路线注意坐标系导出目录中的position_meta_info.json记录了up_direction、scale等信息若场景方向不对在 Blender 中旋转/缩放对齐即可。 路线 BUnity引擎对 PLY 原生支持弱推荐在 Blender 中完成PLY → FBX/OBJ转换后Asset Store之外直接拖入 Assets 目录3DGS 资产可用支持 splat 的 Unity 插件直接加载.spz坐标系已转为 RUB无需再翻转物理碰撞网格导入后在 Unity 中为 Static Mesh 生成碰撞体或复用生成阶段产出的 NavMesh项目内置 Recast 导航网格扩展 third_party/navmesh/。 路线 CUnreal Engine同样推荐Blender/MeshLab 中转fuse_simplified.ply→ FBX/OBJ → 拖入 Content引擎自动识别为 Static Mesh大世界建议先减面到百万三角面以内并在 UE 中启用 Nanite 处理高模3DGS 实时渲染可加载.spzRUB 坐标系与 UE 一致或使用专门的 splat 渲染插件相机机位可直接读取重建阶段输出的camera_params.json在关卡中还原拍摄视角做校验。六、避坑清单 性能建议 ⚡GPU 不够多按官方公式拉长训练步数4 卡 2000 步、2 卡 4000 步、单卡 8000 步见 worldgen/README.md多卡重建时图像数量必须 ≥ GPU 数否则报错网格过密导致引擎卡顿 → 优先使用减面后的fuse_simplified.ply或用--convert_to_spz走 SPZ 路线体积小、加载快天空区域噪点多 → 训练时保持--split_sky与天空深度正则选项开启想复现官方示例效果直接以 examples/ 下的数据作为--target_path输入跑通全流程。七、相关文件导航模块路径说明世界生成流水线hyworld2/worldgen/五阶段生成 资产导出3DGS 训练器hyworld2/worldgen/world_gs_trainer.py--save_ply / --convert_to_spz / --export_mesh网格提取hyworld2/worldgen/gs/extract_mesh.pyTSDF 融合 减面在线查看器hyworld2/worldgen/show_gs.py浏览器实时预览世界重建hyworld2/worldrecon/pipeline.py多视图/视频 → 3D完整文档DOCUMENTATION_zh.md参数、输出格式、先验注入从一句话提示到引擎里可交互的 3D 世界HY-World 2.0 把生成—导出—导入的链路全部打通。建议先用官方示例数据examples/worldgen/case000跑通一遍全流程再替换成你自己的素材逐步构建属于你的 3D 世界 【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考