用 Live2D 和 RPA 组合，打造消息驱动的桌面 AI 助手

桌宠这东西很多人第一反应是“电子萌宠”最多在桌面养一只会眨眼的小人。但如果你把组合方式换一下——Live2D 负责形象bangocat 负责宿主和消息文本呈现框负责对话展示五笔输入法解决中文输入RPA 负责真正把手伸进系统里执行任务——桌宠的定位就完全变了它不再是一个装饰品而是一个挂在桌面上的轻量级 AI 助手入口。这一篇是系列第 17 期前面我们分别聊过 Live2D 模型、文本呈现、自动化流程这些组件。这一期的关键词是“组合”重点不是介绍某一个组件而是看它们怎么通过一条可靠的消息链路拼成一个可运行的产品。读完你会得到一张组件选型表、一套消息协议设计思路、四个可以直接改的代码片段以及一张实测容易踩坑的排查清单。先说结论这个组合最值得关注的地方不是“桌面上有个动画小人”而是它把事情拆成了四层——形象层、宿主层、交互层、自动化层。层与层之间用消息驱动意味着你可以把 Live2D 换成任意 3D 模型把文本呈现框换成语音合成把 RPA 换成普通 Shell 脚本整体架构不用推翻重来。这种解耦能力才是这个项目真正值得复制的点。1. 这篇文章真正要解决的问题1.1 传统桌宠的局限在哪里传统桌宠常见的玩法是“看”和“点”看模型做动作点一下模型触发一个动画。这种模式的问题在于它没有和用户的实际工作流产生关联。动画再精致也只是桌面上的一个小花瓶。一旦桌宠能理解你的命令、显示回复文本、并调用 RPA 去操作真实软件它就从“观赏层”进入了“生产力层”。举个例子你在桌面输入一条五笔指令“清理今天的临时文件”文本呈现框显示“收到马上执行”RPA 自动清理文件最后返回结果“已清理 3 个临时文件”。整个闭环中Live2D 只是最后那个“有表情的汇报员”真正干活的是 RPA 链路。1.2 为什么是 Live2D bangocat 文本呈现框 五笔输入法 RPA 这五个组件每个组件解决一个明确问题Live2D解决“形象层”让静态立绘变成有表情、有动作的 2D 角色。bangocat解决“宿主层”提供桌宠主窗口、生命周期和消息通道。文本呈现框解决“交互层”把 AI 返回、RPA 回复、本地提示用可读文本展示出来。五笔输入法解决“中文输入层”保证用户在桌宠输入框中的输入体验稳定可控。RPA解决“自动化层”真正操作鼠标、键盘、文件和第三方软件。这五个组件拼起来本质是在桌面上搭了一个“虚拟数字人员工”的最小闭环。1.3 什么样的读者适合读这篇文章如果你正在做桌面端 AI 助手、桌面宠物、虚拟主播辅助工具或者你是一名 RPA 工程师想给自动化流程加一个可视化入口这篇文章能给你一条完整的集成路径。需要的基础能力是会写一点 HTML/JavaScript会一点 Python能安装配置桌面软件。难度不高但需要耐心把链路一条条跑通。2. 核心概念与组件边界2.1 Live2D让 2D 形象“活”过来Live2D 不是 3D 建模它是一套 2D 分层动画技术。核心原理是把一张插画拆成头发、眼睛、嘴、身体等多个图层每个图层绑定网格变形器再通过参数驱动这些网格最终形成转头、眨眼、说话的动态效果。从实际使用看Live2D 模型资源常见的有两种结构V2 模型扩展名多为.moc配套.model.json配置文件。V3 模型扩展名多为.moc3配套.model3.json配置文件贴图数量更多表情系统更丰富。当前新项目建议直接用 V3 模型。在桌宠场景中我们关心的是模型的三个能力表情切换、身体动作、嘴型同步。后面代码示例里消息协议会专门定义expression和motion字段用来控制 Live2D 状态。2.2 bangocat桌宠宿主与消息总线从本期主题的命名方式看bangocat 在整条链路中承担的是“桌宠宿主运行时”和“消息中枢”的角色。它负责把 Live2D 模型窗口、文本呈现框、输入框、RPA 回调在同一个进程或消息域里组织起来。可以把它理解成一个迷你应用容器Live2D 是“演员”文本呈现框是“屏幕”而 bangocat 是“后台导演”负责调度演员什么时候说话、屏幕显示什么文字、什么任务交给 RPA 执行。具体安装命令和配置项请以你拿到的 bangocat 版本文档为准本文重点讲清楚它在这条链路里的边界避免把业务逻辑全部堆到一个地方。2.3 文本呈现框对话内容的可视化窗口文本呈现框解决“返回结果怎么展示”的问题。它的本质是一个始终置顶、位置可控、内容可变的富文本层。实现方案有几种方案优点缺点适用场景HTML div 浮动层简单、样式好写依赖浏览器环境基于 Electron/WebView 的桌宠Electron 透明子窗口稳定、原生内存占用偏高正式桌宠应用Tkinter / Qt 顶层窗口轻量、易调试样式表现力弱Python 快速原型在选择文本呈现框时最关键的设计点是它必须能被“外部消息”驱动而不是自己拥有全部业务逻辑。也就是说文本呈现框只做一件事——把收到的字符串渲染出来同时把用户输入的字符串发出去。2.4 五笔输入法中文输入体验的关键一环很多人会问五笔输入法和桌宠有什么关系关系在于中文输入状态管理。桌宠输入框是一个“特殊窗口”它可能没有系统级的输入法自动激活机制。如果你用拼音输入偶尔会遇到候选框跑到左上角如果用五笔又可能出现空格键被桌宠全局快捷键吃掉。五笔输入法追求的是“字词确定性”和“空格上屏”桌宠要配合它必须保证输入框获得焦点时系统输入法被正确激活并且在组合输入期间其他组件不要抢占键盘事件。2.5 RPA让桌宠拥有“手和脚”RPARobotic Process Automation机器人流程自动化是一套能模拟人工操作电脑的自动化技术。它通常包含流程录制、界面元素选择、鼠标键盘模拟、脚本编排、定时触发等功能。国内常用工具包括影刀 RPA也有开源方案如讯飞开源 RPA。在桌宠链路中RPA 扮演的是“执行器”。用户说“帮我打开浏览器搜索 Live2D 模型下载”经过解析后这条指令会转成 RPA 任务由 RPA 实际控制浏览器完成操作。这里必须特别注意RPA 拥有真实控制系统的能力安全边界一定要设计好不能让它盲执行不可信指令。3. 整体架构与消息流3.1 分层设计我建议把整个桌宠项目按四层划分各层之间不要互相调用而是通过消息总线通信用户输入五笔输入法 / 鼠标 / 全局热键 ↓ bangocat 消息总线 ↓ ┌──────────┴──────────┐ ↓ ↓ Live2D 模型层 RPA 自动化层 ↓ ↓ 文本呈现框 ◀────────── 执行结果回调形象层只负责 Live2D 模型的渲染和动作切换。宿主层维护桌宠窗口、消息总线和进程生命周期。交互层文本呈现框和输入框负责人和桌宠之间的文字往来。自动化层RPA 执行器负责真正操作系统。这种分层最大的好处是每一层都可以独立替换。你可以把 Live2D 换成 Spine把 RPA 换成本地 Shell 脚本把文本呈现框换成语音播报宿主层几乎不用改动。3.2 消息协议设计层与层之间通过消息通信消息建议采用 JSON 格式统一 schema。最少要有两种消息speak向下传递让文本呈现框显示一句话同时让 Live2D 做一个表情或嘴型。rpa_task向下传递触发某个 RPA 流程。rpa_result向上回报RPA 执行结束后的状态和结果文本。{ type: speak, payload: { text: 已收到指令正在执行文件清理, expression: happy, motion: wave } }3.3 为什么需要消息总线而不是直接函数调用如果你在 Live2D 模型代码里直接调用 RPA 接口看起来高效实际上会让项目很难维护。比如 RPA 工具换了版本你要去改模型代码模型动作文件更新了你可能碰坏 RPA 调用逻辑。引入消息总线后Live2D 模型只关心“收到一条 speak 消息该做什么”RPA 只关心“收到 rpa_task 消息该做什么”文本呈现框只关心“收到文本消息该显示什么”。各自独立开发、独立测试、独立替换这是整个项目中最值得投入时间的架构决策。4. 环境准备与前置条件这一节给出一个可执行的基础环境清单。具体版本号请以你使用的 SDK 和工具官方文档为准别死记某一版本。4.1 Live2D 模型准备你需要准备一个可用的 Live2D V3 模型资源包通常包含.moc3模型文件.model3.json模型配置若干.png贴图.exp3.json表情文件可选.motion3.json动作文件可选免费模型可以从官方示例或开源模型仓库获取注意检查创作者授权协议。个人学习可以直接用官方示例模型商用必须单独确认授权范围。4.2 bangocat 宿主环境按项目文档安装 bangocat建议使用较新的稳定版本。安装后先跑一个空窗口确认宿主环境能正常启动再接入 Live2D。这一步能隔离问题如果空窗口都起不来问题一定出在宿主环境配置而不是模型代码。4.3 文本呈现框技术选型如果你准备用 Web 技术做桌宠建议直接用 Electron 或 WebView2 作为容器。优点是样式灵活、社区方案多、Live2D Web SDK 可以直接用。如果你希望更轻量可以用 Python Qt 的顶层窗口显示富文本但 Live2D 渲染层就需要另想办法嵌入。4.4 RPA 工具准备RPA 工具推荐选择支持 Python 扩展的产品比如影刀 RPA。安装后确认以下几点Python 解释器路径是否正确。热搜里常见的“影刀 rpa 设置 python 版本”就是这类问题。RPA 流程是否能通过本地接口或命令行被外部程序触发。是否有流程录制和 UI 选择器方便录制首批自动化流程。4.5 最小环境清单示例操作系统Windows 10/11演示环境 编程语言Python 3.9 / JavaScriptNode.js 可选 宿主运行时bangocat具体版本以项目文档为准 Live2DCubism SDK V3 模型资源 RPA影刀 RPA 或讯飞开源 RPA如果你是刚开始做建议先把“Live2D 文本呈现框”跑通再加入 RPA。一次性接入所有组件问题定位难度会指数级上升。5. 核心流程拆解与完整示例这部分会给出一个最小实现。以下代码是教学结构示例具体 SDK 初始化代码以你下载的版本为准。5.1 第一步加载 Live2D 模型在桌宠窗口里加载一个基础的 HTML 页面页面里包含 Live2D 模型画布和文本呈现框容器。这段代码的关键是给“外部调用”留好接口。!DOCTYPE html html langzh-CN head meta charsetUTF-8 style html, body { margin: 0; background: transparent; overflow: hidden; } #live2d-canvas { position: fixed; right: 10px; bottom: 10px; width: 360px; height: 360px; z-index: 1; } #speech-box { position: fixed; right: 20px; bottom: 360px; width: 260px; min-height: 60px; background: rgba(255, 255, 255, 0.9); border-radius: 12px; padding: 12px; z-index: 2; font-size: 14px; line-height: 1.6; box-shadow: 0 4px 16px rgba(0, 0, 0, 0.15); } /style /head body canvas idlive2d-canvas/canvas div idspeech-box初始化完成/div script // 此处调用 Live2D Cubism SDK 的初始化逻辑 // 关键点把模型挂载到 #live2d-canvas // 并暴露一个全局方法 window.petMotion(expression, motion) window.petMotion function (expression, motion) { // 切换 Live2D 表情和动作 console.log(set motion, expression, motion); }; window.showText function (text) { document.getElementById(speech-box).innerText text; }; /script /body /html这段代码完成了两件事渲染 Live2D 画布暴露showText方法给文本呈现框。实际开发中SDK 的模型加载、贴纸坐标绑定、动作资源加载都比这个复杂但架构思路一致。5.2 第二步文本呈现框与消息订阅在宿主端写一个桥接模块订阅消息总线上的speak消息更新文本呈现框内容同时告诉 Live2D 层要不要做动作。// 文件路径src/renderer/pet-core.js // 本模块是 bangocat 宿主与渲染层的桥 class PetCore { constructor({ live2dController, speechBox }) { this.live2d live2dController; this.speechBox speechBox; this.bus null; } connect(bus) { this.bus bus; // 订阅文本和动作消息 bus.on(speak, (data) { this.speechBox.showText(data.text); if (data.expression || data.motion) { this.live2d.motion(data.expression, data.motion); } }); // 订阅 RPA 结果消息回到文本呈现框 bus.on(rpa_result, (data) { this.speechBox.showText(data.message); this.live2d.motion(happy, nod); }); } } module.exports { PetCore };这个模块保持了单一职责它只负责把消息转成“显示文字”和“切换动作”两个动作不处理任何业务逻辑。你之后换成语音合成也只需要再增加一个bus.on(speak, ...)的处理分支。5.3 第三步接入五笔输入法系统输入法状态管理是关键。以 Windows 下的 C# / WPF 为例可以显式设置输入框的输入法状态保证五笔输入法在桌宠输入框获得焦点时被激活。// 文件路径src/host/MainWindow.xaml.cs // WPF 中控制输入法状态 using System.Windows.Input; private void InputBox_GotFocus(object sender, RoutedEventArgs e) { // 允许输入法 InputMethod.SetIsInputMethodEnabled(InputBox, true); // 将输入法状态设为开启 InputMethod.SetPreferredImeState(InputBox, InputMethodState.On); }如果你用 WebView 做输入框则需要关注组合输入事件。五笔输入法在输入拼音码或字根时会触发compositionstart、compositionupdate、compositionend事件桌宠的全局快捷键在compositionstart到compositionend之间应当暂时让位避免把输入过程中的按键错误拦截。5.4 第四步RPA 任务触发桌宠和 RPA 工具之间最简单的方式是通过 HTTP 接口触发本地 RPA 流程。下面是一个 Python 桥接层示例它把 RPA 工具暴露为本地服务桌宠发起rpa_task消息后由服务端执行。# 文件路径src/bridge/rpa_bridge.py import json from http.server import BaseHTTPRequestHandler, HTTPServer class RpaBridgeHandler(BaseHTTPRequestHandler): rpa_client None def do_POST(self): content_length int(self.headers.get(Content-Length, 0)) body json.loads(self.rfile.read(content_length)) if self.path /api/rpa/run: task body.get(task, ) # 调用 RPA 工具提供的接口执行流程 # 这里以伪代码表示影刀 RPA 或其他工具会提供本地调用方式 result self.rpa_client.execute(task) self.send_response(200) self.send_header(Content-Type, application/json) self.end_headers() self.wfile.write(json.dumps(result).encode(utf-8)) else: self.send_response(404) self.end_headers() def log_message(self, format, *args): # 关闭默认日志避免和桌宠日志混淆 return这段代码提供的是一个可启动的本地 HTTP 服务桌宠宿主只需要 POST 一段任务描述RPA 桥接层负责翻译并执行。真正落地时你可以把rpa_client.execute替换成影刀 RPA 的实际 API 调用。5.5 第五步用配置串联整条链路为了不把配置写死在代码里建议用一个 YAML 配置文件保存端口、模型路径、RPA 服务地址等# 文件路径config/pet-config.yaml host: name: bangocat-desktop-pet port: 8000 auto_start: true live2d: model_path: ./models/haru/haru.model3.json canvas_width: 360 canvas_height: 360 speech_box: width: 260 height: 80 background: rgba(255,255,255,0.92) rpa: endpoint: http://127.0.0.1:8123 timeout_seconds: 60 whitelist: - 清理临时文件 - 打开浏览器 - 导出Excel报表whitelist是一个值得保留的设计。桌宠收到 RPA 指令后先判断任务名是否在白名单中不在则拒绝执行。这一层防护能避免误触发危险流程也是 RPA 安全边界的第一道门槛。6. 运行结果与效果验证6.1 启动顺序正确的启动顺序是先启动 RPA 服务再启动 bangocat 宿主最后加载渲染页面。顺序反了桌宠启动时可能连不上 RPA 接口文本呈现框会一直显示“RPA 服务不可用”。# 1. 启动 RPA 本地服务 python src/bridge/rpa_bridge.py # 2. 启动桌宠宿主 bangocat start --config config/pet-config.yaml # 3. 打开渲染页面确认 Live2D 模型出现6.2 验证清单跑通后按以下顺序确认Live2D 模型正常显示能做眨眼、转头等基础动作。在桌宠输入框中输入一句话文本呈现框能显示这句话。使用五笔输入法输入中文确认候选框位置正常、空格上屏正常。发送一条白名单内的 RPA 指令比如“打开浏览器”RPA 流程被触发执行完毕后在文本呈现框看到结果。6.3 失败时先看哪里如果模型不显示优先看模型文件路径是否正确以及 SDK 是否有 WebGL 报错。如果文本不显示优先看消息总线上是否真的有speak消息发出可以通过日志确认。如果 RPA 不执行优先看 RPA 服务是否在监听、任务名是否在白名单内。7. 常见问题与排查思路问题现象可能原因排查方式解决方案Live2D 模型不显示模型路径错误或缺少贴图资源检查.model3.json关联文件是否齐全重新放置模型资源确保贴图路径为相对路径Live2D 动作切换无效动作文件名与消息字段不一致查看动作资源清单调整motion字段或修改模型资源配置桌宠输入框无法使用五笔输入窗口未正确激活输入法检查输入框焦点事件和 IME 状态在获得焦点时显式开启输入法五笔输入过程中空格被拦截全局快捷键在组合输入阶段抢占事件查看桌宠快捷键日志在 composition 事件期间暂停全局快捷键RPA 任务没有执行RPA 服务未启动检查本地端口是否有服务监听启动 RPA 服务确认端口配置一致RPA 流程被误触发桌宠接受不可信指令检查任务白名单增加白名单校验拒绝不在白名单的任务打包后模型资源丢失资源文件未包含在发布包中检查安装包文件列表配置打包工具将模型资源目录加入资源目录8. 最佳实践与工程建议8.1 模型版权与资源管理Live2D 模型资源很容易从网上下载但版权问题容易被忽略。免费下载的模型不一定允许商用甚至可能不允许二次修改。建议在项目 README 中明确记录每个模型的作者、授权协议、使用范围避免项目上线后产生纠纷。模型资源单独放在models/目录不要和代码混在一起。8.2 消息协议设计要小步演进消息格式不要一开始设计得特别复杂。先用speak、rpa_task、rpa_result三类消息跑通闭环再逐步增加user_input、voice_command、memory_save等消息。每一类消息都对应一个明确的处理模块模块之间不互相依赖。这样做的好处是调试时只要看消息日志就能定位问题出在哪一层。8.3 RPA 安全边界必须前置RPA 拥有真实鼠标键盘控制能力安全设计要放在第一位。建议至少做到四点任务白名单、工作目录隔离、执行日志留痕、敏感操作二次确认。白名单保证桌宠只能触发你允许的自动化流程日志留痕保证出了问题能追溯删除文件、发邮件、提交订单这类高风险操作必须在文本呈现框中弹出确认按钮由用户手动批准后执行。8.4 性能与资源控制Live2D 渲染和 RPA 同时运行时CPU 和内存占用会明显上升。建议给 Live2D 渲染设置帧率上限比如 30 帧每秒RPA 任务执行期间暂停 Live2D 的高频动画只保留基础表情。这样能显著降低桌宠对办公电脑的干扰。8.5 日志与可观测性日志是整个链路排错的基础。建议统一日志格式至少包含时间、模块、消息类型、耗时四要素。本地文件日志按天滚动保留最近 30 天即可。如果桌宠要接入大模型日志中不要记录用户输入的原始内容可以只记录消息长度和调用结果保护用户隐私。8.6 多平台兼容注意如果你后续想把桌宠移植到 macOS 或 Linux注意三个差异Live2D 渲染层在三个平台上的 SDK 调用方式不同输入法管理 API 不同Windows 的 IME 控制和 macOS 的输入法控制完全是两套逻辑RPA 工具跨平台支持程度不同影刀 RPA 等工具在 macOS 上的能力可能比 Windows 弱。移植前先做技术调研不要等项目写完了再想兼容问题。9. 总结与后续学习方向这一期真正要解决的核心问题是把一套看起来偏“娱乐”的桌宠技术栈改造成具备生产力价值的桌面 AI 助手入口。Live2D 提供形象bangocat 负责宿主与消息调度文本呈现框做交互反馈五笔输入法保证中文输入稳定RPA 提供真实的系统操作能力。五个组件各司其职通过消息总线联接形成一个可以被替换、被扩展、被维护的架构。建议第一次做的时候先跑一个最小闭环不要急着把所有组件一次性接上。桌宠的复杂度不在单个组件而在于链路串起来之后的状态管理。当你把模型加载、文本展示、RPA 回调三件事跑通背后的消息协议基本就稳定了后续加语音、加记忆、加自定义动作都会顺利很多。下一步可以往三个方向深入第一个方向是接入大模型 API让桌宠真正理解自然语言指令而不是只能执行预设命令第二个方向是增强 Live2D 表现层把嘴型同步和倒计时、状态提醒联动起来第三个方向是完善 RPA 组件库把更多重复性办公流程封装成桌宠可调用的“技能”。这套组合的底层逻辑其实和智能座舱、数字人客服是一致的——形象、交互、自动化三层解耦谁跑得好谁就能先落地。