Continue 如何通过 apiBase 配置连接远程 Ollama 实例?
Continue 如何通过 apiBase 配置连接远程 Ollama 实例【免费下载链接】continueopen-source coding agent项目地址: https://gitcode.com/GitHub_Trending/co/continueContinue 默认连接本机的 Ollamahttp://localhost:11434。当 Ollama 部署在另一台机器上——例如一台有 GPU 的远程服务器而你的 IDE 在开发机上——就需要在 Continue 的config.yaml中用apiBase指向远程实例的 IP 和端口。完成本场景后Continue 的 chat/edit 等模型调用会全部走远程 Ollama。以下内容来自 Continue 项目文档Ollama provider 配置、Ollama 使用指南 和 FAQ 中的 Ollama 问题。前提条件远程机器上已安装并运行 Ollama且已用ollama pull拉取了你要使用的精确模型标签例如# 在远程 Ollama 服务器上执行 ollama pull qwen2.5-coder:7b ollama list # 确认模型已存在记下完整名称Continue 配置中的model必须与ollama list显示的内容完全一致。模型未安装时 Ollama 会返回404 model ... not found, try pulling it first。客户端机器上已安装 Continue 扩展。让远程 Ollama 监听所有接口这一步是连接失败最常见的原因。文档指出Ollama 需要显式配置才能从其他机器访问。设置环境变量OLLAMA_HOST0.0.0.0:11434后再启动ollama serve。如果 Ollama 以 systemd 服务运行Linux编辑/etc/systemd/system/ollama.service在[Service]段下添加EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_ORIGINS*然后重启服务sudo systemctl restart ollama。该命令需要 root 权限执行期间 Ollama 服务会短暂中断。如果远程实例同时需要防火墙放行请确认服务器侧 11434 端口未被关闭。在 Continue 中配置 apiBase修改 Continue 的 YAML 配置文件如~/.continue/configs/config.yaml为模型项添加apiBase指向远程机器的 IPname: My Config version: 0.0.1 schema: v1 models: - name: llama3 provider: ollama model: llama3:latest apiBase: http://192.168.1.136:11434 # 替换为远程 Ollama 服务器的实际 IP文档说明对于局域网内的本地网络地址apiBase使用http://而不是https://在 FAQ 的远程 Ollama 排查项中明确要求检查这一点。如果模型能力工具调用、图像输入没有被自动识别可以在同一模型项中显式声明参考 Ollama provider 文档models: - name: CUSTOM_MODEL_NAME provider: ollama model: CUSTOM_MODEL_ID apiBase: http://192.168.1.136:11434 capabilities: - tool_use # 模型支持 function calling 时启用 - image_input # 视觉模型启用其中CUSTOM_MODEL_NAME和CUSTOM_MODEL_ID需替换为你自己指定的显示名称与ollama list中的实际模型名。特殊部署形态的 apiBase 取值可选分支如果你的 Continue 不在裸机上FAQ 给出了对应的apiBase写法Continue 运行在 Docker 容器内Ollama 在宿主机Windows/MacapiBase: http://host.docker.internal:11434并在docker run时附加--add-hosthost.docker.internal:host-gateway。容器内连接 Linux 宿主机的 OllamaapiBase: http://172.17.0.1:11434Docker 网桥 IP文档标注通常为该值。Continue 在 WSL 中Ollama 在 Windows 宿主机Windows 11 22H2 可在%UserProfile%\.wslconfig中设置networkingModemirrored后执行wsl --shutdown旧版本需要管理员权限的 PowerShell 防火墙规则加netsh端口代理操作会修改系统防火墙与端口转发配置按文档逐条执行。这些是同一任务的替代取值按你的实际拓扑选其一不要与上面的 LAN 写法混用。验证连接在能访问远程机器的机器上用浏览器或curl访问http://服务器IP:11434文档中的成功现象是返回Ollama is running。确认远程模型列表可达且包含目标模型OLLAMA_HOST192.168.1.136:11434 ollama listIP 替换为实际服务器地址。若列表中没有目标模型在该远程实例上ollama pull对应的精确标签。回到 Continue 的模型选择器确认配置中的模型出现并可正常发起对话发起一次 chat 请求能收到响应即说明远程链路打通。常见问题排查EHOSTUNREACH / ECONNREFUSED按 FAQ 的顺序检查——OLLAMA_HOST0.0.0.0:11434是否生效Ollama 默认只监听本机、sudo systemctl restart ollama是否执行过、服务器防火墙 11434 端口是否放行、apiBase中的 IP 是否为服务器实际可达地址。远程实例上的 parse 错误通常是目标模型未安装在远程或 URL 误用了https://。用上面的OLLAMA_HOSTIP:11434 ollama list核对模型并确认apiBase使用http://。Model requires more system memoryContinue 设置的默认上下文长度可能高于其他 Ollama 工具远程实例内存不足时会报此错。在模型项中降低contextLength解决例如models: - name: Deepseek R1 provider: ollama model: deepseek-r1:latest apiBase: http://192.168.1.136:11434 defaultCompletionOptions: contextLength: 2048也可以换用更小的模型变体。404 model not foundapiBase指向的远程实例上没有该标签的模型回到前提条件用ollama pull name:tag补齐。相关文档Ollama provider 配置与 capabilities 说明Ollama 完整使用指南安装、模型选择、性能FAQOllama 连接与远程实例问题【免费下载链接】continueopen-source coding agent项目地址: https://gitcode.com/GitHub_Trending/co/continue创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
上一篇/下一篇内容由系统自动关联
返回资讯列表 →