尧图精选

5 条命令跑通 FreeLLMAPI:34 家免费大模型 API 聚合路由器安装使用指南

🕒 发布时间:2026/10/1 9:14:35 📁 来源:尧图网络
5 条命令跑通 FreeLLMAPI34 家免费大模型 API 聚合路由器安装使用指南【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi手上有一堆大模型免费密钥却要为每家单独记配额、换 SDK、写限流处理FreeLLMAPI 把 34 家提供商的 635 个免费模型端点聚合成一个 OpenAI 兼容的/v1接口限流自动换下一家。读完这篇你能在本地跑起这个免费大模型 API并发出第一条请求。一句话说清 FreeLLMAPI 免费大模型 API 聚合路由器是什么FreeLLMAPI 是个本地路由器把 34 家提供商的免费密钥聚合成一个 OpenAI 兼容接口限流自动换下一家密钥加密存本地。关键数字如下够你判断值不值得跑指标数值聚合提供商34 家免费模型端点474 个模型家族635 个端点月度免费推理容量约 74 亿 token对外接口1 个/v1端点最小部署Docker Compose 5 条命令拉起 FreeLLMAPI 本地服务前提一句话装好 Docker、Docker Compose 和 OpenSSL 即可不用 Node、不用配端口转发。git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY$(openssl rand -hex 32) printf ENCRYPTION_KEY%s\nPORT3001\n $ENCRYPTION_KEY .env docker compose up -d逐条说作用git clone …拉取源码。cd freellmapi进入项目目录。第 3 行生成 64 位十六进制加密主密钥用来加密你的提供商密钥。第 4 行把密钥和端口 3001 写进.env容器靠它启动。docker compose up -d后台拉起 API 和仪表盘。成功标志docker compose up -d打印容器启动完毕docker compose ps里 freellmapi 容器状态是 running。备选两条路Windows 可丢进 WSL 执行同样命令也可从 Releases 直接装桌面版.exe。本地开发用./scripts/dev-bootstrap.sh一条命令起服务前提是 Node 20。跑通判定Playground 收到回复就算生效验证只需 3 步浏览器打开http://localhost:3001。服务器版首次进入要设一个邮箱 密码账号这是仪表盘登录不是 API 密钥。进 Keys 页加一把你手头的提供商密钥Google AI Studio、Groq、Mistral 都行任意 OpenAI 兼容端点也行顺手在 Fallback Chain 里排一下优先顺序。复制页顶部的统一密钥freellmapi-…格式到 Playground 页发一句话。通过标准Playground 出现回复且回复下方标明了实际应答的提供商、模型和延迟。页面打不开先查容器是否在跑、端口是不是 3001没有回复用docker compose logs -f freellmapi看密钥健康状态。核心机制智能路由、统一密钥和 Fusion 各解决什么智能路由某家限流了请求不断解决某家提供商限流时请求别断。路由器按速度、能力、可靠性三项实时打分挑分数最高且没触限的模型应答遇到 429 或 5xx就把这把密钥冷却自动重试链上下一家。最短用法请求里传modelauto也支持auto:fast、auto:smart或具体模型名。确认方式响应头X-Routed-Via写明谁真正处理了请求Models 页的列表顺序就是此刻的真实路由顺序每个模型挂着实时评分。统一密钥N 套提供商密钥收成一把解决管 N 套提供商密钥的麻烦。真实密钥用 AES-256-GCM 加密存进本地 SQLite每次请求时才在内存里解密你的应用只接触一把统一freellmapi-…令牌永远拿不到上游密钥。from openai import OpenAI client OpenAI( base_urlhttp://localhost:3001/v1, api_keyfreellmapi-your-unified-key, ) resp client.chat.completions.create( modelauto, messages[{role: user, content: 一句话总结罗马帝国的衰落}], ) print(resp.choices[0].message.content)正常打印出内容即生效。Keys 页里每把密钥带健康状态点和最近体检时间异常会直接标红。Fusion 多模型合成一份答案更稳解决单个免费模型能力一般、答得不够稳。路由器把同一份提示词并行发给一组风格各异的免费模型各自起草再交给一个评审模型综合成一份最终答案每组子调用都正常走路由和配额统计。最短用法请求modelfusion模型组和评审模型可在仪表盘 Fusion 页配置。确认方式同一问题分别用单模型和 Fusion 各问一遍对比信息密度和细节覆盖。边界与避坑哪些事它做不了哪 4 个坑新手最容易踩先划边界它只适合个人实验与学习别拿去做生产后端。免费层没有 SLA、没有前沿模型上游提供商的服务条款对代理流量同样适用真上线前换付费 API。⚠️ 四个坑按现象 → 原因 → 解法排开忘了仪表盘密码。服务器版没有邮箱可发重置链接。登录页点「Forgot password」一次性重置码直接打在服务端日志里15 分钟有效用docker compose logs -f freellmapi翻出来填进重置表单。局域网访问一直卡住。容器默认只发布在127.0.0.1别的设备打开http://服务器IP:3001永远加载不出来。用HOST_BIND0.0.0.0 docker compose up -d重新发布服务是单用户的唯一防护就是那把统一密钥只在可信网络里开放。晚间回复质量明显变差。头部模型跑满每日配额后傍晚到深夜整体智力下滑UTC 午夜才重置。白天用没问题别指望深夜跑重要任务。升级后密钥全部解不开。.env里的ENCRYPTION_KEY是解密静态密文的唯一钥匙升级时密钥换了或数据卷丢了所有已存提供商密钥都会失效。升级前备份.env且保持freellmapi-data卷不动。细节在 安装与部署文档。下一步把编程智能体指过来或接本地模型两条路跑通后都值得试把 Claude Code、Codex CLI 这类编程智能体指到这个免费池每个工具都有一键配置命令见 智能体客户端文档。把 Ollama、vLLM 等本地模型当自定义 OpenAI 兼容端点接进 Keys 页免费池和本地模型混着路由。流式、工具调用、Embedding、图像语音的完整接口见 API 参考。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
上一篇/下一篇内容由系统自动关联 返回资讯列表 →