高可用 Gemini API 代理与负载均衡:Gemini Balance 多 Key 管理利器

有趣网站20小时前发布 THE CODER
2 0 0

在开发或部署 AI 应用时,单一 Google Gemini API Key 容易触发速率限制,且跨地区或多团队协作存在配置和安全管理难题。Gemini Balance 提供开源解决方案,通过多 Key 轮询、负载均衡与权限过滤,实现高可用 Gemini API 代理服务。工具基于 Python + FastAPI 构建,兼容 OpenAI 接口格式,并提供本地与云端双向代理指南,帮助开发者快速搭建稳定、高效的多模态 AI 服务栈。

Gemini Balance 是什么?

Gemini Balance 是一款开源 Gemini API 代理与负载均衡器,可在同一实例中管理多组 Gemini API Key,通过轮询算法分摊请求负载,降低单 Key 限流风险。Fork 版本进一步完善了安全策略、修复配置缺陷,并提供繁体中文与英文文档,支持跨地区团队协作。它适合个人开发者、团队及企业在生产环境中稳定接入 Gemini 服务。

网站地址:https://gb-docs.snaily.top

开源地址:https://github.com/yulin0629/gemini-balance

高可用 Gemini API 代理与负载均衡:Gemini Balance 多 Key 管理利器

核心功能

Gemini Balance 提供多维度管理与优化能力:

  • 多 Key 轮询与负载均衡——自动轮询多组 Gemini API Key,提升并发能力并均衡请求负载。
  • 失败自动禁用与重试策略——可配置最大重试次数,定时检测并恢复失效 Key。
  • 实时状态监控——提供认证访问的 /keys_status 页面,展示各 Key 使用情况和健康指标,辅助快速排查。
  • 日志记录与性能分析——详细记录调用日志,帮助定位错误和性能瓶颈。
  • 协议与模型兼容——兼容 Gemini 和 OpenAI 接口,包括 CHAT、图文、embeddings,支持 IMAGE_MODELS 与 SEARCH_MODELS。
  • 智能过滤与自动更新——可过滤不常用模型,自动获取 API 最新模型列表。
  • countTokens API——发送前预估 token 数量,优化调用效率。
  • 智能 thinkingConfig——当 thinkingBudget 为 0 时自动省略该配置,简化使用。
  • 反向代理与本地开发指南——提供 nginx、SSL/mkcert 配置示例,支持 HTTPS 与 hosts 定制。
  • 管理脚本——一键切换代理、更新端口、完整移除服务。

使用场景

Gemini Balance 适合多种开发与生产需求:

人群/角色 场景描述 推荐指数
开发者/团队 管理多把 Gemini Key,提升调用上限与并发效率 ★★★★★
AI 应用开发者 无缝迁移 OpenAI 接口,兼容 Gemini 多模态功能 ★★★★★
企业生产环境 对安全、可观测性和高可用性有严格要求 ★★★★★
教育/研究机构 快速搭建可复用的多 Key 代理服务 ★★★★☆

操作指南

快速上手 Gemini Balance:

  1. 配置环境变量:在 .env 中填写 API_KEYS="key1,key2",可选设置 PROXIESFILTERED_MODELS
  2. 启动服务:本地运行 python main.py 或使用 docker compose up -d
  3. 调用接口:
    • OpenAI 格式:
      curl http://localhost:8000/v1/chat/completions -H "Authorization: Bearer sk-..."
      
    • Gemini 格式:
      curl http://localhost:8000/gemini/v1beta/models/gemini-pro:generateContent
      
  4. 通过 /keys_status 页面监控 Key 状态与健康指标。
  5. (可选)使用管理脚本一键切换代理或更新端口。

支持平台

Gemini Balance 提供灵活的部署方案:

  • Python + FastAPI——异步架构高效处理并发请求。
  • Docker 镜像——支持 AMD 与 ARM 架构,官方镜像 ghcr.io/snailyp/gemini-balance:latest 可直接部署。
  • Nginx + SSL/mkcert——快速配置 HTTPS 反向代理,支持本地开发与生产环境。
  • 网络与代理支持——每个请求可单独指定 HTTP/SOCKS5 代理,兼容 Cloudflare Worker 或 Gemini 官方代理。

产品定价

Gemini Balance 开源免费,适合个人、团队及企业使用,无使用次数限制。

常见问题

Q1:是否兼容 OpenAI 接口?
A1:支持 OpenAI 格式的 CHAT、embeddings 与图文接口,可无缝迁移应用。

Q2:如何保证高可用性?
A2:通过多 Key 轮询、负载均衡、失败自动禁用和定时检测实现高可用服务。

Q3:能否在本地开发环境使用?
A3:提供完整本地部署指南,包括 nginx、SSL/mkcert 和 hosts 配置,可快速启动开发环境。

跳跳兔小结

Gemini Balance 提供多 Key 管理、负载均衡、协议兼容及高可用监控能力,是开发者和团队构建 Gemini 服务栈的理想工具。它适合需要高并发调用、多模态能力和安全可靠环境的应用场景。不适合仅依赖单 Key 或不关注监控与负载管理的轻量开发项目。通过该工具,开发者能够快速搭建稳定、易扩展的 Gemini 代理服务,为多模态 AI 应用接入扫清障碍。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...