多模型配置实战
配置多个 LLM Provider——主力模型、备用模型和 Failover 链。
多模型配置实战
OpenVort 支持配置多个大语言模型（LLM），实现主力模型 + 备用模型的 Failover 架构。当主力模型不可用时，系统自动切换到备用模型，保证 AI 员工不中断工作。
支持的 Provider
| Provider | 协议 | 支持的模型 |
|---|---|---|
| anthropic | Anthropic 原生 API | Claude 4 Opus / Claude 4 Sonnet / Claude 3.5 系列 |
| openai | OpenAI 兼容协议 | 通义千问 / DeepSeek / Moonshot / Ollama 本地模型等 |
OpenAI 兼容协议意味着，任何提供 OpenAI 格式 API 的服务都可以接入，包括国内主流大模型厂商和本地部署方案。
基础配置
在 .env 文件中配置默认 LLM：
# LLM provider: anthropic or openai
OPENVORT_LLM_PROVIDER=anthropic
# API key
OPENVORT_LLM_API_KEY=sk-ant-xxxxx
# API base URL (required for openai-compatible providers)
OPENVORT_LLM_API_BASE=https://api.anthropic.com
# Model name
OPENVORT_LLM_MODEL=claude-sonnet-4-20250514
使用国内模型时，只需将 Provider 设为 openai 并填写对应平台的 API 地址：
OPENVORT_LLM_PROVIDER=openai
OPENVORT_LLM_API_KEY=sk-xxxxx
OPENVORT_LLM_API_BASE=https://dashscope.aliyuncs.com/compatible-mode/v1
OPENVORT_LLM_MODEL=qwen-max
Failover 链配置
通过 Web 管理面板的模型管理页面配置 Failover 链：
- 进入 系统设置 -> 模型管理
- 添加多个模型配置，设置优先级
- 系统按优先级依次尝试，直到成功
Failover 触发条件：
- API 返回 5xx 错误
- 请求超时（默认 120 秒）
- API Key 余额不足（返回 429）
常见配置方案
方案 A：Claude 主力 + 通义千问备用
适合追求最佳效果、同时需要稳定性保障的团队：
| 优先级 | 模型 | 用途 |
|---|---|---|
| 1 | Claude Sonnet 4 | 主力模型，最佳编程能力 |
| 2 | 通义千问 Max | 备用模型，国内访问稳定 |
方案 B：纯国内模型
适合无法访问海外 API 的环境：
| 优先级 | 模型 | 用途 |
|---|---|---|
| 1 | 通义千问 Max | 主力模型 |
| 2 | DeepSeek Chat | 备用模型，性价比高 |
方案 C：本地部署（Ollama）
适合对数据安全要求极高、不允许数据出境的场景：
OPENVORT_LLM_PROVIDER=openai
OPENVORT_LLM_API_KEY=ollama
OPENVORT_LLM_API_BASE=http://localhost:11434/v1
OPENVORT_LLM_MODEL=qwen2.5:32b
模型选择建议
| 场景 | 推荐模型 | 原因 |
|---|---|---|
| 复杂编程任务 | Claude Sonnet 4 | 编程能力强，支持 Prompt Caching |
| 日常对话/问答 | 通义千问 Plus | 中文能力好，成本低 |
| 数据分析 | Claude / 通义千问 Max | 长上下文支持好 |
| 批量简单任务 | DeepSeek Chat | 性价比最高 |
| 隐私敏感 | Ollama 本地模型 | 数据不出本地 |
连通性测试
配置完成后，验证模型连通性：
# Check system health including LLM connectivity
openvort doctor
也可以在 Web 面板中直接与 AI 对话，观察响应是否正常。如果主力模型不可用，日志中会显示 Failover 切换记录。