EvoAI OS
docs
Model Gateway 指南
EvoAI 拥有自己的 Model Gateway：Provider / Model / Routing / Fallback / Cost / Policy。
已内置模型
| Provider | Model | 说明 |
|---|---|---|
| openai-compatible | deepseek-chat | 需 DEEPSEEK_API_KEY |
| ollama | llama3 | 本地 http://localhost:11434/v1 |
配置模型密钥
export DEEPSEEK_API_KEY=sk-xxx # 重启 API 生效
本地模型（免费）
# Ollama
ollama pull llama3
# vLLM / llama.cpp 等其他 OpenAI 兼容服务同理，配置 baseUrl 即可
注册新模型
POST /v1/models
{ "provider": "openai-compatible", "name": "qwen", "baseUrl": "https://api.example.com/v1", "apiKeyRef": "QWEN_API_KEY" }
# 查看全部
GET /v1/models
路由行为
- 模型不可达 → 诚实失败（Chat 显示执行失败并记录，不假装成功）
- 路由按任务类型（chat / coding）与本地优先策略选择
- 不强迫不支持外部 Gateway 的 Runtime（如 Codex）改模型