Один API для всех ваших AI-провайдеров
Интегрируйтесь один раз с платформенным контрактом. Переключайте провайдеров централизованно. Без изменений в коде продуктов.
Зачем AI Gateway
Абстракция провайдеров
Ваши продукты общаются с платформой, а не с OpenAI или Anthropic напрямую. Переключайте провайдеров в конфиге, а не в коде.
Маршрутизация по уровням
Запрашивайте small/medium/large — платформа маппит уровни на конкретные модели. Обновляйте модели без изменений в продуктах.
Fallback и отказоустойчивость
Автоматическое переключение провайдеров. Если один падает, трафик прозрачно перенаправляется на следующий.
Контроль расходов и использования
Per-tenant лимиты, контроль бюджета и отслеживание токенов. Видите, кто и сколько тратит.
Self-hosted и OSS
Работает на вашей инфраструктуре. Данные не покидают вашу сеть. Полный доступ к исходному коду.
OpenAI-совместимый API
Стандартный endpoint chat completions. Drop-in замена для любой интеграции с OpenAI SDK.
Как это работает
Продукты вызывают Gateway
POST /llm/v1/chat/completions с tier-based полем model (small, medium, large)
→Платформа маршрутизирует к провайдеру
LLMRouter резолвит уровень в настроенного провайдера и модель. Применяет лимиты и политики.
→Ответ возвращается обратно
Стандартный формат ответа OpenAI. Аналитика отслеживается автоматически. Продукты не видят провайдера.
curl -X POST http://gateway:4000/llm/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "medium",
"messages": [
{"role": "user", "content": "Explain this code"}
]
}'Хватит интегрировать AI-провайдеров в каждый продукт
Один платформенный контракт. Централизованное переключение. Полный контроль.