collected.tools.
API й сервісБекенд

LLM Gateway

Один API для моделей від понад 40 провайдерів

Про що йдеться

LLM Gateway є шлюзом з OpenAI-сумісним інтерфейсом, через який доступні понад 250 моделей від більш ніж 40 провайдерів. Наявні SDK лишаються, змінюється лише назва моделі, а під час збоїв шлюз перенаправляє запити до інших провайдерів тієї самої моделі. Вартість, затримка й помилки фіксуються для кожного запиту, а ядро відкрите під AGPL-3.0 і розгортається самостійно через Docker або Kubernetes.

Чому воно тут
  • OpenAI-сумісний, зміна моделі одним рядком
  • Автоматичне перемикання між провайдерами
  • Витрати й ліміти для кожного запиту

Схожі записи