collected.tools.

LLM Gateway

Jedno API do modeli od ponad 40 dostawców

O co chodzi

LLM Gateway to brama z interfejsem zgodnym z OpenAI, przez którą dostępnych jest ponad 250 modeli od ponad 40 dostawców. Istniejące SDK zostają, zmienia się tylko nazwę modelu, a przy awariach brama przekierowuje zapytania do innych dostawców tego samego modelu. Koszty, opóźnienia i błędy są rejestrowane dla każdego zapytania, a rdzeń jest otwarty na licencji AGPL-3.0 i można go hostować samodzielnie przez Docker lub Kubernetes.

Dlaczego trafiło do katalogu
  • Zgodne z OpenAI, zmiana modelu jednym stringiem
  • Automatyczne przełączanie między dostawcami
  • Koszty i limity wydatków dla każdego zapytania

Powiązane wpisy