collected.tools.

LLM Gateway

Eine API für Modelle von über 40 Anbietern

Worum es geht

LLM Gateway ist ein Gateway mit OpenAI-kompatibler Schnittstelle, über das mehr als 250 Modelle von über 40 Anbietern erreichbar sind. Bestehende SDKs bleiben, gewechselt wird nur der Modellname, und bei Ausfällen leitet das Gateway Anfragen an andere Anbieter desselben Modells weiter. Kosten, Latenz und Fehler werden je Anfrage erfasst, der Kern steht unter AGPL-3.0 und läuft auch selbst gehostet.

Warum es aufgenommen wurde
  • OpenAI-kompatibel, Modellwechsel über einen String
  • Automatisches Failover zwischen Anbietern
  • Kosten und Ausgabenlimits je Anfrage

Verwandte Einträge