Dünne weiße Routen, die sich zwischen zwei kleinen Endpunkten verzweigen, eine davon rot hervorgehoben. KI-generiertes Bild
AI

Wie aus einer Tabelle ein AI-Inference-Router wurde

Von Paul Piper 3 Min. Lesezeit

Ich bin eher zufällig auf Spot-Pricing für AI-Compute gestoßen. Und habe dann natürlich einen Service daraus gebaut.

Die Kurzfassung: GPU-Preise schwanken enorm zwischen Anbietern. Gleiches Modell, gleicher Output, unterschiedliche Kosten je nach Zeitpunkt und Anbieter. Dieselbe GPU kann bei zwei Anbietern in derselben Stunde sehr unterschiedlich kosten. Morgen sehen die Zahlen wieder anders aus.

Das habe ich auf die harte Tour gelernt. Ich hatte AIVory Guard bei einem einzelnen Anbieter laufen, den ich ausgewählt hatte, weil er zum Zeitpunkt meiner Recherche am günstigsten war. Einen Monat später war die Rechnung höher als erwartet. Die Preise hatten sich verschoben und ich hatte es nicht gemerkt.

Also habe ich eine Tabelle geöffnet. Alle Anbieter aufgelistet, ihre Preise, Latenz, Uptime. Zum neuen günstigsten gewechselt. Die Rechnung ging runter. Für etwa eine Woche.

Die Tabelle war am Dienstag korrekt und am Freitag falsch. GPU-Spotpreise bewegen sich wie Strommärkte. Anbieter haben ungenutzte Kapazität zwischen Reservierungen und verkaufen sie mit Rabatt, manchmal 60% unter On-Demand. Aber der Preis schwankt mit der Nachfrage, und nicht alle Anbieter haben ihre Spitzen zur gleichen Zeit.

Von der Tabelle zum Router

Ich habe ein Script geschrieben, das stündlich Preise geprüft und den günstigsten ausgewählt hat. Dann habe ich Health Checks hinzugefügt, weil der günstigste Anbieter auch der war, der am häufigsten ausfiel. Dann kamen Latenz-Filter dazu, weil manche Anbieter schnell, aber weit weg sind. Dann automatisches Failover, weil wenn ein Anbieter mitten im Request ausfällt, man woanders nochmal probieren muss, nicht warten.

Ab diesem Punkt war es kein Script mehr. Es war ein Service. Eine Zeile im Code ändern - die API Base URL - und der Router schickt jeden Request an den Anbieter, der gerade am günstigsten ist, Kapazität hat und die Latenz-Anforderungen erfüllt. Wir nennen es Smart Inference.

Die Routing-Entscheidung dauert etwa 50ms. Das ist der Overhead. Für Echtzeit-Chat spürbar. Für Batch-Verarbeitung, Content-Generierung, Hintergrund-Jobs ist es nichts.

Die Schwierigkeit war nicht das Routing

Die Routing-Logik war überschaubar. Die Schwierigkeit war das Health Monitoring.

GPU-Anbieter fallen aus. Sie erreichen Kapazitätsgrenzen. Sie haben Wartungsfenster, die sie auf Twitter ankündigen statt über ihre API. Ein Anbieter hat sechs Stunden lang 200 OK mit leeren Antworten zurückgegeben, bevor wir es gemerkt haben. Ein anderer hat Requests still in eine Warteschlange geschoben - die Antwort kam, irgendwann, nach 45 Sekunden Wartezeit.

Also haben wir Health Checks gebaut, die alle 60 Sekunden echte Inference-Requests senden. Kleine, ein paar Tokens. Wir messen echte Antwortzeit, echte Output-Qualität, echte Fehlerraten. Ein Anbieter, der langsamer wird, bekommt niedrigere Priorität, bevor er komplett ausfällt.

Die andere Schwierigkeit: Preisdaten. Nicht jeder Anbieter veröffentlicht Echtzeit-Spotpreise über eine API. Manche aktualisieren ihre Preisseite einmal am Tag. Manche verhandeln individuelle Raten. Am Ende haben wir Scraper gebaut, API-Zugang verhandelt und in manchen Fällen einfach unsere eigenen Abrechnungsdaten überwacht, um aktuelle Raten abzuleiten.

Wo es nicht funktioniert

Fine-tuned Models sind an einen Anbieter gebunden. Wenn du bei Lambda fine-tuned hast, kannst du nicht zu CoreWeave routen - die haben deine Weights nicht. Wir können zwischen Anbietern routen, die dasselbe Base-Modell hosten, nicht Custom Weights.

Latenz-kritische Endpoints mit Sub-100ms-Anforderungen brauchen eine dedizierte Instanz nahe an den Usern. Der 50ms Routing-Overhead plus mögliches geografisches Routing macht das ungeeignet.

Anbieter-spezifische Features - Structured Output, erweiterte Context Windows, bestimmte Function-Calling-Implementierungen - brechen, wenn du weg vom Anbieter routest, der sie anbietet.

Batching und Caching

Routing ist nicht der einzige Hebel. Batchen, wenn möglich: Hintergrundverarbeitung, Nacht-Reports und Content-Generierung brauchen keine Echtzeit-Antworten, und Batch-Jobs füllen GPU-Leerlauf und kosten 2-3x weniger. Auch Cachen hilft: Identische Prompts mit identischen Inputs kommen häufiger vor als man denkt, und ein Redis-Cache vor dem Inference-Endpoint hat 15% unserer Requests eingespart.

Preise

Der Service läuft auf Prepaid-Credits. Kein Abo, kein Minimum. Du lädst Credits auf und wir ziehen zum tatsächlichen Spot-Preis plus einer kleinen Routing-Gebühr ab. Wenn du es ausprobieren willst - aivory.net/smart-inference. Eine Zeile ändern. Guck dir die Rechnung nach einer Woche an.

Wie immer halte ich euch auf dem Laufenden ;)