Ich betreibe einen Service, der AI-Inference zur günstigsten verfügbaren GPU routet. Daher verbringe ich unverhältnismäßig viel Zeit damit, auf Preis-Dashboards von Anbietern zu starren. Und was ich dabei immer wieder lerne: Der Listenpreis eines AI-Modells sagt dir fast nichts darüber, was Inference dich tatsächlich kostet.
Nehmen wir ein 70B-Parameter-Modell. Anbieter A verlangt $0,60 pro Million Input-Tokens. Anbieter B verlangt $0,90. Anbieter A ist günstiger, oder?
Nicht unbedingt. Anbieter A hat Cold Starts, die 3-8 Sekunden zum ersten Request addieren. Anbieter B hält Models warm. Anbieter A stellt Requests zu Spitzenzeiten in eine Warteschlange - deine p95-Latenz springt auf 30 Sekunden. Anbieter B nicht. Wenn du einen Chatbot betreibst, bedeuten diese Cold Starts direkt, dass User den Tab schließen.
Spotpreise bewegen sich wie Strom
GPU-Spotpreise ändern sich stündlich. Eine H100 kostet gerade $2,10/Stunde bei einem Anbieter. Gleiche GPU, gleiche Stunde, $3,80/Stunde bei einem anderen. Morgen drehen sich die Zahlen um. Wenn du an einen Anbieter gebunden bist, zahlst du ungefähr die Hälfte der Zeit zu viel.
Das wusste ich nicht, bis ich angefangen habe, es zu tracken. Ich hatte einen Anbieter ausgewählt, alles eingerichtet und dann vergessen. Für etwa einen Monat. Dann habe ich mir die Rechnung angesehen und verstanden, warum sie höher war als erwartet.
Der Preis pro Token ist nur eine Zahl. Cold-Start-Kosten, fehlgeschlagene Requests, Output-vs-Input-Token-Verhältnisse und Spotpreis-Schwankungen kumulieren sich. Eine Fehlerrate von 2% im großen Maßstab addiert 3-5% auf die effektiven Kosten, weil jeder fehlgeschlagene Request Compute verbraucht, bevor er scheitert, und du dann nochmal probierst.
Was die Rechnung tatsächlich gesenkt hat
Zuerst habe ich es mit einer Tabelle probiert. Anbieter aufgelistet, Preise verglichen, zum günstigsten gewechselt. Die Rechnung ging runter. Für ungefähr eine Woche. Dann haben sich die Preise verschoben und ich habe wieder zu viel gezahlt.
Also habe ich einen Router gebaut. Eine Zeile im Code ändern - die API Base URL - und er schickt jeden Request an den Anbieter, der gerade am günstigsten ist und tatsächlich antwortet. Daraus wurde Smart Inference.
Abgesehen vom Routing, die Dinge, die den größten Unterschied gemacht haben:
Das richtige Modell für den Job nehmen. Ein 7B-Modell bewältigt Klassifikation und einfaches Q&A genauso gut wie ein 70B. Wir nutzen Haiku für Routinearbeit und greifen nur für die größeren Modelle, wenn es auf Urteilsvermögen ankommt. Das allein hat die Kosten mehr gesenkt als jeder Anbieterwechsel.
Batchen, wenn möglich. Hintergrundverarbeitung, Nacht-Reports, Content-Generierung - nichts davon braucht Echtzeit-Antworten. Batch-Jobs füllen GPU-Leerlauf und kosten 2-3x weniger.
Cachen. Identische Prompts mit identischen Inputs kommen häufiger vor als man denkt. Ein Redis-Cache vor dem Inference-Endpoint hat 15% unserer Requests eingespart.
Output begrenzen. System Prompts, die nach JSON statt Prosa fragen, amortisieren sich sofort. Output-Tokens kosten bei den meisten Anbietern 3-5x mehr als Input-Tokens, und ausführliche Model-Antworten summieren sich schnell.
Wo der Markt hingeht
AI-Inference 2026 sieht aus wie Cloud Computing 2010. Die Preise fallen schnell, ungefähr 10x günstiger als vor zwei Jahren bei gleicher Qualität. Aber der Markt ist fragmentiert und noch hat niemand gewonnen. Die Gewinnerstrategie ist dieselbe, die bei Cloud funktioniert hat: nicht festlegen, dynamisch routen, alles messen.
Und wenn du das nicht alles selbst bauen willst - naja, genau dafür haben wir Smart Inference gebaut. Aber ehrlich gesagt, auch wenn du deins selbst baust, das Wichtige ist, Inference nicht mehr als Fixkosten zu behandeln. Sind es nämlich nicht.