Ich betreibe lokale Modelle auf eigener Hardware für manche Aufgaben und Cloud APIs für andere. Man fragt mich, was besser ist, als wäre das eine philosophische Frage. Ist es nicht. Es ist eine Kosten- und Latenzfrage, und die Antwort hängt davon ab, was man damit macht. Die richtige Antwort ist fast immer ein Mix. Fangt mit eurem Request-Volumen und euren Latenzanforderungen an, dann ergibt sich, welche Aufgaben wohin gehören.
Was wir betreiben
Wir betreiben beides. Ein 7B-Modell läuft lokal für Content-Klassifikation. Es sortiert eingehende Inhalte in Kategorien, vergibt Tags und macht weiter. Die Qualität ist für diese Aufgabe nicht von einer Cloud API zu unterscheiden, und die Grenzkosten pro Request sind nach dem GPU-Kauf praktisch null. Für alles andere nutzen wir Cloud APIs über Smart Inference, dynamisch zum jeweils günstigsten Anbieter geroutet, der die Latenzanforderungen erfüllt. Die Kombination kostet weniger als jeder Ansatz allein.
Der Fehler, den die meisten Teams machen: Sie entscheiden sich für einen Ansatz und nutzen ihn für alles, komplett Cloud oder komplett lokal. Lokal gehören die hochvolumigen, wenig komplexen Aufgaben, bei denen man die Hardwarekosten kontrolliert. In die Cloud gehören die komplexen, variablen Aufgaben, bei denen Flexibilität und Modellzugang wichtiger sind als die Kosten pro Request.
Wann lokal Sinn ergibt
Bei einer Aufgabe, die tausende Male am Tag läuft, mit kurzen Inputs und vorhersagbaren Outputs wie Klassifikation, Extraktion oder einfachem Q&A, ist ein lokales Modell günstiger. Man zahlt die Hardware einmal (oder mietet eine dedizierte GPU) und schickt so viele Requests, wie man will. Es gibt keine Per-Token-Abrechnung, keine Rate Limits und keine Abhängigkeit von der Uptime eines Dritten.
Lokal ergibt auch Sinn, wenn Daten die eigene Infrastruktur nicht verlassen dürfen. Healthcare, Finanzsektor, öffentliche Verwaltung: Manche Kunden können schlicht keine Daten an eine Dritt-API senden, egal was in deren Datenschutzrichtlinie steht. Ein lokales Modell auf der eigenen Hardware löst das Problem vollständig.
Dazu kommt die Latenz. Ein lokales Modell im eigenen Netzwerk spart sich den Weg über das Internet. Eine Cloud API bringt Netzwerk-Roundtrip, Wartezeiten und die aktuelle Last beim Anbieter dazu. Für interaktive Anwendungen, bei denen jede Millisekunde zählt, ist lokal schneller.
Wann Cloud Sinn ergibt
Für komplexes Reasoning, Langtextgenerierung, Code Review und alles, was ein großes Modell braucht, sind Cloud APIs die praktische Wahl. Ein 70B+-Modell lokal zu betreiben erfordert ernsthafte Hardware. Eine H100 ist teuer in der Anschaffung, und der operative Aufwand, sie am Laufen, aktuell und gesund zu halten, ist echte Arbeit.
Cloud APIs ergeben auch Sinn, wenn das Volumen niedrig oder unvorhersagbar ist. Bei 500 Requests am Tag sind die Per-Token-Kosten einer Cloud API günstiger, als eine GPU rund um die Uhr warm zu halten. Der Kipppunkt hängt vom Modell und der Aufgabe ab. Darunter ist Cloud günstiger, darüber beginnt die Rechnung, lokal zu favorisieren.
Und Modellvielfalt: Wer zwischen einem kleinen Modell für Klassifikation, einem großen für Generierung und einem Code-spezialisierten für Review wechseln muss, kann das mit Cloud APIs tun, ohne mehrere Deployments zu verwalten. Genau das macht Smart Inference: jeden Request zum richtigen Modell beim richtigen Anbieter zum richtigen Preis routen.