Ich betreibe lokale Modelle auf eigener Hardware für manche Aufgaben und Cloud APIs für andere. Man fragt mich, was besser ist, als wäre das eine philosophische Frage. Ist es nicht. Es ist eine Kosten- und Latenzfrage, und die Antwort hängt davon ab, was man damit macht.
Wann lokal Sinn ergibt
Wenn man eine Aufgabe hat, die tausende Male am Tag läuft, mit kurzen Inputs und vorhersagbaren Outputs - Klassifikation, Extraktion, einfaches Q&A - ist ein lokales Modell günstiger. Man zahlt die Hardware einmal (oder mietet eine dedizierte GPU) und schickt so viele Requests, wie man will. Keine Per-Token-Abrechnung, keine Rate Limits, keine Abhängigkeit von der Uptime eines Dritten.
Wir betreiben ein 7B-Modell lokal für Content-Klassifikation. Es sortiert eingehende Inhalte in Kategorien, vergibt Tags und macht weiter. Die Qualität ist für diese spezifische Aufgabe nicht von einer Cloud API zu unterscheiden, und die Grenzkosten pro Request sind nach dem GPU-Kauf praktisch null.
Lokal ergibt auch Sinn, wenn Daten die eigene Infrastruktur nicht verlassen dürfen. Healthcare, Finanzsektor, öffentliche Verwaltung - manche Kunden können schlicht keine Daten an eine Dritt-API senden, egal was in deren Datenschutzrichtlinie steht. Ein lokales Modell auf der eigenen Hardware löst das Problem vollständig.
Und Latenz. Ein lokales Modell im eigenen Netzwerk antwortet in 20-50ms. Eine Cloud API bringt Netzwerk-Roundtrip, Wartezeiten und was auch immer die aktuelle Last beim Anbieter gerade hergibt dazu. Für interaktive Anwendungen, bei denen jede Millisekunde zählt, ist lokal schneller.
Wann Cloud Sinn ergibt
Für komplexes Reasoning, Langtextgenerierung, Code Review, alles was ein großes Modell braucht - da sind Cloud APIs die praktische Wahl. Ein 70B+-Modell lokal zu betreiben erfordert ernsthafte Hardware. Eine H100 kostet über 25.000 Dollar in der Anschaffung, und der operative Aufwand, sie am Laufen, aktuell und gesund zu halten, ist echte Arbeit.
Cloud APIs ergeben auch Sinn, wenn das Volumen niedrig oder unvorhersagbar ist. Bei 500 Requests am Tag sind die Per-Token-Kosten einer Cloud API günstiger, als eine GPU rund um die Uhr warm zu halten. Der Kipppunkt hängt vom Modell und der Aufgabe ab, aber für die meisten Teams liegt er irgendwo bei 50.000-100.000 Requests pro Tag. Darunter ist Cloud günstiger. Darüber beginnt die Rechnung, lokal zu favorisieren.
Und Modellvielfalt. Wenn man zwischen verschiedenen Modellen für verschiedene Aufgaben wechseln muss - ein kleines für Klassifikation, ein großes für Generierung, ein Code-spezialisiertes für Review - dann erlauben Cloud APIs das, ohne mehrere Deployments zu verwalten. Genau das macht Smart Inference: jeden Request zum richtigen Modell beim richtigen Anbieter zum richtigen Preis routen.
Der Fehler, den die meisten Teams machen
Sie entscheiden sich für einen Ansatz und nutzen ihn für alles. Komplett Cloud oder komplett lokal. Die richtige Antwort ist fast immer ein Mix: lokal für die hochvolumigen, wenig komplexen Aufgaben, bei denen man die Hardwarekosten kontrolliert, Cloud für die komplexen, variablen Aufgaben, bei denen Flexibilität und Modellzugang wichtiger sind als die Kosten pro Request.
Wir betreiben beides. Lokales 7B für Klassifikation und Tagging. Cloud APIs über Smart Inference für alles andere, dynamisch zum jeweils günstigsten Anbieter geroutet, der die Latenzanforderungen erfüllt. Die Kombination kostet weniger als jeder Ansatz allein.
Die Frage ist nicht “lokal oder Cloud”. Die Frage ist “welche Aufgaben gehören wohin”. Fangt mit eurem Request-Volumen und euren Latenzanforderungen an. Der Rest ergibt sich.