https://www.ilscipio.com/tags/ai-inference/ Recent content in Ai-Inference on Ilscipio - Enterprise Commerce Experten Hugo de-DE Fri, 28 Aug 2026 00:00:00 +0000 https://www.ilscipio.com/blog/local-ai-vs-cloud-apis/ Fri, 28 Aug 2026 00:00:00 +0000 https://www.ilscipio.com/blog/local-ai-vs-cloud-apis/ <p>Ich betreibe lokale Modelle auf eigener Hardware für manche Aufgaben und Cloud APIs für andere. Man fragt mich, was besser ist, als wäre das eine philosophische Frage. Ist es nicht. Es ist eine Kosten- und Latenzfrage, und die Antwort hängt davon ab, was man damit macht.</p> <h2 id="wann-lokal-sinn-ergibt">Wann lokal Sinn ergibt</h2><p>Wenn man eine Aufgabe hat, die tausende Male am Tag läuft, mit kurzen Inputs und vorhersagbaren Outputs - Klassifikation, Extraktion, einfaches Q&amp;A - ist ein lokales Modell günstiger. Man zahlt die Hardware einmal (oder mietet eine dedizierte GPU) und schickt so viele Requests, wie man will. Keine Per-Token-Abrechnung, keine Rate Limits, keine Abhängigkeit von der Uptime eines Dritten.</p> https://www.ilscipio.com/blog/real-cost-ai-inference/ Tue, 18 Aug 2026 00:00:00 +0000 https://www.ilscipio.com/blog/real-cost-ai-inference/ <p>Ich betreibe einen Service, der AI-Inference zur günstigsten verfügbaren GPU routet. Daher verbringe ich unverhältnismäßig viel Zeit damit, auf Preis-Dashboards von Anbietern zu starren. Und was ich dabei immer wieder lerne: Der Listenpreis eines AI-Modells sagt dir fast nichts darüber, was Inference dich tatsächlich kostet.</p> <p>Nehmen wir ein 70B-Parameter-Modell. Anbieter A verlangt $0,60 pro Million Input-Tokens. Anbieter B verlangt $0,90. Anbieter A ist günstiger, oder?</p> <p>Nicht unbedingt. Anbieter A hat Cold Starts, die 3-8 Sekunden zum ersten Request addieren. Anbieter B hält Models warm. Anbieter A stellt Requests zu Spitzenzeiten in eine Warteschlange - deine p95-Latenz springt auf 30 Sekunden. Anbieter B nicht. Wenn du einen Chatbot betreibst, bedeuten diese Cold Starts direkt, dass User den Tab schließen.</p>