Pick The Right Brain, Pay The Right Price

Teil des Vibe Coding: Advanced Engineering-Kurses

Die Wahl des Modells ist eine Ingenieursentscheidung von derselben Art wie die Wahl einer Datenbank oder einer Warteschlange: Es gibt nicht die eine beste Option, sondern nur die, die zur jeweiligen Last passt. Bei jeder Anfrage zum größten Modell zu greifen, ist das Gleiche, wie jeden Job auf dem größten Instanztyp laufen zu lassen.

Jede konkrete Zahl in diesem Bereich verfällt. Modellnamen ändern sich, Preise fallen, Kontextgrenzen wachsen, und eine Lektion, die einen Preis pro Million Token fest einprogrammiert hätte, wäre binnen eines Quartals falsch. Deshalb vermittelt diese Lektion bewusst das Entscheidungsverfahren und nicht die Preisliste. ...