Choisir le bon cerveau, payer le bon prix

Partie du cours Vibe coding : ingénierie avancée

Le choix d'un modèle est une décision d'ingénierie de même nature que le choix d'une base de données ou d'une file d'attente : il n'existe pas de meilleure option, seulement une adéquation à une charge de travail. Prendre le plus gros modèle à chaque requête revient à faire tourner tous ses traitements sur le type d'instance le plus puissant. Ça marche, ça masque votre inefficacité, et ça vous coûte ailleurs.

Tous les chiffres précis de ce domaine périment. Les noms de modèles changent, les prix baissent, les limites de contexte augmentent, et une leçon qui figerait un prix au million de jetons serait fausse en un trimestre. Cette leçon enseigne donc délibérément la procédure de décision et non la grille tarifaire. ...