Combien consomme un prompt Llama ?

Source : Table 4 de Jegham et al., arXiv 2505.09598 (version 6, 24 novembre 2025). Les énergies sont celles de la table, en Wh, moyenne par requête. « n. d. » : l'étude n'a pas testé ces deux modèles sur un prompt long (limite de fenêtre de contexte). Ce sont des estimations modélisées pour un hébergement supposé sur AWS, pas des mesures sur les serveurs.

Combien consomme un prompt Llama selon la taille du modèle ?

De 0,05 Wh à 2,23 Wh sur un prompt court, et de 0,44 Wh à 25,20 Wh sur un prompt long. L'étude teste dix versions de Llama et trois tailles de prompt : court (100 tokens en entrée, 300 en sortie), moyen (1 000 et 1 000) et long (10 000 et 1 500). Un token est un morceau de mot. Le tableau ci-dessus donne les vingt-huit valeurs de l'étude. Entre Llama 3.1 8B et Llama 3.1 405B, la consommation est multipliée par environ 43 sur un prompt court et par environ 57 sur un prompt long. Ces rapports sont calculés par ce site : l'étude ne les publie pas.

Un Llama plus gros consomme-t-il toujours plus ?

Non. La taille compte beaucoup, mais elle n'explique pas tout. Llama 3.3 70B consomme 0,24 Wh sur un prompt court et Llama 3.1 70B 1,27 Wh : 5,4 fois plus, pour une taille annoncée identique. Sur un prompt long, l'écart monte à 13,3 fois (1,45 Wh contre 19,18 Wh). Llama 3.2 Vision 90B, pourtant plus gros, consomme aussi moins que Llama 3.1 70B sur un prompt long : 6,85 Wh contre 19,18 Wh. L'étude n'explique pas ces écarts. Sa méthode part du temps de réponse observé sur des services publics : une version qui répond plus vite pèse moins, quelle que soit sa taille.

Ces chiffres valent-ils pour un Llama que l'on fait tourner soi-même ?

Pas directement. L'étude suppose que Llama tourne chez AWS, sur des serveurs Nvidia de classe H100 ou H200, avec le rendement moyen des centres de données d'AWS. Un Llama installé sur vos propres machines, chez un autre hébergeur ou sur une autre carte graphique aura une autre consommation. La même étude trouve de grands écarts entre deux hébergeurs pour un même modèle : voir la page DeepSeek de ce site.

Et pour l'eau et le CO₂ ?

L'étude ne les détaille que dans un graphique, sauf pour les plus petits modèles. Le texte précise que Llama 3.2 1B, Llama 3.2 3B, Llama 3.1 8B et Llama 3 8B émettent moins de 0,3 g de CO₂e et consomment moins de 4 mL d'eau, même sur un prompt long. Ce site ne donne donc aucune valeur d'eau ni de CO₂ pour les gros Llama.

Ces chiffres sont-ils fiables, et tiennent-ils dans le temps ?

Ils donnent un ordre de grandeur et des rapports entre versions, pas une facture exacte. Il s'agit d'un préprint arXiv qui modélise la consommation sans accès aux serveurs, et qui a été révisé : toute comparaison avec un chiffre lu ailleurs doit citer la version, ici celle du 24 novembre 2025. L'étude publie aussi un écart-type pour chaque valeur, que le tableau de cette page ne reprend pas. Un prompt court mesure le coût d'une question simple, pas celui d'un usage moyen.