Coût énergétique de l’inférence des LLM – Podcast
Comments are closed.
Cette étude explore l’impact de la conception des prompts et des caractéristiques des réponses sur la consommation d’énergie des grands modèles linguistiques (LLMs) pendant l’inférence. En utilisant trois modèles open-source et différents types de tâches, les chercheurs ont constaté que la longueur de la réponse a une corrélation très forte avec l’énergie consommée, plus significative que la longueur du prompt. Le sens sémantique de la tâche et l’utilisation de mots-clés spécifiques sont également identifiés comme des facteurs importants influençant la longueur de la réponse et, par conséquent, le coût énergétique. Les résultats suggèrent que l’optimisation de la conception des prompts est cruciale pour améliorer l’efficacité énergétique de l’inférence des LLMs.