#22913 - The Thermodynamic Efficiency Inversion — Charles Duprat
Une étude sur le coût énergétique d’une question posée à un LLM par rapport à une question posée dans un moteur de recherche.
Le résultat peut surprendre.
Quand on demande à une LLM, ils recrache (normalement) l’info qu’il a trouvé ailleurs, parfois en citant la source. Google le fait aussi avec ses snippets d’information.
Dans le cas de Google, si on s’en tient à ces snippets, ça revient, d’une point de vu énergétique, au même.
Mais si l’on clique sur un lien pour aller lire la page, le coût explose : ça fait fonctionner un autre serveur, et généralement aussi ceux de Cloudflare, les régies de pub, les CDN et toute la myriade de services connectés.
Les LLM font aussi un office assez performant de filtre de publicité (en tout cas pour le moment — ça ne va sûrement pas durer), ce qui en soit réduit la charge côté client, et côté serveur.
Une partie du coût énergétique des LLM est aussi décrié parce qu’en 4 ans, ils ont dépensé une fraction de ce que Google/Bing/AWS/Cloudflare ont dépensé en 25 ans.
Sur le plan de l’énergie un LLM revient à aller à la bibliothèque pour chercher une info. Y a une bibliothèque en ville, celle ou tout le monde va et c’est assez efficient. Alors que sans elle, chaque personne va aller acheter chaque bouquin qui existe, ce qui est naturellement bien plus consommateur de ressources.
J’attends de voir les critiques académiques sur cette étude, mais ça me semble déjà moins simple que de dire « les LLM vont siphonner toute l’énergie ». D’une c’est probablement pas vrai, de deux ce n’est sûrement pas eux les pires.
C’est comme ceux qui dénoncent la consommation d’eau sans se dire que ça tourne en circuit fermer dans tous les datacenters ; ça serait comme dire qu’un cœur humain pompe 7 m³ de sang par jour, et qu’il faut beaucoup de sang pour ça. C’est ridicule.
Cela ne lave pas les LLM des problèmes éthiques (à plusieurs niveaux : mensonge sur l’information, censure possible, vol de données, travail sous payé derrière, etc), techniques, économiques… Mais sur le plan de l’énergie, il faut voir un peu plus loin.