Comprendre la consommation énergétique du travail d'apprentissage machine

Hello,

C’est la rentrée. L’occasion de se remettre à écrire. L’autre jour, Stéphane me demandait des ressources pour calculer l’empreinte carbone du machine learning.

Il y a deux directions pour répondre à cette problématique :

1. La consommation de l’usage d’un modèle. Par exemple, quelle est l’empreinte d’une requête d’un moteur de recherche.
2. La consommation de mise en place de l’infrastructure de calcul. Par exemple, quelle l’empreinte pour que le moteur de recherche puisse répondre à la question.

Cette décomposition s’applique autant à un moteur de recherche, la réponse à une commande vocale que le prompt pour la production d’images synthétiques.

Concernant le coût du modèle, c’est le deuxième point. Il me semble que cela tient essentiellement à nouveau à deux facteurs : la complexité de l’algorithme et le flux matériel mobilisé par l’entrainement du modèle (i.e la consommation électrique).

Quelques liens

Du code tout prêt pour calculer l’empreinte d’un bout de code :

• https://github.com/lfwa/carbontracker
• https://codecarbon.io/

La consommation électrique :

• https://mlco2.github.io/impact/#compute
• https://www.electricitymaps.com/

Des papiers sur le sujet :

• https://arxiv.org/ftp/arxiv/papers/2204/2204.05149.pdf
• https://hal.archives-ouvertes.fr/hal-03376391/document

à bientôt !