Op zoek naar groene AI

Dit is blog 17 in de blogreeks over Green IT.

AI kent een schrikbarend energie- en waterverbruik, zo viel te lezen in de vorige blog. Er wordt dan ook veel onderzoek gedaan naar manieren om op duurzame(re) wijze AI in te zetten. In deze blog gaan we op zoek naar groene AI. Dit doen we door te kijken naar de 4M’s van machine learning, een model dat belangrijke richtlijnen biedt voor het reduceren van energieverbruik in AI. Vervolgens vertalen we deze inzichten naar de erfgoedsector en doen we aanbevelingen om AI duurzamer in te zetten.

De 4M’s van machine learning

Volgens onderzoekers van Google en de Universiteit van Berkeley zijn er vier factoren die het energieverbruik van AI-modellen in de toekomst kunnen beïnvloeden. (1) Een handig ezelsbruggetje: ze beginnen allemaal met de letter M:

1. Model: het machine learning model dat het AI-probleem aanpakt;
2. Machine: de computerhardware waarop het model draait. Samen bepalen ze hoe lang een trainingsfase duurt en hoeveel energie het verbruikt.
3. Mechanisatie: het datacenter waar de hardware staat. Dit bepaalt hoe efficiënt de energie wordt geleverd.
4. Map: de geografische locatie van het datacenter. Deze bepaalt hoe schoon de energietoevoer is. De cloud maakt het makkelijk om de groenste locatie te kiezen. Microsoft experimenteert zelfs met datacentra op de oceaanbodem voor betere koeling. (2)

Het 4M-model bewijst zijn waarde. Het Generalist Language Model (GlaM) van Google, dat ontwikkeld is met deze vier factoren in gedachten, verminderde de CO2-uitstoot met een factor 154! Hetzelfde onderzoek laat zien dat geoptimaliseerde hardware complexe berekeningen 50 keer sneller kan uitvoeren dan conventionele hardware, en dat met 2-3 keer minder energie. (3)

Nieuwe chip ontworpen

De AI-sector zoekt constant naar verbeteringen in de 4M’s. Nvidia, de grootste leverancier van grafische chips om generatieve AI te kunnen draaien, kondigde in november 2023 een nieuwe generatie aan. Deze krachtigere chips zorgen voor betere prestaties van AI-toepassingen. (4)

Alle grote techbedrijven doen onderzoek naar energie-efficiënte AI-chips. Wanneer je op internet zoekt, struikel je over de nieuwskoppen waarin nog snellere en krachtigere chips worden aangekondigd. Allemaal zijn ze op zoek naar de beste prestaties. Eén onderzoek dat ik hier graag wil benadrukken, is dat van IBM Research samen met universiteiten in Zwitserland en Groot-Brittannië.

Omdat data is opgeslagen in het geheugen buiten de chip, moeten gegevens voortdurend heen en weer worden verplaatst tussen het geheugen en de verwerkingseenheid, de chip. Dit wordt ook wel de Von Neumann Bottleneck genoemd. Deze continue verplaatsing van data verbruikt veel energie. Om dit probleem tegen te gaan, moet de gebruikte elektronica worden herzien. Concreet betekent dit dat de opslag van data en de berekeningen op één plek moeten plaatsvinden. Hiervoor heeft IBM een neurale chip ontwikkeld genaamd North Pole. (6)

Hoewel de eerste resultaten van het onderzoek veelbelovend zijn, is er nog aanzienlijk meer onderzoek nodig. Tot nu toe richtte het onderzoek zich op beeldherkenning en het classificeren van afbeeldingen, maar de volgende stap is het toepassen van deze technologie bij generatieve AI, waarbij het begrijpen en verwerken van taal centraal staan.

Recyclen van algoritmes

Naast het ontwikkelen van efficiëntere hardware wordt er ook gekeken naar de algoritmes die worden gebruikt. Niet elk algoritme verbruikt namelijk evenveel energie. Door anders te programmeren kan energie bespaard worden. Bovendien kan de hoeveelheid gebruikte energie verminderen door algoritmes te hergebruiken. De software hoeft dan minder bij te leren, omdat het algoritme kan voortbouwen op bestaande kennis. (7)

Vereenvoudig het AI model en gebruik minder data

Luis Cruz, onderzoeker aan de TU Delft, ziet vereenvoudiging als de favoriete strategie om energie te besparen binnen AI. Hij stelt dat ‘niet alle gegevens die je gebruikt om een model te trainen echt een verschil maken. Dus, in plaats van alle gegevens die je hebt in het trainingsproces te dumpen, kun je veel energie besparen met een slimme dataselectiestrategie, waarbij alleen gegevens worden verzameld die van belang zijn voor het model en de applicatie in kwestie.’

Daarnaast merkt hij op dat het ‘de trend is om een AI-model voortdurend bij te scholen wanneer nieuwe gegevens beschikbaar komen. We moeten ons afvragen of dat echt nodig is. Kunnen we een energie-efficiëntere oplossing bedenken voor gebruikers die de nieuwe gegevens echt nodig hebben?’

Tot slot geeft Cruz aan dat ‘Wanneer het model eenmaal is getraind, (..) ook energie (kan) worden bespaard door de complexiteit van het model te verminderen. Dit betekent dat je het meest complexe AI-model traint en vervolgens een eenvoudiger model bedenkt dat zich hetzelfde gedraagt, maar alleen die delen van het model leert die er echt toe doen. Alle overbodige neuronen worden verwijderd. Hierdoor kan het model tien keer zo eenvoudig worden, terwijl de prestaties hoog blijven. Op die manier verminder je gratis het energieverbruik.’ (8)

Ons energiezuinige brein simuleren

In het onderzoek naar efficiëntere AI wordt vaak gekeken naar de werking van het menselijk brein. Ons brein gebruikt, vergeleken met computers, heel weinig energie, maar wordt toch vanaf onze geboorte steeds slimmer. Met dit in gedachten hebben Nederlandse onderzoekers van het Centrum voor Wiskunde en Informatica in Amsterdam een energiezuinig algoritme ontwikkeld dat het energieverbruik voor bepaalde AI-toepassingen met een factor 1000 kan verminderen. Net als het menselijk brein werkt deze software met ‘spikes’, korte pulsen, in plaats van het continu verzenden van signalen. (9)

Aanbevelingen voor de erfgoedsector

De 4M’s bieden aanknopingspunten voor erfgoedinstellingen om bij de inzet van AI voor een specifiek project de juiste vragen te stellen en afwegingen te maken. Hier zijn enkele aanbevelingen.

CO2-impact beoordelen

• Wanneer je een AI-model inzet, kijk dan vooraf of er gegevens beschikbaar zijn over de CO2-impact van het model. Steeds meer stemmen pleiten ervoor dat elke toepassing van een AI-model zou moeten rapporteren over het energieverbruik. Dit komt pas echt in beweging als gebruikers hier vragen over stellen.
• Stel als voorwaarde bij de start van een project dat je de CO2-impact wilt kunnen meten. Er zijn verschillende (gratis) calculators beschikbaar die je informatie kunnen geven over de impact van jouw project. Je hebt hiervoor de leverancier van je AI nodig om technische specificaties te verkrijgen over het datacenter waar jouw AI-toepassing draait. Neem dit op in de eisen die je vooraf aan het project stelt.
• Als je leverancier deze informatie niet wil geven, probeer dan ten minste te achterhalen in welke geografische locatie het AI-model draait, zodat je kunt inschatten in hoeverre groene stroom de uitstoot van je project compenseert.

Kleinere datasets

• Beperk het energieverbruik door te onderzoeken of je met een kleinere dataset het AI-model voldoende kunt trainen en of er al bestaande AI-modellen zijn die je kunt hergebruiken. Er zijn verschillende online bibliotheken met herbruikbare algoritmes.

Transparantie en documentatie

• Wanneer je zelf een algoritme schrijft, leg dan vast hoe het model is opgebouwd zodat anderen het kunnen hergebruiken. Op LinkedIn vind je een uitgebreide toelichting over hoe je dit kunt doen. (11)

De belangrijkste vraag blijft echter: weegt de inzet van AI en de bijbehorende CO2-uitstoot op tegen het doel waarvoor je deze techniek inzet? Dit principe is vergelijkbaar met de discussie over datacentra: ze kunnen steeds groener worden, maar verbruiken uiteindelijk wel energie die niet voor iets anders kan worden gebruikt.

In de volgende serie blogs ga ik in op de dilemma’s die je als gebruiker tegenkomt bij de inzet van groene IT-principes in de praktijk.

Blogserie

Deze blogpost is onderdeel van een serie blogposts over Green IT geschreven in opdracht van de gelijknamige netwerkgroep van het Netwerk Digitaal Erfgoed (NDE). Deze netwerkgroep monitort de ontwikkelingen rondom Green IT en de impact van de voortschrijdende digitalisering op het klimaat. Specifiek wordt daarbij gekeken naar de (toenemende) digitalisering binnen de erfgoedsector.

Eerder verschenen in deze blogserie

Thema: Introductie Green IT

1 De dubbele rol van IT in duurzaamheid

2. De noodzaak van een duurzaamheidskader voor de erfgoedsector

Thema: Dataopslag

3. De digitale databerg

4. De verborgen impact van cloudopslag

5 1% van alle data ter wereld bewaren – wat kost dat aan CO2-uitstoot?

6 De zoektocht naar duurzame alternatieven voor disks en tapes

7 Dataopslag in synthetisch DNA: coderen en decoderen in geheimschrift

8 Dataopslag in atomen: sciencefiction of toekomstige realiteit?

9 Dataopslag in glas: Superman is alvast vereeuwigd

Thema: Groene Software

10 Groene software: minder energie = minder CO2-uitstoot

11 Groene software: Meer doen als de energie schoner is

12 Groene software: Verleng het leven van je (gebruikte) IT apparatuur

13 Groene software: Meten om te weten en te verbeteren.

Thema: Kunstmatig Intelligentie

14 Introductie Kunstmatige Intelligentie: vriend of vijand?

15 AI binnen digitaal erfgoed is niet nieuw

16 De paradox van AI's milieu-impact: dit moet je weten

Gebruikte bronnen:

1. Patterson, D., 'Reducing the carbon emissions of AI', gepubliceerd op EOCD.ai op 12 april 2022.
2. Lees meer over Microsofts onderwater datacenters (project Natick).
3. Patterson, D. e.a. 'The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink' on TechRxiv, laatst bekeken op 23 november 2023.
4. AG connect, 'In GPU-schaarste door AI-hype komt Nvidia met volgende generatie AI-chip', 14 november 2023.
5. Marelli, V. ‘Hoe verwijden we dat AI uitdraait in een ecologische ramp?’, gepubliceerd op 10 mei 2022.
6. Murphy, M., ‘A new chip architecture points to faster, more energy-efficient AI’, gepubliceerd op 19 oktober 2023 op https://research.ibm.com/blog/northpole-ibm-ai-chip.
7. Kreijveld, M., ‘Hoe de carbon footprint van kunstmatige intelligentie kan worden gereduceerd’, gepubliceerd op 16 juni 2019, geüpdatet op 5 oktober 2020.
8. TU Delft stories, ‘Duurzame kunstmatige intelligentie: van ChatGPT naar groene AI: een interview met Luiz Cruz’.
9. Yin B., e.a., ‘Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks’, gepubliceerd 28 juli 2020.
10. Twee gratis beschikbare calculators zijn CodeCarbon.io en The Green Algorithms Calculator. Met CodeCarbon.io kun je op een eenvoudige manier nagaan wat de hoeveelheid energie is van het computergebruik voor een bepaalde applicatie of AI-model. The Green Algorithms Calculator berekent, op basis van de tijd waarin het AI-model draait, het type cores (processorkernen), het aantal GPU's (grafische kaart), het AI-model zelf, het aanwezige geheugen en de gebruikte server of platform en de CO2-impact van jouw project. Je ontvangt naast de resultaten ook vergelijkingen met bijvoorbeeld het aantal bomen dat je zou moeten planten, wat dit betekent in gereden kilometers en in aantal vluchten.
11. LinkedIn, 'How do you document your algorithms for reuse?', voor het laatst geüpdatet op 23 augustus 2023.