Energetická náročnosť umelej inteligencie: meranie a výzvy

Marek T.

Energetická stopa umelej inteligencie a jej komplexnosť

Energetická stopa umelej inteligencie (AI) predstavuje dôležitú a aktuálnu tému v oblasti technológií a environmentálnej udržateľnosti. Diskusie o nej sú často zatienené buď senzáciou založenou na nedostatočných údajoch a nejasných metodikách, alebo na izolovaných číslach vytrhnutých z kontextu. Pre získanie reálnych a spoľahlivých dát o energetickej náročnosti AI systémov je potrebné definovať jasné hranice systému, transparentné predpoklady a používať porovnateľné metriky. Tento článok poskytuje systematický rámec merania energetickej náročnosti AI, upozorňuje na časté omyly pri interpretácii údajov a prináša praktické príklady a odporúčania pre perspektívnych výskumníkov, prevádzkovateľov i používateľov.

Rozlíšenie fáz a hranice energetických meraní

Fáza tréningu vs. inferencie

Pri sledovaní energetickej stopy AI je nevyhnutné rozlišovať medzi dvoma základnými fázami:

  • Tréning modelu: zahŕňa proces učenia, počas ktorého prebieha intenzívny výpočtový spôsob spotreby energie v relatívne obmedzenom časovom rámci.
  • Inferencia: predstavuje nasadenie modelu do prevádzky, pričom energia sa spotrebuje distribuovane počas vykonávania jednotlivých požiadaviek a trvá po celú dobu životnosti modelu.

Hranice systému pre správne meranie

  • Energetická spotreba IT zariadení: zahŕňa CPU, GPU a pamäťové moduly.
  • Celková spotreba dátového centra: zahŕňa aj spotrebu energie na chladenie, distribúciu energie, záložné napájanie (UPS) a ďalšie infraštrukturálne zložky. Pre korekciu sa používa ukazovateľ Power Usage Effectiveness (PUE).
  • Životný cyklus zariadení (LCA): komplexný pohľad zahŕňa nielen spotrebovanú elektrickú energiu, ale aj energiu vloženú do výroby čipov, serverov a infraštruktúry zariadení. Táto metóda je nevyhnutná predovšetkým pri rozhodovaní o dizajne infraštruktúry.

Metodiky a metriky na vyhodnotenie energetickej náročnosti

Základné veličiny spotreby a účinnosti

  • Energia (kWh): základný údaj vyjadrený ako súčin priemerného príkonu (v kW) a času činnosti (v hodinách).
  • Power Usage Effectiveness (PUE): pomer celkovej energie spotrebovanej dátovým centrom k energii využitej IT zariadeniami. Moderné dátové centrá dosahujú hodnoty v rozmedzí 1,1 až 1,3, zatiaľ čo staršie systémy môžu prekročiť hodnotu 1,5.
  • Emisný faktor siete: označený ako EF, udáva množstvo emisií CO2e v gramoch na kWh vyrobenej elektriny, pričom závisí od energetického mixu krajiny (uhlíkové zdroje versus obnoviteľné zdroje energie).

Intenzity spotreby vzťahované na výstupy služby

Meranie energie sa často prevádza na jednotku vykonanej služby, čo umožňuje porovnanie medzi rôznymi prístupmi:

  • kWh na celý tréning modelu
  • Wh na jednu inferenčnú požiadavku
  • Wh na generovaný token, generovaný obrázok alebo inú jednotku výstupu

Praktické príklady výpočtu energetickej stopy

Príklad 1: odhad spotreby energie pri tréningu stredne veľkého modelu

Nasledujúci výpočet ilustruje konzervatívny prístup s transparentne zadefinovanými premennými (hodnoty nie sú univerzálne):

  1. Hardvérové parametre: Používame 8 GPU, každý s príkonem približne 350 W počas tréningu, čo predstavuje základný IT príkon približne 2,8 kW. K tomu sa pripočíta zhruba 30 % na CPU, RAM a sieť, výsledný súčin je 3,64 kW.
  2. Čas tréningu: 1000 hodín, čím získame spotrebu IT zariadení vo výške 3 640 kWh.
  3. Úprava podľa PUE: S hodnotou PUE na úrovni 1,2 sa celková spotreba energie v dátovom centre vyšplhá na 4 368 kWh.
  4. Výpočet emisií: Pri emisnom faktore 400 gCO2e na kWh, celkové emisie predstavujú približne 1,75 tony CO2e.

Poznámka: Použitie energeticky čistejšieho mixu (napr. 100 gCO2e/kWh) môže znížiť emisie na približne 0,44 tony CO2e. Naopak, pri horšej infraštruktúre (PUE 1,6) a vyššom emisnom faktore (700 gCO2e/kWh) môžu emisie presiahnuť 4 tony CO2e. Tento príklad zdôrazňuje zásadný vplyv infraštruktúry a zdroja energie na konečnú uhlíkovú stopu.

Príklad 2: energetická spotreba na jednu inferenčnú požiadavku

Opäť ide len o orientačný príklad, keďže spotreba závisí od modelu, počtu generovaných tokenov, zdieľania zdrojov a ďalších premenných:

  1. Výkon GPU pri inferencii sa pohybuje medzi 200 až 400 W, no vzhľadom na zdieľanie a batchovanie je priemerný príkon na jednu požiadavku výrazne nižší.
  2. Dĺžka jednej inferenčnej požiadavky je približne 2 sekundy, čo pri priemernom príkonu 250 W predstavuje spotrebu energie okolo 0,139 Wh.
  3. Úprava podľa PUE 1,2 posúva spotrebu na približne 0,167 Wh na požiadavku, čo pri nízkouhlíkovom mixe vedie k emisiám v niekoľkých desiatkach miligramov CO2e.

Porovnanie: Táto energia je ekvivalentná spotrebe počas niekoľkých sekúnd HD videostreamu, alebo nenápadného nabitia mobilného telefónu o zlomok percenta. Pri vyšších záťažiach, ako je generovanie dlhých textov či obrázkov, však energia rastie úmerne so spracovaným obsahom.

Bežné chyby v interpretácii energetických údajov AI systémov

  • Prehliadanie PUE: Uvádzať len spotrebu GPU podhodnocuje skutočné náklady. Naopak neoverené multiplikačné faktory môžu obsah výrazne nafúknuť.
  • Zamieňanie tréningu s inferenciou: Alokovať celý tréning na jednu službu alebo požiadavku je zavádzajúce. Treba amortizovať tréningový náklad cez celý životný cyklus využitia modelu.
  • Fixný emisný faktor v čase a priestore: Rôzne časové obdobia a lokality majú rozličný mix elektrickej energie, čo značne ovplyvňuje skutočné emisie.
  • Nekonzistentné používanie životného cyklu zariadení: Niekedy sa LCA berie do úvahy, inokedy sa ignoruje – je potrebná jasná, konzistentná metodika porovnania.

Orientácia v súvislostiach: praktické porovnania energetickej náročnosti

  • Tréning stredného AI modelu spotrebuje objednávky energie v rozsahu MWh, čo zodpovedá emisiám niekoľkých stoviek litrov benzínu, v závislosti od energetického mixu.
  • Jednotlivá textová požiadavka vyžaduje približne len zlomky Wh a generuje nízke emisie, porovnateľné s krátkou sekvenciou video streamu.
  • Generovanie obrázkov či dlhých textov môže vyžadovať jednotky Wh a závisí od zložitosti modelu, počtu krokov a rozlíšenia výsledného výstupu.

Strategické možnosti zvyšovania efektívnosti na strane prevádzkovateľov AI

  • Optimalizácia architektúry modelov: nasadenie menších, špecializovaných modelov alebo tzv. mixture-of-experts prístupov, ktoré znižujú počet aktívnych parametrov počas inferencie.
  • Technologické optimalizácie: kvantizácia (INT8, FP8), sparsita, pokročilé kompilátory vykonávajúce graph fusion a efektívne batchovanie môžu šetriť energiu 2 až 5-násobne bez znižovania kvality výstupu.
  • Efektívne tréningové metodiky: praktiky ako opätovné používanie kontrolných bodov, curriculum learning alebo adaptácia nízkeho ranku (LoRA) znižujú potrebu celkového tréningu modelu.
  • Zlepšenie energetickej účinnosti infraštruktúry: využívanie free coolingu, imerzného chladenia a optimalizácia prietokov vzduchu vedú k PUE na úrovni 1,1 až 1,2.
  • Strategické umiestnenie a načasovanie: kolokácia dátových centier blízko obnoviteľných zdrojov energie, využívanie zmlúv na nákup čistej energie (PPA) a časové plánovanie tréningov do hodín so zvýšeným podielom zelenej energie.

Optimalizácia na strane používateľov a aplikačných produktov AI

  • Voľba vhodného modelu na špecifickú úlohu: preferencia menších lokálnych modelov pre úlohy vyhľadávania a klasifikácie namiesto veľkých univerzálnych systémov, ak to účel splní.
  • Efektívne promptovanie a obmedzenie výstupov: obmedzenie dĺžky generovaného textu alebo rozlíšenia obrázkov môže výrazne redukovať spotrebu energie.
  • Využitie cache a opätovné použitie výsledkov: pre interné aplikácie minimalizuje duplicitu výpočtov a tým šetrí energiu.

Zohľadnenie energetickej náročnosti a uhlíkovej stopy AI systémov je nevyhnutné pre udržateľný rozvoj týchto technológií. Kombinácia technologických inovácií, správneho riadenia infraštruktúry a vedomých rozhodnutí používateľov môže významne prispieť k znižovaniu negatívnych environmentálnych vplyvov.

Pri ďalšom vývoji AI je preto potrebné klásť dôraz nielen na výkon a presnosť, ale aj na environmentálnu efektívnosť. Len tak môžeme zabezpečiť, že benefity umelej inteligencie budú dostupné dlhodobo a v harmónii s cieľmi klimatickej udržateľnosti.

Ďalšie články