ИИ и экология

[greenfree2002]

Еще один семинар на конференции в Бостоне был посвящен экологической стоимости всей этой цифровой роскоши в целом, и ИИ в частности. Впечатлило.

Энергия
До 2018 года потребление всеми дата-центрами США было более-менее стабильным. Количество центров, понятно, росло, но росла и энергоэффективность. С 2018 года пошел резкий рост, и к 2023-му потребление выросло вдвое, и на тот момент составляло 4.4 % от всего производства энергии в США. По усредненному прогнозу, к 2028-му году оно дойдет до примерно 10% (притом, что и само производство на тот момент тоже вырастет, т.е. в ГВт рост будет почти втрое).
Источник: 2024 United States Data Center Energy Usage Report

Конечно, это дата-центры в целом. Теперь конкретно про ИИ, и в тоннах СО2.
Тренировка модели GPT-3 потребовала около 552 тонн СО2. Для сравнения: одна тонна - это сжигание 500 л. бензина. Примерно как наш годовой пробег в США.
Источник: David Patterson at al., Carbon Emissions and Large Neural Network Training

Нет точного ответа на вопрос, что потребляет больше энергии и вызывает больший карбоновый след - тренировка модели или ее последующая работа, поскольку это зависит как от количества запросов, так и от частоты апдейтов модели. Если модель не обновлять, соотношение будет примерно 1:2, т.е. запросы к модели генерируют больше выбросов. С учетом обновления моделей, доли примерно сравнимые.
Генерация картинки требует примерно в 60 раз больше энергии, чем генерация текста по запросу.
Источник

И, наконец, вода. Предполагается, что весь мировой ИИ будет в 2027 году потреблять 4.2-6.6 млрд. куб.м. воды, что в 4 раза больше того, что потребляет такая страна как Дания.
Источник: Pengfei Li et al., Making AI Less "Thirsty": Uncovering and Addressing the Secret Water Footprint of AI Models

Я не думаю, что ИИ - зло. Зло, понятное дело - это люди ). Но знание о стоимости этого ИИ (не в абстрактных зелененьких бумажках, а в конкретных литрах воды) дает более полную картину, чем была у меня раньше.

Comments

[juan_gandhi]

Насчёт потребления воды, давайте не будем забывать, что вода никуда не девается вообще-то. Никто её не разлагает на атомы и не отправляет водород в космос. Просто подогревают её. Что (в принципе) можно было бы употребить для производства электричества.

[greenfree2002]

Мы ничуть не забываем, что вода остается на планете. Она просто забирается гарантированно пресной из водоемов в тех местах, где живут люди, и потом проливается дождем где-то (статистически - над океаном). В реке Колорадо уже почти вся вода разбирается, не доходя до дельты, и это только начало. Конфликты между странами за доступ к рекам и водозабор - уже не просто не за горами, но практически завтра.

[juan_gandhi]

Израиль как-то решает этот вопрос.

[greenfree2002]

Да, Израиль аннексировал у Сирии Голанские высоты, так чтобы река Иордан, которая питает озеро Кинерет - основной источник пресной воды в Израиле - протекала практически полностью по его территории. Именно такое "решение вопроса" может стать очень популярным в ближайшее время.

[zyxman]

> Тренировка модели GPT-3 потребовала около 552 тонн СО2. Для сравнения: одна тонна - это сжигание 500 л. бензина

Правдоподобно. Есть цифра что тренировка модели уровня GPT-3 стоит от нескольких миллионов долларов, что как раз порядка миллиона литров бензина и есть.

> Если модель не обновлять, соотношение будет примерно 1:2, т.е. запросы к модели генерируют больше выбросов

А вот это не совсем правда. В этом считается преимущество технологии LLM, что там чрезвычайно дорого стоит (и много жрет энергии на вычисления) собственно обучение базовой модели (basic model, foundational model), а файн тюнинг на конкретную специфику на порядки дешевле (на 1-2 порядка), а инференс примерно на 2 порядка дешевле чем обучение базовой модели.

Почему так, там сам принцип, что базовая модель учится на гигантском корпусе, например на всех текстах из википедии (там десятки терабайт по-моему), и из этого обучается структуре текста и общим знаниям.

А файн тюнинг это обычно до миллиона токенов (ну можно грубо приравнять к символу), когда базовую модель дообучают например на базе знаний клиента, или как вариант на книге, чтобы она отвечала на вопросы по книге.

А инференс так тем более по-определению всегда меньше максимального контекста, то есть для уровня GPT-3 это в районе всего до 20 тысяч токенов.

GPT-4 уже может до миллиона символов контекст, но там и обучение базовой модели стоит более чем на порядок дороже чем GPT-3.

Теоретически, есть разработки по масштабированию контекста для класса GPT-3, я лично видел обещания линейного роста длительности обучения от размера контекста, и я видел обещания вообще неограниченного размера контекста, но практические результаты я лично видел что для оригинальной GPT-3 контекст вообще 4 тысячи токенов, а тем масштабированием реально увеличивали до 100 тысяч чтоли.
Короче, для GPT-4 пока мутно всё.