Каждые несколько лет возникает очередная истерия по поводу энергопотребления и выбросов в центрах обработки данных.
Постоянные читатели либо оценят, либо возненавидят то, что в течение примерно 20 месяцев я украшал свои статьи и презентации изображениями, созданными алгоритмами искусственного интеллекта. Я не собираюсь рассматривать весь спектр причин, а просто сделаю некоторые базовые расчеты по использованию электроэнергии, чтобы заставить подгруппу постоянных читателей уже сдаться.
Конечно, это не первый раз, когда я погружаюсь в эти воды. Пять лет назад я провел глобальную оценку поставщиков услуг облачных вычислений, чтобы оценить этот раунд истерии «вычислительная мощность убивает нас!». Я бы не рекомендовал Alibaba в то время, но другие крупные поставщики покупали зеленую электроэнергию с помощью PPA и высококачественных углеродных кредитов.
Позже в том же году мне пришлось вернуться к этой теме, потому что один из первых циклов шумихи «обучение наших будущих повелителей ИИ убивает нас!» был в самом разгаре. Я разобрал слабые предположения исследования MIT, которое это обнаружило, и вернулся к игнорированию истерии.
Я не буду показывать пальцем, но авторы, которые должны были бы знать лучше, в этом году цитировали людей, которые явно не знают, о чем говорят, что является частью текущего цикла шумихи «ладно, ChatGPT действительно полезен, но он убивает нас!». Если говорить прямо, любой, кто когда-либо писал о функциях автономного вождения Tesla на базе искусственного интеллекта, никогда не должен был попадаться на эту удочку, но люди, как правило, не любят заниматься математикой.
Давайте немного проясним ситуацию. Это не ракетостроение.
Во-первых, большие языковые модели (LLM) и генеративные модели изображений (GIM) требуют много электроэнергии, но только для их обучения. Собираются огромные объемы данных. Используется подход к приему этих данных. Это происходит. Такой прием и обработка очень энергозатратны. Сообщается, что обучение текущей модели OpenAI ChatGPT 4o потребовало 10 гигаватт-часов. Это далеко не тривиальное количество энергии. DALL-E 3.0, вероятно, потребовало от 1 до 2 ГВт-ч.
Но запросы к моделям не требуют огромных объемов электроэнергии, около 0,001–0,01 кВт·ч на запрос. В информатике есть правило, что если что-то быстро помещается в хранилище, то медленнее извлекается, и наоборот. Одна из причин, по которой LLM и GIM тратят так много времени на обработку, заключается в том, что они оптимизированы для быстрых ответов. Цель состоит в том, чтобы амортизировать эти 1–10 ГВт·ч за потенциально миллиарды запросов.
Давайте представим, что калифорнийская команда OpenAI и другие почти полностью прибрежные, либеральные элитные, осведомленные о климате разработчики LLM и GIM — полные идиоты. Давайте представим, что они используют среднее по США электричество, около 0,4 кг CO2e на кВт·ч, для генерации своих LLM и GIM. Какой углеродный долг накопится?
Гигаватт-час будет равен 400 тоннам CO2e. 10 ГВт-ч будет равен 4000 тоннам. Это как углеродный долг от 270 до 2700 американцев, которые в среднем ездят на машине. Это было бы разумным количеством, но это стоимость ежегодной езды небольшого города (что должно быть намеком на реальную проблему в Америке).
Но они не полные идиоты, как я уже указывал в 2019 году пару раз. Они знают об углеродном долге электроэнергии и не являются угольными баронами. Возьмем в качестве примера OpenAI: все вычисления он делает на облачной платформе Microsoft Azure, которую я оценил выше всего в 2019 году по соображениям низкого уровня выбросов углерода.
Microsoft покупает возобновляемую электроэнергию для многих своих дата-центров и в настоящее время поставляет 44% ежегодной электроэнергии по соглашениям о покупке энергии для ветра и солнца. Кроме того, она размещает свои дата-центры рядом с гидроэлектростанциями, когда это возможно, чтобы поглощать низкоуглеродные гидрокВтч.
Итак, предположим, что OpenAI и Microsoft все еще были довольно тусклыми и разместили все эти вычисления в центре обработки данных Azure, который всего на 56% лучше среднего, или 0,22 кг CO2e на кВт·ч. Эти 400–4000 тонн сокращаются до 220–2200 тонн CO2e, что составляет 150–1500 американских водителей для обучения моделей.
Однако OpenAI базируется в Калифорнии в районе Сан-Франциско, электросеть Калифорнии сократилась до 0,24 кг CO2e на кВт·ч, и Microsoft также покупает возобновляемую электроэнергию для центров обработки данных в районе Сан-Франциско. 56% от 0,24 кг CO2e составляет 0,13 кг CO2e / кВт·ч. При такой интенсивности выбросов углерода обучение моделей производит от 130 до 1300 тонн CO2e. Стоит ли об этом с радостью писать домой? Нет, но у нас осталось от 90 до 900 американских водителей, что составляет целую деревню людей.
Но давайте зададим следующий вопрос. Это медленная часть процесса обработки данных, а не быстрый процесс извлечения. Таким образом, ее нужно амортизировать по количеству запросов ChatGPT или сгенерированных изображений DALL-E. Давайте будем разумно справедливы и предположим, что модели существуют только шесть месяцев до замены, поэтому углеродный долг распределяется только по шести месяцам запросов и изображений.
Сколько запросов ChatGPT в месяц? В месяц совершается 1,8 миллиарда посещений, и они длятся около 7-8 минут, согласно данным, которые мне удалось найти. Это предполагает 3-6 запросов за посещение. Предположим, что 4 запроса, то есть около 7 миллиардов запросов в месяц и около 43 миллиардов запросов за весь срок действия модели. Эти 1300 тонн CO2e делятся на 43 миллиарда, чтобы получить углеродный долг на запрос, или около 0,03 грамма на запрос.
Напротив, DALL-E, у которого углеродный долг ниже, генерирует около двух миллионов изображений в день, или около 365 миллионов изображений за полгода. Это около 0,356 грамма на изображение. Ого, три таких, и вы получите более грамма CO2e.
Ой, подождите, мы еще не закончили. Теперь нам нужно выполнить запрос или сгенерировать изображение. Помните, сколько энергии это потребляет, 0,001–0,01 кВт·ч на запрос. При 0,4 кг на кВт·ч это 0,4–4 грамма на запрос. Но помните, OpenAI запускает свои сервисы на Microsoft Azure, а Microsoft покупает ГВт·ч возобновляемой электроэнергии и тонны высококачественных углеродных кредитов (в отличие от многих других).
Возьмем средний показатель по США — 56%. Это от 0,2 до 2,2 грамма CO2e на запрос или изображение. В Калифорнии этот показатель составит от 0,07 до 0,7 грамма.
Давайте возьмем ближайший ко мне центр обработки данных Azure, который не предназначен для канадской конфиденциальной информации, и, следовательно, тот, который, скорее всего, будет выполнять мои запросы и генерировать мои изображения. Он находится в Куинси, штат Вашингтон, который стратегически расположен недалеко от нескольких крупных гидроэлектростанций. Всего в 85 милях к северу находится плотина Гранд-Кули мощностью более 6800 мегаватт. Плотина Чиф-Джозеф, расположенная примерно в 50 милях к северу, вырабатывает 2614 мегаватт электроэнергии. Плотина Уэллс, примерно в 70 милях к северу, эксплуатируемая округом Дуглас PUD, вырабатывает 840 мегаватт возобновляемой энергии. Ближе к Куинси, примерно в 40 милях к западу, находится плотина Роки-Рич мощностью 1300 мегаватт, а плотина Рок-Айленд, в 30 милях к западу, добавляет еще 624 мегаватта.
Каков вероятный CO2e на кВт·ч облачного центра обработки данных Quincy Azure? Вероятно, около 0,019 кг CO2e/кВт·ч. Углеродная интенсивность моего среднего запроса или изображения составляет около 0,000019 граммов CO2e. Добавьте 0,365 грамма углеродного долга на изображение, и у меня все еще будет 0,365 грамма. Добавьте 0,03 грамма на запрос ChatGPT, и у меня все еще будет 0,03 грамма. Боже, позвольте мне купить высококачественные углеродные кредиты, чтобы покрыть это. Ой, подождите. Средняя чашка кофе имеет углеродный долг в 21 грамм, в десятки или сотни раз больше? И мне пришлось бы создать четыре миллиарда изображений, чтобы сравняться с углеродной привычкой одного американского водителя? Неважно.
Ой, подождите, разве я недостаточно развенчал это? Вы жалуетесь, что я учитываю только вычисления, а не кондиционирование воздуха? Ну, угадайте что, современные центры обработки данных работают с эффективностью использования энергии 1,1. Это означает, что на каждую единицу электричества они используют 10% дополнительно на электроэнергию, освещение и тому подобное. Давайте, прибавьте 10% к почти нулю. Я подожду.
О, и это еще не все? Конечно. Не то чтобы требования к мощности обучающих моделей не были очевидны для второй по стоимости компании в мире, NVIDIA, с текущей рыночной капитализацией около 3,2 триллиона долларов США, уступающей только Microsoft. Почему NVIDIA вмешивается в это? Разве мы не говорили об OpenAI? Что ж, NVIDIA предоставляет графические процессоры (GPU), на которых все это обучение и выполнение моделей происходит. Ее крупнейшие клиенты просили более быстрые вычисления ИИ за меньшую мощность.
Встречайте Blackwell, новейшую архитектуру графических процессоров NVIDIA. Почему она так важна? Потому что она в два раза быстрее для обучения моделей и еще быстрее для выполнения запросов к ним? Нет, хотя это и так, но это потому, что она в 25 раз более энергоэффективна для обучения и запросов. И да, это отвечает на вопрос о сетках, которые грязнее, и компаниях, которые не являются Microsoft, для тех, кто задается вопросом.
Вернитесь ко всем числам, которые составили менее грамма на изображение или запрос, и разделите граммы на 25. Тогда, пожалуйста, перестаньте беспокоить меня выражениями возмущения по поводу этого аспекта моего использования электроинструментов для исследований и создания изображений. Люди, обеспокоенные авторским правом и работой креативщиков, пожалуйста, не стесняйтесь продолжать беспокоиться, но я, по крайней мере, уважаю ваши опасения и готов обсудить их.
В качестве бонуса я отвечу на вопрос, который мог возникнуть у некоторых, когда я указал на автономные функции Tesla, о том, какое отношение они имеют к этой дискуссии. У Tesla есть большие модели машинного обучения, работающие на специальных графических процессорах, которые работают на абсурдных скоростях, интегрируя все данные датчиков, поступающие в них каждую секунду. Если бы запросы машинного обучения были невероятными пожирателями энергии, о которых говорит нынешняя истерия, Tesla потребляла бы больше энергии для работы своих автономных функций, чем для того, чтобы толкать 2800-килограммовый автомобиль по шоссе со скоростью 110 километров в час. Его аккумулятор был бы в два или три раза больше. И любой, кто когда-либо писал что-либо как об автономных функциях Tesla, так и об ужасающем расходе энергии моделями машинного обучения, должен был бы связать все точки.
