Здоровое питание: сколько энергии нужно искусственному интеллекту

19.06.2023 |

    Источник: Известия

Большие бумы

2022-й стал годом долгожданного прорыва в развитии искусственного интеллекта. Нейросети и генеративные сервисы существуют больше десятилетия, но никогда прежде они еще не вызывали такого колоссального интереса у публики — почти все пользователи интернета если не попробовали с ними поработать, то по крайней мере сталкивались с плодами их деятельности.

На экономике ИИ-бум пока не сказался напрямую: сообщения, что кого-то уволили, а на работу вместо бывших сотрудников приняли нейросеть, периодически проходили, но пока речи о настоящей массовости не идет. А вот на котировки на фондовых биржах влияние уже было оказано: компании, так или иначе связанные с интернет-технологиями, прекратили коррекцию и сейчас фактически отвязались от остального рынка, демонстрируя рекордные соотношения цены акций к получаемой прибыли — такова уверенность инвесторов в перспективности данного сектора.

Однако нечто подобное наблюдалось совсем недавно. На рынке криптовалют дважды творилось самое настоящее безумие, когда котировки соответствующих активов росли в несколько раз. Цифровые валюты выглядели «следующим большим бумом», который должен был перевернуть мировую экономику (конкретно финансовый сектор). На данный момент эти ожидания не сбылись, но, несмотря на явное охлаждение к теме, о результатах судить рано. Зато можно смело оценивать некоторые непредвиденные последствия.

Энергозатраты

Мало кто 10 лет назад ожидал, что майнинг криптовалют потребует таких вычислительных мощностей. Крипта оставила без всего ПК-геймеров, которые лишились возможности обновлять свое «железо» из-за дефицита видеокарт. Потреблялись гигантские объемы энергии. Майнинг одного только биткоина в 2022 году требовал 127 ТВт·ч электроэнергии в год — больше, чем общее потребление некоторых довольно крупных экономик.

Поэтому к разработке ИИ сейчас особо пристальное внимание именно в свете энергопотребления. Проблема, однако, в том, что общие затраты энергии на эту сферу деятельности исчерпывающе никто не подсчитал — даже те, кто непосредственно занимаются разработкой и тренировкой моделей. Есть только самые приблизительные цифры. Так, тренировка модели GPT-3 от OpenAI в 2021 году потребовала 1,287 ГВт·ч. И это на пару порядков больше, чем раньше, если судить по числу параметров, на которых обучается программа: у GPT-3 их 175 млрд, тогда как у ее предшественника было всего 1,5 млрд.

Google, в свою очередь, тратит на разработку и поддержание ИИ от 10 до 15% своего общего потребления энергии, которое в 2021 году составляло 18,3 ТВт·ч. При этом не указано, какая доля приходится на дата-центры, без которых ИИ в современном виде работать не будет.

Так или иначе, на данный момент в каждом отдельном случае получаются довольно умеренные цифры, которые трудно сопоставить с майнингом. Но нужно учитывать, что это, во-первых, данные за позапрошлый год — с тех пор модели стали мощнее и требовательнее в части энергорасходов. Во-вторых, на ниве ИИ свои силы не пробует сейчас только ленивый и численность известных нейросетей уверенно догоняет число криптовалют.

По словам эксперта Российского центра компетенций и анализа стандартов ОЭСР РАНХиГС Кирилла Черновола, энергопотребление напрямую зависит от сложности алгоритмов, то есть от объемов входных данных, времени выполнения задач и используемых вычислительных мощностей.

В этом смысле развитие искусственного интеллекта экстенсивными методами действительно может привести к росту энергопотребления, считает эксперт. По данным ресурса shalaginov.com и портала TechTarget, OpenAI обучил свою модель GPT-3 на 45 Тбайт данных. А для обучения финальной версии Megatron-LM (языковой модели, похожей на GPT-3) Nvidia задействовала 512 графических процессоров V100 в течение девяти дней, привел данные Кирилл Черновол.

— Так, один графический процессор V100 может потреблять от 250 до 300 Вт·ч. Если ориентироваться на 250 Вт, то 512 таких графических процессоров потребляют 128 кВт. Следовательно, обучение Megatron-LM в течение девяти дней стоит 27 648 кВт·ч, — указал эксперт.

Экономия ресурсов

Как заявил директор Института искусственного интеллекта Университета Иннополис Рамиль Кулеев, самая большая и энергоемкая модель в мире на сегодня, ChatGPT, потребляет в месяц энергии примерно в 220 раз меньше, чем такой мегаполис, как Москва. Он добавил, что потребление энергии продолжит расти, но нужно сделать несколько оговорок.

— Во-первых, в некоторых задачах применение ИИ позволяет существенно сократить затраты, в том числе и энергии, — отметил собеседник. — Например, Институт ИИ Университета Иннополис разрабатывает модели ИИ для поиска материалов с заданными свойствами, альтернатива такому методу — расчет электронной структуры систем многих частиц с помощью суперкомпьютеров, что требует намного больше энергии, а ИИ-подход можно реализовать на домашнем компьютере.

Во-вторых, продолжает Кулеев, в беспилотном транспорте также применяется ИИ, но технически отсутствует возможность тратить много энергии. Для вычислений на борту существуют методы оптимизации. Например, программный код с языка Python, который де-факто является отраслевым стандартом в ИИ-сообществе, переписывается на язык C++, что позволяет экономить вычислительные ресурсы и электроэнергию.

Как заметил старший преподаватель бизнес-практики Школы управления Сколково Владимир Коровин, сравнивать работу с ИИ и майнинг не вполне корректно.

— Майнинговые системы конкурентные. Все участники вкладывают мощности в систему, и, если кто-то из них нарастил больше мощностей, другие должны пропорционально нарастить свои. Иначе они теряют возможность получить выигрыш, — говорит спикер. — Отсюда постоянная накрутка мощностей, которая глобальной ценности не несет, но помогает участникам отстаивать свою долю.

Он добавил, что настоящего ИИ на данный момент не существует — у имеющихся сейчас нейросетей в принципе отсутствует многозадачность.

— Если вы хотите создать систему, которая будет одновременно распознавать речь и видео, вам придется создать две системы с точки зрения вычислительных мощностей. Пока что прорывов в универсальности систем нет. Вы натренировываете систему на определенный класс задач, но для другого класса вам уже нужна другая система с сопоставимыми вычислительными мощностями, — пояснил Владимир Коровин.

Поэтому, с одной стороны, в будущем ИИ может двигаться к линейному расширению мощностей, прогнозирует специалист. Как в примере с речью и видео, системе просто нужно вдвое увеличить свою вычислительную мощность. Однако человечество таким путем не идет, оно следует за ростом мощностей аппаратных. По словам эксперта, если сравнить энергопотребление компьютера из 1990-х, который был в сотни раз медленнее, и современную модель, колоссальной разницы не будет. Затраты энергии если и выросли, то очень несущественно.

Между тем небольшой рост энергозатрат — прямое следствие закона Мура, который предусматривал, что количество транзисторов на микрочипе должно удваиваться каждые два года. Это означает, что сами чипы должны становиться всё меньше при сохранении плотности своей мощности и, значит, более энергетически эффективными.

Однако в последнее время данный закон буксует — речь идет уже не о технологических, а о физических ограничениях (создавать чипы менее 2 нм невероятно сложно, менее 1 нм — почти невозможно). Следовательно, увеличение вычислительных мощностей (в тех же суперкомпьютерах) потребует и соответствующего увеличения энергопотребления. Если решить вопрос с «настоящим ИИ», способным на многозадачность, не удастся, то не только разработчикам, но и всей экономике придется столкнуться с растущим энергопотреблением.

Дмитрий Мигунов

Тематики: Инновации

Ключевые слова: криптовалюты, Искусственный интеллект