Количество вычислений в ИИ растет экспоненциально и уже в 5 раз опережает закон Мура!

2
511

Мы публикуем анализ, показывающий, что с 2012 года количество вычислений, используемых в крупнейших экспериментах по искусственному искусственному интеллекту, растет экспоненциально с удвоением времени на 3,5 месяца (для сравнения, закон Мура имел период удвоения в 18 месяцев). С 2012 года эта метрика выросла более чем на 300 000x (18-месячный период удвоения даст только 12-кратное увеличение).

Усовершенствования в вычислении были ключевым компонентом прогресса ИИ, поэтому, пока эта тенденция продолжается, стоит подготовиться к последствиям систем, далеко выходящих за пределы сегодняшних возможностей.

На диаграмме показан общий объем вычислений в петафлоп / s-днях, который использовался для подготовки выбранных результатов, которые относительно хорошо известны, использовали много вычислительных средств для своего времени и дали достаточно информации для оценки используемого вычисления. Петафлоп / s-день (pfs-day) состоит из выполнения 1015 операций нейронной сети в секунду за один день или всего около 1020 операций. Продукт с вычислительным временем служит для удобства, аналогичным кВт-ч для энергии. Мы не измеряем пиковые теоретические FLOPS аппаратного обеспечения, а пытаемся оценить количество выполненных фактических операций. Мы подсчитываем добавление и умножение в виде отдельных операций, мы подсчитываем любое добавление или умножение в виде одной операции независимо от числовой точности (что делает «FLOP» небольшим неправильным обозначением), и мы игнорируем ensemble models. Примеры расчетов, которые вошли в этот график, приведены в этом приложении. Длительность удвоения для показа наилучшего соответствия составляет 3,43 месяца.

Три фактора стимулируют развитие ИИ: алгоритмические инновации, данные (которые могут быть либо контролируемыми данными, либо интерактивными средами), так и объемы вычислений, доступные для обучения. Алгоритмические инновации и данные трудно отследить, но вычисление необычайно поддаётся количественной оценке, что дает возможность измерять один вклад в прогресс AI. Разумеется, использование массивных вычислений иногда просто раскрывает недостатки наших текущих алгоритмов. Но, по крайней мере, во многих современных доменах, более сложные вычисления, по-видимому, приводят к повышению производительности и часто дополняют алгоритмические достижения.

Для этого анализа мы считаем, что соответствующее число — это не скорость одного графического процессора, а также емкость самого большого центра данных, но объем вычислений, который используется для обучения одной модели — это число, наиболее вероятно, связанное с тем, как мощные наши лучшие модели. Вычисление на одну модель сильно отличается от общего объемного вычисления, поскольку ограничения на параллельность (как аппаратные, так и алгоритмические) ограничивают то, насколько большой может быть модель или насколько она может быть хорошо обучена. Конечно, важные прорывы все еще выполняются с небольшим количеством вычислений — этот анализ просто охватывает вычислительную способность.

Тенденция представляет собой увеличение примерно в 10 раз в год. Частично это обусловлено настраиваемым оборудованием, которое позволяет выполнять больше операций в секунду за заданную цену (GPU и TPU), но в основном это побудило исследователей неоднократно находить способы использовать больше чипов параллельно и быть готовыми заплатить экономически обоснованную стоимость за это.

Прогресс ИИ

Глядя на график, мы можем примерно увидеть четыре разных эпохи:

  • До 2012 года: необычно использовать GPU для ML, что затрудняет достижение любого из результатов на графике.
  • 2012-2014: Инфраструктура для обучения на многих графических процессорах была необычной, поэтому в большинстве результатов использовалось 1-8 графических процессоров с рейтингом 1-2 TFLOPS в общей сложности 0,001-0,1 п.ф.-дней.
  • 2014 до 2016: широкомасштабные результаты использовали 10-100 графических процессоров, оцененных в 5-10 TFLOPS, что привело к 0,1-10 pfs-дням. Уменьшение отдачи от параллелизма данных означает, что более крупные тренировочные пробеги имеют ограниченную ценность.
  • 2016 по 2017 год. Подходы, которые обеспечивают больший алгоритмический параллелизм, такие как огромные размеры партии, поиск по архитектуре и экспертная итерация , а также специализированное оборудование, такое как TPU и более быстрые межсоединения, значительно увеличили эти ограничения, по крайней мере для некоторых приложений.

AlphaGoZero / AlphaZero от компании DeepMind является наиболее заметным общественным примером массивного алгоритмического параллелизма, но многие другие приложения в этом масштабе теперь алгоритмически возможны и могут уже происходить в производственном масштабе.

Тенденции

Мы видим несколько причин полагать, что тренд на графике может продолжаться. Многие аппаратные стартапы разрабатывают чипы, специфичные для AI, некоторые из которых утверждают, что они достигнут существенного увеличения FLOPS / Watt (что коррелирует с FLOPS / $) в течение следующих 1-2 лет. Также может быть получена простота переконфигурирования аппаратного обеспечения для выполнения такого же количества операций за меньшую экономическую стоимость. На стороне параллелизма многие из недавних алгоритмических нововведений, описанных выше, в принципе можно было бы мультипликативно комбинировать — например, поиск в архитектуре и массивные параллельные SGD.

С другой стороны, стоимость в конечном итоге ограничит параллелизм этой тенденции, и физика ограничит сторону эффективности чипа. Мы полагаем, что в настоящее время на крупнейших тренингах используются аппаратные средства, стоимость которых составляет одну цифру в миллионы долларов для покупки (хотя амортизационная стоимость намного ниже). Но большинство вычислений нейронной сети сегодня по-прежнему расходуются на вывод (развертывание), а не на обучение, что означает, что компании могут перепрофилировать или позволить себе покупать гораздо более крупные флоты чипов для обучения. Поэтому, если существует достаточный экономический стимул, мы могли бы видеть еще более массовые параллельные тренировочные пробеги и, следовательно, продолжение этой тенденции еще на несколько лет. Общий бюджет оборудования в мире составляет 1 триллион долларовв год, поэтому абсолютные пределы остаются далеко. В целом, учитывая приведенные выше данные, прецедент для экспоненциальных тенденций в области вычислений, работы с конкретным оборудованием ML и экономических стимулов в игре, мы считаем ошибкой быть уверенным, что эта тенденция не будет продолжаться в краткосрочной перспективе.

Прошлых тенденций недостаточно, чтобы предсказать, как долго эта тенденция будет продолжаться в будущем, или что произойдет, когда она будет продолжаться. Но даже разумный потенциал для быстрого увеличения возможностей означает, что крайне важно начать борьбу с безопасностью и злонамеренным использованием ИИ сегодня. Предвидение важно для ответственной разработки политики и ответственного технологического развития, и мы должны опережать эти тенденции, а не реагировать на них с опозданием.

Источник: Open AI