Мне кажется, или производительность ИИ резко возросла за последние два года?
Если вы не думаете об этом постоянно, закон Мура – это наблюдение и прогноз исторической тенденции в отрасли производства компьютерного оборудования, согласно которой количество транзисторов в интегральных схемах удваивается примерно каждые два года. Закон назван в честь Гордона Э. Мура, соучредителя корпорации Intel, который описал эту тенденцию в своей статье 1965 года.
ИИ превосходит закон Мура
Согласно статье в IEEE Spectrum в июне 2022 года, бенчмарк MLPerf показал двукратное снижение времени обучения нейронной сети по сравнению с бенчмарком 2021 года. Это намного быстрее, чем скорость, предсказываемая законом Мура. Результаты по состоянию на июнь прошлого года показаны ниже:
Закон Мура: не является прямым предиктором прогресса ИИ
Закон Мура в первую очередь ориентирован на физический аспект вычислительного оборудования, в частности на количество транзисторов в интегральных схемах, а не на фактическую вычислительную мощность или вычислительную производительность. Хотя его часто использовали в качестве эмпирического правила для прогнозирования повышения производительности вычислений, оно не обеспечивает прямого измерения или прогнозирования будущих возможностей в сложных вычислительных задачах, таких как тестируемые MLPerf. На данный момент не существует эквивалентного «закона» или общепринятой прогностической модели для траектории производительности систем машинного обучения».
Стоит отметить, что корреляция между количеством транзисторов (которое описывает закон Мура) и производительностью не является прямой, особенно для таких сложных задач, как машинное обучение. Многие другие факторы, в том числе программные алгоритмы, скорость ввода-вывода данных, структура иерархии памяти, энергоэффективность и многое другое, играют важную роль в определении реальной производительности систем машинного обучения.
Закон Мура был полезным руководством для разработки аппаратного обеспечения, но предсказать темпы улучшения производительности машинного обучения гораздо сложнее из-за множества дополнительных факторов. Это одна из причин, почему такие тесты, как MLPerf, так ценны — они предлагают более целостное представление о производительности системы для задач машинного обучения.
Что такое МЛПерф?
MLPerf состоит из восьми эталонных тестов: распознавание изображений, сегментация медицинских изображений, две версии обнаружения объектов, распознавание речи, обработка естественного языка, рекомендации и форма игрового процесса, называемая обучением с подкреплением. Он был основан в 2018 году ML Commons и часто называется «Олимпиадой машинного обучения», потому что компьютеры и программное обеспечение от 21 компании соревнуются в одном или во всех тестах. Это стимулирует производителей аппаратного обеспечения, таких как Nvidia, делать все возможное.
Практический пример: NVIDIA
Чтобы понять, как быстро происходят изменения в аппаратной и программной оптимизации машинного обучения, давайте взглянем на последние показатели производительности оборудования от Nvidia.
Когда в июне прошлого года вышла статья IEEE, аппаратное обеспечение A100 использовалось для тестов Nvidia MLPerf, и это были результаты MLPerf v2.0.
В сентябре 2022 года был представлен H100, и его сравнили с A100 в последнем MLPerf v3.0 в апреле 2023 года. A100 и H100 сравнили для разных задач.
H100 делают A100 (которые были потрясающими в прошлом году) похожими на старые чипы Intel. Даже сравнивая самые современные H100 с их первой итерацией, они продемонстрировали прирост производительности на 54% с момента своего дебюта благодаря оптимизации программного обеспечения. Это невероятно быстрее, чем предсказывает закон Мура.
Я думаю, что начинаю лучше понимать недавнюю динамику акций Nvidia, которая также явно опережает закон Мура в последние недели, несмотря на то, что в прошлом он довольно последовательно следовал ему, что достаточно интересно.
Первоначально опубликовано на https://jon-bown.github.io 7 июня 2023 г.
