Машины-монстры: Cerebras - самый большой в мире процессор, предназначенный для искусственного интеллекта - «Наука и технологии»

Молодая компания Cerebras из Сан-Диего, Калифорния, США, представила то, что смело можно назвать самым большим в мире полупроводниковым устройством. Этот огромный процессор, площадь которого составляет 46 225 квадратных миллиметров, содержит 400 тысяч вычислительных ядер, изготовленных по технологии 16 нм. Потребление энергии устройством Cerebras составляет 15 кВт, а его назначением является смещение компании Nvidia с господствующей позиции в области самообучающихся нейронных сетей. По имеющейся информации, в настоящее время, по крайней мере один из образцов чипа Cerebras уже работает в составе системы искусственного интеллекта у одного из первых клиентов компании.

Компания Cerebras уже привлекла более чем 200 миллионов долларов инвестиций, которые направлены на коммерциализацию разработанной технологии, на разработку новых методов обработки и упаковки кристаллов чипов таких огромных размеров. Руководство компании надеется, что их подход позволит расширить рынок искусственного интеллекта от семи нынешних информационных центров гипермасштаба, до сотен компаний из областей от фармации до финансовых, которые будут иметь свои собственные системы и смогут хранить свои данные в собственных хранилищах.

Процессор Cerebras содержит 84 кластера, упорядоченные в виде матрицы 7х12. В каждом кластере насчитывается по 4 800 вычислительных ядер, ориентированных на обработку линейной алгебры, используемой в задачах искусственного интеллекта. Каждое из ядер имеет по 48 килобайт статической оперативной памяти, общий объем которой составляет 18 Гбайт. Такой объем, несомненно, больше объема, которым может оперировать один графический процессор компании Nvidia, но он очень мал по сравнению с объемами памяти систем, с которыми собирается конкурировать компания Cerebras.

Пока еще неизвестна достоверная информации о тактовых частотах, на которых работают вычислительные ядра процессора Cerebras. По словам одного из бывших инженеров этой компании первые опытные образцы работали на частотах 2-3 ГГц, так что можно считать, что реальные процессоры будут иметь не меньшую тактовую частоту, хотя их мощность заключается не в тактовой частоте, а в большом количестве вычислительных ядер.

Руководство компании Cerebras пока еще не озвучило стоимость, дизайн и другие параметры вычислительных систем, в которых будут использованы их монструозные процессоры. Известно лишь то, что одна такая стойка будет соответствовать по возможностям системе с тысячами графических процессоров Nvidia, но она будет занимать всего 2-3 процента от ее пространства и использовать приблизительно такую же часть энергии.

Сейчас более чем две трети из 174 инженеров компании Cerebras работают над микрокодами для вычислительных ядер процессора и над компилятором для процессора Cerebras. Этот компилятор будет брать модели, созданные в популярных программах TensorFlow и Pytorch, и создавать послойную модель нейронной сети, которая впоследствии будет загружена в память процессора. Так же в память процессора будут загружаться дополнительные инструкции (функции), которые будут определять информационные "петли", связывающие в единое целое отдельные ядра и кластера процессора Cerebras.

"Мы будем создавать сложнейшие разветвленные сети в пределах одного чипа" - рассказывает Эндрю Фельдман (Andrew Feldman), руководитель и основатель компании Cerebras, - "Все же остальные, работающие в данном направлении, используют шины и магистрали, тратя много времени на ожидание доступа к памяти и тратя еще больше времени на более медленную передачу данных по внешним соединительным проводникам".

Более подробная информация о системе с процессорами Cerebras, ее работа и результаты первых тестов будет представлены на выставке Supercomputer show, которая будет проходить в ноябре этого года.

Машины-монстры - все о самых исключительных машинах, механизмах и устройствах в мире, от громадных средств уничтожения себе подобных до крошечных точнейших устройств, механизмов и всего того, что находится в промежутке между ними.