Протонные резисторы MIT позволяют глубокому обучению развиваться в аналоговом режиме

Привнесение аналоговых «мелодий» в мир цифровых чипов – с повышенной производительностью.

Команда исследователей из Массачусетского технологического института (MIT) работает над новой конструкцией аппаратного резистора для следующей эры масштабирования электроники, особенно в задачах обработки искусственного интеллекта, таких как машинное обучение и нейронные сети.

Тем не менее, что может показаться возвратом (если возврат в будущее вообще возможен), их работа сосредоточена на дизайне, который по своей природе скорее аналоговый, чем цифровой. Введите протонные программируемые резисторы, созданные для ускорения сетей искусственного интеллекта, имитируя наши собственные нейроны (и их соединяющиеся синапсы), одновременно ускоряя их работу в миллион раз. И это реальная цифра, а не просто гипербола.

Все это делается при одновременном сокращении энергопотребления до доли того, что требуется для транзисторных конструкций, которые в настоящее время используются для рабочих нагрузок машинного обучения, таких как рекордный Wafer Scale Engine 2 от Cerebras.

Хотя наши синапсы и нейроны чрезвычайно впечатляющи с вычислительной точки зрения, они ограничены своей «мокрой» средой: водой.

Хотя электропроводности воды достаточно для работы нашего мозга, эти электрические сигналы действуют посредством слабых потенциалов: сигналы напряжением около 100 милливольт, распространяющиеся в течение миллисекунд через деревья взаимосвязанных нейронов (синапсы соответствуют соединениям, через которые нейроны общаются посредством электрических сигналов). Одна из проблем заключается в том, что жидкая вода разлагается при напряжении 1,23 В — примерно такое же рабочее напряжение, которое используют лучшие на данный момент процессоры. Таким образом, существует трудность простого «перепрофилирования» биологических конструкций для вычислений.

«Рабочий механизм устройства заключается в электрохимическом внедрении мельчайшего иона, протона, в изолирующий оксид для модуляции его электронной проводимости. Поскольку мы работаем с очень тонкими устройствами, мы могли бы ускорить движение этого иона, используя сильный электрический ток. поле и перевести эти ионные устройства в наносекундный режим работы», — объясняет старший автор Бильге Йилдиз, профессор Брина М. Керра на кафедрах ядерной науки и техники, а также материаловедения и инженерии.

Другая проблема заключается в том, что биологические нейроны устроены не так, как современные транзисторы. Они намного больше — их размеры варьируются от 4 микрон (0,004 мм) до 100 микрон (0,1 мм) в диаметре. Когда новейшие доступные графические процессоры уже содержат транзисторы в диапазоне 6 нм (при этом нанометр в 1000 раз меньше микрона), вы можете почти представить разницу в масштабе и то, сколько больше этих искусственных нейронов вы можете поместить в одно и то же пространство. .

Исследования были сосредоточены на создании твердотельных резисторов, которые, как следует из названия, создают сопротивление прохождению электричества. А именно, они сопротивляются упорядоченному движению электронов (отрицательно заряженных частиц). Если использование материала, который сопротивляется движению электричества (и, следовательно, должен, в свою очередь, генерировать тепло), звучит нелогично, что ж, так оно и есть. Но у аналогового глубокого обучения есть два явных преимущества по сравнению с его цифровым аналогом.

Во-первых, при программировании резисторов вы включаете необходимые данные для обучения самих резисторов. Когда вы программируете их сопротивление (в данном случае, увеличивая или уменьшая количество протонов в определенных областях чипа), вы добавляете значения определенным структурам чипа. Это означает, что информация уже присутствует в аналоговых чипах: нет необходимости пересылать ее больше во внешние банки памяти и обратно, что именно и происходит в большинстве современных конструкций чипов (а также в оперативной или видеопамяти). Все это экономит время и энергию.

Во-вторых, аналоговые процессоры MIT имеют матричную архитектуру (помните ядра Tensor от Nvidia?). Это означает, что они больше похожи на ваши графические процессоры, чем на процессоры, поскольку выполняют операции параллельно. Все вычисления происходят одновременно.

Конструкция протонного резистора MIT работает при комнатной температуре, чего легче достичь, чем температура нашего мозга от 38,5 до 40 ºC. Тем не менее, он также допускает модуляцию напряжения, необходимую функцию любого современного чипа, позволяя увеличивать или уменьшать входное напряжение в соответствии с требованиями рабочей нагрузки - с последствиями для энергопотребления и выходной температуры.