Оптический ускоритель нейронной сети — путь к быстрому машинному разуму
Исследователи из Университета Джорджа Вашингтона (США) и Калифорнийского университета вместе со специалистами стартапа в области фотоники Optelligence LLC создали специальной оптический ускоритель сверточной нейронной сети. Это решение на основе фотоники, основанное на уникальных законах масштабирования в оптике.
Мировой спрос на оборудование для машинного обучения значительно опережает возможности нынешних вычислительных блоков питания. Современное электронное оборудование, в частности, графические процессоры и ускорители модулей тензорной обработки, помогает хоть как-то удовлетворять этот спрос. Но из-за последовательной обработки данных все упирается в задержки, связанные с ограничениями проводки и электрических схем. Если бы у электронного оборудования были оптические альтернативы, это могло бы ускорить процессы машинного обучения благодаря упрощенному способу обработки информации.
Правда, не все так просто: машинное обучение на основе фотоники тоже имеет ограничения, например, из-за количества компонентов, которые могут быть размещены в фотонных интегральных схемах. А это, в свою очередь, ограничивает взаимосвязность, в то время как пространственные модуляторы света в свободном пространстве ограничиваются лишь медленными скоростями программирования.
Чтобы разрешить проблемы в системе оптического машинного обучения, авторы новой разработки заменили пространственные модуляторы света цифровой зеркальной технологией, тем самым создав систему, которая работает более чем в 100 раз быстрее.
Неитерационная синхронизация процессора в сочетании с быстрой программируемостью и массовым параллелизмом позволяет системе оптического машинного обучения превосходить даже самые современные графические чипсеты более чем на порядок. И в дальнейшем новую систему можно еще оптимизировать.
Существующее электронное оборудование для машинного обучения обрабатывает информацию последовательно. А новый оптический процессор использует оптику Фурье — концепцию частотной фильтрации, которая позволяет выполнять необходимые операции свертки нейронной сети, а также более простые поэлементные умножения с использованием технологии цифрового зеркала.
Новый процессор может обрабатывать крупномасштабные матрицы за один временной шаг, что позволяет использовать новые векторы масштабирования для выполнения оптических сверток. А это уже имеет большой потенциал для развития машинного обучения.
Прототип обрабатывает большие объемы информации — порядка петабайта в секунду, и поэтому открывает возможности для создания революционных фотонных машин будущего. Разработку можно применять в беспилотных автомобилях, сетях 5G, центрах обработки данных, биомедицинской диагностике, сфере безопасности данных и других.
Сами авторы изобретения говорят, что оно еще и открывает возможности для появления коммерческих оптических ускорителей, которые могут применяться в центрах обработки данных и высокопроизводительных вычислительных системах.
Подписаться