Собирая разум
Распространение ИИ приводит к усложнению выполняемых задач и увеличению объема входных данных, что требует увеличения вычислительной мощности существующих компьютеров. Искусственные нейронные сети, в частности глубокие нейронные сети, являются ключевой технологией для развития ИИ. В большинстве случаев для их работы задействованы процессор или видеокарта. Когда же требуется дополнительная производительность, например, в случаях глубокого обучения, используют так называемые ускорители ИИ — энергоэффективные процессоры в виде интегральных схем. Они выполняют функции логических и управляющих элементов, структура соединений которых подобрана специально для решения задач машинного обучения и нейронных сетей. Кроме того, для дополнительной производительности вычислительные системы объединяются в кластеры, создаются суперкомпьютеры. Но это неэффективно с точки зрения затрат энергии и времени и ограничено по масштабированию (так как для объединения в кластер большего количества вычислительных систем нужна более совершенная шина данных между ними).
Многие исследователи считают, что текущих технологий и ускорителей достаточно для совершенствования алгоритмов ИИ. Для дальнейшего развития нейросетей они предлагают просто увеличивать количество их слоев и усложнять их структуру. Однако для создания ИИ, который принято называть сильным, требуются гораздо большие вычислительные мощности, для того, чтобы он стал способен решать сравнимые с мозгом человека задачи. К тому же, несмотря на название «нейронные», они не учитывают биологические особенности передачи сигнала от нейрона к нейрону и между слоями нейронов.
Поэтому сегодня ученые пытаются создать компьютерную архитектуру, имитирующую работу человеческого мозга ― так называемые нейроморфные процессоры. В них реализуются алгоритмы, которые могут дать ИИ скорость обработки данных и энергоэффективность возможности человеческого познания.
Центром высшей нервной деятельности, как известно, в мозге служит кора головного мозга. 96 процентов ее занимает часть, называемая неокортексом, или по-другому новая кора. Наличие неокортекса отличает нас от других млекопитающих является местом, где обрабатывается информация и принимаются решения. Его структура состоит из множества однообразных элементов — кортикальных колонок. Особенность их в том, что вертикальных связей между слоями нейронов внутри колонки гораздо больше, чем горизонтальных между самими колонками. Причем между слоями много обратных связей, то есть они передают информацию как в последующие слои, так и в предыдущие. Ученые считают, что кортикальные колонки служат логическими единицами неокортекса. А так как вертикальных связей между слоями внутри нее больше, чем горизонтальных (между колонками), то вертикальные связи вносят больший вклад в производительность, чем горизонтальные.
Следовательно, предполагают ученые, мы можем попробовать скопировать структуру кортикальной колонки и использовать ее в качестве структурной единицы для создания искусственного неокортекса. Это не единственный подход к созданию нейроморфных вычислений, но моделирование неокортекса, надеются ученые, может дать новые возможности для обучения ИИ.
Меньше энергии, больше производительности
Нейроморфные процессоры состоят из чипов, которые моделируют искусственные нейроны, имитирующие всплески активности, возникающие в человеческом мозге. Именно такие всплески отличают реальные нейроны от тех, что обычно содержатся в алгоритмах искусственных нейронных сетей. У обычного нейрона есть отростки: дендриты, по которым он принимает сигнал, и аксоны, по которым он передает сигнал. Места на концах дендритов и аксонов, где нейроны контактируют друг с другом, называются синапсами. Если говорить упрощенно, нейрон испускает сигнал тогда, когда сигнал, полученный по дендритам, достигает порогового значения.
В большинстве же современных нейронных сетей нейроны испускают сигнал на каждом шаге итерации. Однако существуют так называемые импульсные нейронные сети (Spiking Neural Networks ― SNN), где эта особенность учтена, поэтому они более точно имитируют биологическую работу мозга. В SNN нейроны выдают импульсы на выходе после получения серии импульсов на входе. С помощью таких нейронных сетей и программируют нейроморфные процессоры..
В силу того, что импульсный подход позволяет учитывать длительность распространения сигнала между нейронами, такой способ программирования нейроморфных процессоров выглядит довольно перспективным для моделирования биологических нейронов. Однако пока имеются проблемы с обучением таких нейронных сетей, так как для этого нам надо в точности знать, как обучается человеческий мозг. Поэтому пока разработчики еще находятся в поисках оптимального метода программирования нейроморфных процессоров.
Человеческий мозг уникален, в том числе в своей энергоэффективности. Он имеет базовую потребляемую мощность около 20 Вт на пике обработки сложных задач, при этом принимая решения за миллисекунды. Современные центральные процессоры могут значительно превосходить человеческий мозг в задачах обработки информации. Но процесс перемещения данных из памяти в процессор и обратно не только создает задержку, но и расходует огромное количество энергии.
Типичный настольный компьютер потребляет примерно 200 Вт, в то время как некоторые суперкомпьютеры потребляют до 20 мегаватт. Складывая слоями искусственные нейроны с синапсами и вставляя их во множество ядер, разработчики пытаются лучше понять, какие принципы имеют решающее значение для вычислений с низкой мощностью. Это Такой подход позволит имитировать характеристики живых нейронов в кремнии, и расширить тем самым границы существующих вычислительных устройств.
Материалы и комплектация
Многие компании и научные институты пытаются создать искусственные нейроны на основе таких необычных технологий как мемристоры, оптические микрорезонаторы, магнитные переключатели с джозефсоновским переходом, спин-трансферные переключатели. Однако пока наибольших успехов достигли компании, которые реализуют SNN на технологии CMOS ― Complementary Metal–Oxide–Semiconductor (комплементарная логика на полупроводниковых транзисторах из металл-оксидов, обычно в виде интегральной микросхемы). В этом случае элементы полупроводниковой электроники имитируют работу биологических нейронов, дендритов, аксонов, а синапсы представляют собой электрические контакты между электронными аксонами и дендритами.
Сфера нейроморфных вычислений еще только зарождается, но усилия в области исследований и разработок начинают приносить ощутимые результаты. Одним из первых успешных примеров разработок в этой сфере стал чип TrueNorth от компании IBM. Он имеет 4096 ядер, каждое из которых содержит 256 нейронов, которые, в свою очередь, содержат по 256 синапсов каждое. В общей сложности, получается, более 1 миллиона искусственных нейронов и почти 270 миллионов синапсов. Все это представлено в виде 5,4 миллиардов транзисторов. Микропроцессор имеет 1/10 000 плотность мощности обычного процессора, то есть потребляет в 10000 раз меньше энергии на единицу объема. Благодаря использованию импульсной нейронной сети активность в синтетических нейронах возникает только тогда и там, где это необходимо.
Не отстает от IBM и компания Intel, которая разработала исследовательский чип Loihi, в котором также используютсяимпульсные нейронные сети. Он состоит 128 ядер, которые реализуют 128 тысяч нейронов и 128 млн синапсов. Количество транзисторов при этом составляет 2,1 млрд. Также в него входит три ядра процессора Lakemont (Intel Quark) и сеть связи вне чипа. Чип разработан с высоким уровнем конфигурируемости и может быть оптимизирован для конкретных задач. В настоящее время с чипом экспериментируют более 80 членов Сообщества нейроморфных исследований Intel, куда входят университеты, правительственные лаборатории и стартапы в области нейроморфных вычислений. 30 сентября 2021 года Intel Labs выпустили обновленный чип под названием Loihi 2. В нем среди прочих изменений количество нейронов увеличилось до 1 млн, а количество транзисторов до 2,3 млрд.
В России сфера нейроморфных вычислений развивается не менее активно. В России выпустили чип. В 2020 году Росатом совместно с компанией «Мотив» создали чип «Алтай». Он состоит из 131 тысячи нейронов и 67 миллионов связей между ними.
Перед расцветом ИИ
Нейроморфные чипы не заменят современные процессоры и графические процессоры. Скорее всего, они будут встроены рядом с ними в виде отдельных устройств. Это расширило бы возможности использования существующих цифровых технологий. Они могут быть чрезвычайно важны для решения специфических технологических задач посредством искусственного интеллекта в сферах его активного применения.
Сочетая повышенную энергоэффективность, снижение задержки и улучшенное обучение, нейроморфные чипы могут вывести распознавание изображений и обработку речи на новый уровень скорости, эффективности и точности. При помощи этой технологии можно обеспечить обработку речи практически на всех типах устройств или создать новые типы видеокамер, которые работают с меньшей мощностью и более эффективно обнаруживают закономерности и события.
Предполагается, что нейроморфные чипы как и нейронные сети в будущем будут наделены способностью непрерывно обучаться, адаптироваться и развиваться. Например, роботизированная рука могла бы научиться распознавать различные объекты, поднимать их и точно перемещать. Если требуется более крепкая хватка или более легкое прикосновение, система соответствующим образом отрегулируется. Новые элементы не сбили бы нейроморфную систему с толку.
Исследователи изучают возможность разработки протезов, которые давали бы людям с ампутированными конечностями ощущение прикосновения; имплантированных в мозг чипов, которые могли бы помочь жертвам инсульта или болезни Альцгеймера; самовосстанавливающейся электронной кожи и даже глазных имплантов, которые могли бы восстановить зрение слепым.
Сумма этих достижений в будущем может привести к революционным прорывам и даст новые возможности для обучения «многозадачных» нейронных сетей.
