Нейросети будущего: как находить новые технологические решения

Мы используем ваши ответы, чтобы подбирать для вас подходящую рекламу В настоящем и обозримом будущем развитие искусственного интеллекта представлено двумя основными направлениями: классические нейросети, построенные на формальной модели нейрона, и активно развивающиеся нейроморфные вычисления. Классические сети частично служат отправной точкой для нейроморфных: часть механизмов заимствуется, часть реализуется принципиально новыми подходами. Для достижения передовых характеристик разработчики следуют принципу бритвы Оккама — выбирают наиболее простое решение, удовлетворяющее требованиям по функционалу, точности и надежности.

Однако «простое» в данном случае не значит «универсальное»: сложность аппаратно-программного решения требует совместной оптимизации структуры сети, представления данных, вычислительного графа и целевой аппаратной платформы. Рассмотрим часть таких решений на основе Международной дорожной карты развития устройств и систем (IRDS) и современных высокорейтинговых научных статей и сопоставим их с теорией решения изобретательских задач (ТРИЗ). Достижения и перспективы развития отечественного нейроморфного процессора «Алтай» и платформы нейроморфного машинного обучения Kaspersky Neuromorphic Platform традиционно рассматриваются и обсуждаются в докладах секции № 10 форума «Микроэлектроника» «Нейроморфные вычисления. Искусственный интеллект». Основное направление — переход от универсальной монолитной системы к распределенной гетерогенной архитектуре. В ней объединяются классические управляющие ядра, сигнальные процессоры, матричные и нейроморфные ускорители, локальная память и специализированные функциональные блоки. Разделение на компоненты соответствует концепции Disaggregated AI (дизагрегированный ИИ — разнесение функций по специализированным блокам), а динамический выбор ресурсов и действий по заданным критериям — концепции Agentic AI (агентный ИИ — автономный выбор стратегии исполнения). При этом выигрыш от специализации и сокращения пересылок должен превышать затраты на преобразование данных, буферизацию, синхронизацию и управление. Проблема «стены памяти» (memory wall — разрыв в скорости между процессором и памятью) решается с помощью локальных вычислений и вычислений «в памяти» (in-memory computing). Гетерогенная архитектура применяется как в периферийных устройствах, так и в мобильных, облачных и высокопроизводительных системах, оптимизируемых по производительности, энергопотреблению и отказоустойчивости. В таких системах стремятся к высокой пропускной способности каналов передачи весов и активаций за счет их локальности и повторного использования при сокращении объема промежуточных представлений. Применяются смешанная точность и новые форматы, включая Posit. Высокая точность сохраняется только для операций, существенно влияющих на устойчивость и качество. Для точных слоев используются цифровые SRAM и программируемые блоки; для остальных — кроссбары RRAM. Активно применяются вычисления в оригинальной и модернизированной DRAM, в том числе и варианты бинарных сетей. Нейроморфные системы развиваются в направлении сквозной спайковой (событийной) обработки: операции запускаются по готовности данных, а не по тактовому сигналу. Разреженный инференс (обработка только активных событий) существенно снижает энергопотребление. Локальные правила обучения обеспечивают непрерывную адаптацию и обучение на устройстве. Вероятностная природа вычислений, аналоговые шумы, физическая нелинейность и ограничения используются как полезный ресурс, а не как помеха. Размещение нейронов выполняется с группировкой по фактическому обмену импульсами; нейроны назначаются физическим кроссбарам с целью оптимизации энергопотребления, времени исполнения и точности. Отказоустойчивость крупных систем обеспечивается резервированием ядер и тайлов, отключением неисправных элементов по карте дефектов, программируемой маршрутизацией и реконфигурацией. Для формальных нейросетей используют массивы блоков умножения с накоплением (MAC), для спайковых — событийные ядра. Приближенные вычисления выполняются на кроссбарах RRAM, точные — на цифровых блоках. Структуру алгоритма, формат данных и активаций выбирают совместно с учетом точности, задержки и модальности. Тип памяти подбирается по времени жизни вычислительного состояния: редко изменяемые…

Источник: hi-tech.mail.ru — hi-tech.mail.ru/articles/157855-nejroseti-budushego-kak-nahodit-novye-tehnologicheskie-resheniya/