Интересовался этой темой задолго до появления Lemmy и сегодня подумал, что эта отличная вещь для поста.

Долгое время считалось, что аналоговые компьютеры — это громоздкие ламповые машины из середины прошлого века, навсегда проигравшие цифровой кремниевой архитектуре. Однако сегодня, когда цифровые чипы упёрлись в физические ограничения, аналоговая физика переживает мощный ренессанс.

В современных ИИ-задачах львиная доля энергии тратится не на сами вычисления, а на постоянное перетаскивание весов нейросетей из памяти в процессор и обратно. Аналоговые вычисления предлагают радикальное решение: убрать это движение данных, заставив саму физику микросхемы считать за нас.

Аналоговые вычисления развиваются по двум фундаментальным направлениям. Первое из них — Analog CIM (Compute-in-Memory). Веса нейросети намертво зашиваются в саму структуру памяти в виде физической проводимости ячеек. Входной сигнал подаётся как напряжение, умножение мгновенно происходит по закону Ома, а сложение — по закону Кирхгофа, когда токи просто сливаются в один провод.

Второе — это дополнение кремниевой электроники программируемыми аналоговыми матрицами (FPAA). Это независимые вычислительные блоки на операционных усилителях, транзисторах и конденсаторах, где данные кодируются непосредственно величиной напряжения или силой тока. Цифровой управляющий аппарат может с помощью коммутационной матрицы на лету перестраивать связи между блоками, собирая абсолютно разные конфигурации нейросетей под конкретную задачу.

Основная проблема аналоговых вычислений — цена точности, воспроизводимости и программируемости. Любое отклонение — от теплового шума до износа компонентов — приводит к колебаниям значений. Систему сложно масштабировать: то, что в цифре решается спавном новых транзисторов, в аналоге обычно требует экспоненциального усложнения схемы.

Тем не менее, по моему мнению, за аналоговыми вычислениями больше будущее, которое настанет, когда мы научимся полноценно программировать такие машины и, самое главное, уменьшим стоимость аналоговых вычислений. Их убийственная мощь в том, что операции над векторами и матрицами происходят почти мгновенно, а это то, чего явно не хватает современной нейросетевой индустрии. А что думаете вы?