Исследователи из Института автоматизации Китайской академии наук в Пекине продемонстрировали SpikingBrain 1.0, имитирующую поведение биологических нейронов из-за так называемых «спаечных вычислений». В отличие от моделей, основанных на Transformer, активирующих всю сеть, эта система реагирует только на отдельные сигналы. Такой подход позволяет снизить потребление энергии и ускорить обработку информации.
В тестах SpikingBrain 1.0 использовала менее 2% данных, которые обычно необходимы другим LLM, демонстрируя значительное повышение скорости. К примеру, при обработке запроса с 4 миллионами токенов, меньшая версия модели работала более чем в 100 раз быстрее, чем обычная система. В другом тестировании она показала 26,5-кратное ускорение при генерации первого токена из контекста в 1 миллион токенов.
Ученые создали две версии SpikingBrain 1.0 – из 7 и 76 млрд параметров, обученных на 150 млрд токенах. Система стабильно функционировала на сотнях микросхем MetaX – китайского аналога чипов Nvidia. Разработчики считают, что эта архитектура может быть использована в областях, требующих обработки больших объемов данных, таких как анализ юридических и медицинских документов, секвенирование ДНК и исследования по физике высоких энергий.
