Дослідники з Інституту автоматизації Китайської академії наук у Пекіні продемонстрували SpikingBrain 1.0, яка імітує поведінку біологічних нейронів через так звані «спайкові обчислення». На відміну від моделей, заснованих на Transformer, які активують всю мережу, ця система реагує лише на окремі сигнали. Такий підхід дозволяє знизити споживання енергії та пришвидшити обробку інформації.
У тестах SpikingBrain 1.0 використовувала менше 2% даних, що зазвичай необхідні іншим LLM, демонструючи значне підвищення швидкості. Наприклад, при обробці запиту з 4 мільйонами токенів, менша версія моделі працювала більш ніж у 100 разів швидше, ніж звичайна система. У іншому тестуванні вона показала 26,5-кратне прискорення при генерації першого токена з контексту в 1 мільйон токенів.
Вчені створили дві версії SpikingBrain 1.0 — з 7 та 76 млрд параметрів, навчених на 150 млрд токенах. Система стабільно функціонувала на сотнях мікросхем MetaX — китайського аналога чипів Nvidia. Розробники вважають, що ця архітектура може бути використана у сферах, що потребують обробки великих обсягів даних, таких як аналіз юридичних і медичних документів, секвенування ДНК та дослідження у фізиці високих енергій.
