Тут происходит небольшая революция — появился репозиторий, в котором, как утверждается, научились заниматься обучением нейронок на чипах Apple Neural Engine напрямую. Сейчас ANE используются для запуска готовых моделей в основном, автор утверждает, что разобрал приватные API эппла, и теперь всё можно учить прямо на устройстве, не покупая себе очередной A100.
В реальности, скорее всего, пользоваться этим будет нельзя, пока эппл явно не разрешит. Но фактически то, что автор репозитория показал, означает, что по сути нас ограничивает только софт, ограничения на уровне железа практически не существует. Хайпа, правда, многовато, т.к. устройства с ANE конечно не рассчитаны на ту огромную и долговременную нагрузку, которая нужна для большого обучения.
GitHub - maderix/ANE: Training neural networks on Apple Neural Engine via reverse-engineered private APIs
Training neural networks on Apple Neural Engine via reverse-engineered private APIs - maderix/ANE