May 12, 2017

У меня в этом году такое ощущение, что Nvidia тратят на поддержку нейронных сетей в своих картах больше денег. чем на игры. Недавний выход архитектуры Volta, на мой взгляд рывка в играх не принесет, но радикально, в несколько раз (для некоторых ситуаций) позволяет повысить быстродействие при обучении нейронных сетей. В их собственном тесте ускорение произошло более чем в полтора раза.

На самом деле ссылка про другое - есть такой популярный (например у фейсбука) фреймворк для работы с сетями Caffe. Он не такой удобный как Tensorflow, и вообще низкоуровневый - его задача показывать максимум производительности, а не давать удобство. В своежем релизе Caffe2 при поддержке Nvidia поддержали низкоточное обучение, используя 16 битные Float. По большому счету это частая история, когда нужно получить сверхвысокую скорость обучения с небольшой потерей в точности

caffe2.ai/blog/2017/05/10/caffe2-adds-FP16-training-support.html

Caffe2 adds 16 bit floating point training support on the NVIDIA Volta platform

After open sourcing Caffe2 at F8 last month, today we are are excited to share our recent work on low precision 16 bit floating point (FP16) training in collaboration with NVIDIA.