Не успели мы как следует разочароваться в TensorFlow (чудовищно медленный, нет дистрибьютэд лернинга, часть модулей очевидно закрыта и доступна только гуглерам) - нам на помощь спешит Майкрософт с проектом Distributed Machine Learning Toolkit. Нет, я все понимаю, все спешат пропиариться, но зачем же так сильно спешить? (и зачем использовать MPI в 21ом веке, но это другой вопрос) www.dmtk.io