Сейчас все кинулись выкладывать свои решения для нейронных сетей. Гугл выложили в опенсорс тензорфлоу, Майкрософт - CNTK, Фейсбук показал как устроен их аппаратный кластер. Вот и Яху решили не отставать - выложили в опенсорс на радость разработчикам готовое решение, позволяющее распределено обучать и использоваться Caffee поверх Hadoop/Spark. На самом деле это крутая штука, кажется первое публично доступное и полностью распределенное обучение - Гугл в тензорфлоу обещали, да так и не сделали yahoohadoop.tumblr.com/post/129872361846/large-scale-distributed-deep-learning-on-hadoop