Microsoft выложили в опенсорс свой пайплайн для работы с большими графами данных, называется очень оригинально - Graph Engine. По сути своей это система, которая покрывает полный спектр работы со связанными данными, от получения данных, через обработку и распределенное сохранение. до системы запроса.
Удивительно, как за последние 4 года компания Microsoft прошла в глазах разработчика (ну, ладно, меня) от корпорации монстров, до буквально последнего пристанища свободы. Я посчитал, с начала года это четвертый большой и не бесполезный кусок своих разработок, который компания выкладывает в OpenSource.
Graph Engine
Graph Engine is a distributed, in-memory, large graph processing engine.