В последнее время все больше крутых экспериментов, связанных с end-to-end learning. Вот например ребята из NVidia выложили свою работу по полному обучению самоездящей повозки, в ней нет никаких промежуточных звеньев, нейронная сеть на основе данных от одной камеры принимает решение куда и как нужно рулить. У этого решения огромное количество плюсов и только один минус - изменения в эту систему можно внести ТОЛЬКО через дообучение. Т.е. Просто вписать маленький кусок кода "если видишь клочок газеты на дороге - не тормози" уже нельзя, только добавлять данные в датасет и учить что делать. Сложный путь, в котором главное уже не алгоритмы, но данные. По ссылке .pdf со статьей, аккуратнее images.nvidia.com/content/tegra/automotive/images/2016/solutions/pdf/end-to-end-dl-using-px.pdf