И раз уж мы опять про селфдрайвинг: недавно Udacity проводили конкурс по разработке алгоритма, который принимая данные только с видеокамеры управляет машиной. Страшно горд, потому что лично знаю победителя этого конкурса - Илью Едренкина из Яндекса. Сходите почитайте его реализацию, она очень подробно описана в виде айпатоновского ноутбука medium.com/udacity/coding-a-deep
Coding a Deep Neural Network to Steer a Car: Step By Step
Using only camera frames as an input