Очень красивый пост гугла о том, как они сейчас строят нейронные сети для работы с NLU. Если отодвинуть невероятно красивое оформление и анимацию - удивительно, но в гугле та же attention-based схема, что и у проекта DeepL (он в канале тут, выше на десяток постов) research.googleblog.com/2017/08/transformer-novel-neural-network.html

Transformer: A Novel Neural Network Architecture for Language Understanding

Posted by Jakob Uszkoreit, Software Engineer, Natural Language Understanding Neural networks, in particular recurrent neural networks (RN...