Упустил, а Майкрософт в выходные опубликовали OmniParser v2 — такой ИИ-агент, который нормально пользуется браузером и вообще ОС, видит, что происходит на экране, короче, работает за вас.

www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/