С 1 июля Reddit обновил свой robots.txt, теперь всем ботам кроме гугла запрещено индексировать форумы и получать новые сообщения. Бинг вот уже подтвердил, что они следуют этому, и нового контента пока не будет.
Почему гуглу можно — гугл платит деньги за эту индексацию, подписан прямой контракт с Reddit, по которому гугл сможет использовать эти данные для обучения своих языковых моделей.
searchengineland.com/microsoft-c
Microsoft confirms Reddit blocked Bing Search
Reddit updated its robots.txt file prohibiting Bing and some other search engines from crawling its site.