Reddit стал блокировать почти все крупные поисковики и чат-ботов — кроме тех, что платят

Например, Google сейчас единственный крупный поисковик, который выдает свежие страницы Reddit при добавлении в запрос «site:reddit.com». Bing, DuckDuckGo и другие его альтернативы за бортом — вероятно, потому, что Google заключила с Reddit сделку на $60 млрд, которая позволяет первой обучать свои модели на контенте второй.

В Reddit изданию заявили, что сделка ни при чём. Там добавили, что вели переговоры с несколькими поисковиками, но к соглашению пришли не со всеми, поскольку некоторые не смогли или не захотели принять условия Reddit по использованию контента, в том числе для тренировки ИИ. В Microsoft подтвердили, что Bing больше не трогает Reddit.

The Verge называет блокировку популярных поисковиков со стороны Reddit смелым шагом, но ничуть не удивительным. Последний год площадка более ревностно относится к своему контенту, поскольку видит в нём источник доходов и способ привлечь новых инвесторов. Ранее компания подняла цену на свой API для некоторых сторонних разработчиков, а также якобы угрожала отгородить от своего контента Google, если та не перестанет пользоваться им бесплатно для нужд ИИ. Недавно Reddit обновил файл robots.txt с инструкциями для краулеров, чтобы помешать сбору данных.