Роскомнадзор задумался над блокировкой ботов, что гуляют по российским сайтам и собирают информацию. В конце апреля Роскомнадзор послал письмо российским компаниям, предоставляющим хостинг, с таким содержанием:
Роботы, в автоматическом режиме посещающие веб-сайты, используются для их индексации поисковиками, в интернет-рекламе, для сбора данных для обучения нейросетей и т. п. Технически роботы могут мимикрировать под обычных посетителей сайтов, однако легитимные боты отправляют владельцам веб-сайтов идентификатор, позволяющий выявлять его предназначение. Например, «Яндекс» использует YandexBot для индексации сайтов в целом, YandexImages — для индексации изображения для поиска по картинкам и т. д.
Компании предоставляющие хостинг — это компании которые предоставляют возможность на своих серверах размещать сайты, что доступны в сети Интернет постоянно. Т.е. Роскомнадзор планирует блокировать боты не на уровне сайта, а на уровне хостинга, который предоставляет свои услуги десяткам, сотням и тысячам сайтов. Т.е. действий от владельцев сайтов не требуется и они ни на что повлиять не могут.
Принцип работы роботов — это программы, которые в автоматическом режиме обходят сайты в поисках информации, как новой, так и актуализированной. Владельцы сайтов имеют возможность передать информацию поисковым системам о том, что на их сайтах появилась новая информация или она обновилась, тем самым ускоряя индексацию. Это нужно, чтобы сайт выше ранжировался в поисковой выдаче. Чем более точная информация, чем более она актуальна под поисковый запрос пользователя поисковой системы, тем лучше.
Понятное дело, что поисковые системы это не благотворительные организации и их основная задача это зарабатывание денег, поэтому поисковая выдача разбавляется рекламой, рассчитанной под поисковый запрос или под интересы пользователя.
Однако если поисковая система не будет выдавать правильный ответ на запрос, то ей пользоваться никто не будет, а значит и дохода от рекламы не будет.
Вернемся к Роскомнадзору. Судя по фразе "могут мимикрировать", Роскомнадзор не уверен в том что это происходит, однако надо быть услужливым и показать вид деятельности.
Что произойдет, если заблокируют поисковых роботов зарубежных компаний? Да все просто, российский сайты "вылетят" из поиска Google, Apple, Yahoo, Bing... Доля пользователей Google в России чуть меньше 50%, остальное в основном у Yandex. Это значит точность ответов Google со временем упадет и пользователи начнут массово переходить в Яндекс. Т.е. сформируется монополия, которая может начать регулировать выдачу как захочет, из расчета, что у пользователей не остается выбора.
Но для чего на самом деле нужна блокировка роботов? Google, Apple и многие другие компании еще в 2022 года не зарабатывают на рынке рекламы в России, для них потеря российского сегмента интернета не такая уж и потеря. Они индексируют сайты сейчас не из соображения коммерческой выгоды, а скорее из расчета, что когда-нибудь вернуться. Судя по всему инициатива Роскомнадзора это услуга Яндексу, кстати на фоне этой новости стоит присмотреться к акциям МКАО Яндекс.
По поводу сбора информации, которой так боится Роскомнадзор. Эта мера точно не поможет от каких-то злоумышленников, потому как существуют методы имитации роботов. Сам такими методами пользовался, чтобы при помощи Screaming Frog SEO Spider посмотреть как индексирует мой сайт робот Яндекса. И это я говорю про общедоступные методы, а что знают техническиподкованные "товарищи"?
Кстати, а как это будет контролироваться? Понятное дело, что владельцам сайтов это не понравиться, ну кто же захочет лишаться трафика. Заграничный трафик, хоть и дешевый (российская реклама посетителю из Германии совершенно неинтересна), но этот посетитель может поделиться новостью и тем самым расширить ссылочное портфолио сайта, что очень полезно для ранжирования в поисковой выдачи.
Моя теория по этой новости. Первое, это принуждение жителей России чаще пользоваться российскими поисковыми системами, которые цензуруются в особом порядке. Это подготовка к формированию цифрового занавеса и отделения российского сегмента интернета от мирового, все таки идет информационное противостояние.
