IZEKBot
IZEKBot обходит публичные веб-страницы, формирует поисковый индекс и архивирует полученные документы в S3-совместимом хранилище.
User-Agent
IZEKBot/1.0 (+https://test.izek.ru/bot.php)robots.txtСоблюдается
Поддержка SitemapXML sitemap
ИндексированиеHTML / XHTML
Как запретить обход
Добавьте правило для IZEKBot или для всех роботов в robots.txt. Метатеги noindex и nofollow также учитываются.