В файле robots txt не задана директива host – Как добавить директиву host в файле robots.txt ?
Как добавить директиву host в файле robots.txt ? Есть официальная документация у поисковиков на тему данной директивы, но к примеру у Google данная директива не задокументирована, но и не считается ошибкой в валидаторе… Ну что ж приступим… Как правильно прописать host в robots txt? Яндекс User-Agent: *Disallow: /forumDisallow: /cgi-binHost: https://soltyk.ru Валидатор для проверки в Яндексе […]

