Что такое Robots.txt? Robots.txt — это текстовый файл, который размещается в корневом каталоге веб-сайта и содержит инструкции для поисковых роботов, какие страницы сайта им следует индексировать, а какие нет. Файл robots.txt не является жесткой директивой, а лишь рекомендацией, но большинство поисковых систем, таких как Google, Яндекс, Bing, Yahoo! Для чего нужен robots.txt? Этот файл дает […]
320 просмотров
0 комментариев