Що таке Robots.txt? Robots.txt – це текстовий файл, який розміщується в кореневому каталозі веб-сайту і містить інструкції для пошукових роботів, які сторінки сайту їм слід індексувати, а які ні. Файл robots.txt не є жорсткою директивою, а лише рекомендацією, але більшість пошукових систем, таких як Google, Яндекс, Bing, Yahoo!, дотримуються його правил. Для чого потрібен robots.txt? […]
236