Для чего нужен robots.txt?
Файл robots.txt используется поисковыми роботами (пауками, spiders), которые посещают ваш веб сайт и собирают с него информацию. Иногда нужно закрыть от сбора информации (индексации) некоторые файлы или целые директории, в которых содержится ненужная поисковику информация - скрипты, системные файлы и т.п. Также, частое обращение к файлам на вашем сервере поисковым роботом может привести к тому, что ваш сайт не будет доступен посетителям из-за активного сбора роботом информации с вашего сервера.
Потому желательно установить этот файл с набором простых инструкций для поискового робота на сервер.
?????? ????? »