robots. txt: закрыть сайт от индексации - покажу для начала на примере своего «бложика» построенного на популярном движке wordpress. Самым простым способом как закрыть сайт от индексации в robots.txt является редактирование через консоль wordpress. Для этого перейдите в «консоль» затем найдите «настройки», а там подраздел «чтение». После перехода в раздел найдите там пункт «видимость для поисковых систем». Если поставить тут галочку, то сайт перестанет быть видимым для поисковиков.
Но иногда надо закрыть для индексации не весь сайт целиком, а только отдельные страницы, например я закрыл страницы с поздравлением с Новым годом, так как не считаю их индексацию необходимой, да и может я вообще удалю эту страницу через какое-то время. Для того, чтобы указать в robots.txt закрыть страницу от индексации я использую в wordpress плагин, например All In One SEO Pack. В данном плагине есть возможность скрыть страницу путем установки отметки в соответствующем пункте настройки записи – «NOINDEX эту страницу/запись».
Но редактированием robots.txt закрыть от индексации весь сайт можно также и другими более продвинутыми способами, а если точнее путем редактирования файла robots.txt через файловый менеджер, например через FileZilla. Снова рассмотрим на примере моего сайта. Для этого открываем через файловый менеджер сайт, который необходимо отредактировать. Ищем в корневой папке соответствующий файл robots.txt и вносим необходимые правки, для этого скачиваем файл, редактируем и после чего снова загружаем его на сервер. Для запрета полностью индексации пишем: User-agent: * Disallow: / - все, сайт запрещен к индексации всеми роботами.
Подобным образом, кстати, можно запретить доступ не только ко всему сайту, но и к отдельным страницам, файлам и вообще к любому контенту содержащемуся на сайте.