Страница 1 из 2 12 ПоследняяПоследняя
Показано с 1 по 10 из 11

robots. txt: как закрыть сайт от индексации?

  1. #1
    Старожил
    Регистрация
    15.12.2014
    Сообщений
    5,029
    Поблагодарил(а)
    271
    Благодарностей: 696 (постов: 613)
    Записей в дневнике
    14

    robots. txt: как закрыть сайт от индексации?

    robots. txt: закрыть сайт от индексации - покажу для начала на примере своего «бложика» построенного на популярном движке wordpress. Самым простым способом как закрыть сайт от индексации в robots.txt является редактирование через консоль wordpress. Для этого перейдите в «консоль» затем найдите «настройки», а там подраздел «чтение». После перехода в раздел найдите там пункт «видимость для поисковых систем». Если поставить тут галочку, то сайт перестанет быть видимым для поисковиков.



    Но иногда надо закрыть для индексации не весь сайт целиком, а только отдельные страницы, например я закрыл страницы с поздравлением с Новым годом, так как не считаю их индексацию необходимой, да и может я вообще удалю эту страницу через какое-то время. Для того, чтобы указать в robots.txt закрыть страницу от индексации я использую в wordpress плагин, например All In One SEO Pack. В данном плагине есть возможность скрыть страницу путем установки отметки в соответствующем пункте настройки записи – «NOINDEX эту страницу/запись».



    Но редактированием robots.txt закрыть от индексации весь сайт можно также и другими более продвинутыми способами, а если точнее путем редактирования файла robots.txt через файловый менеджер, например через FileZilla. Снова рассмотрим на примере моего сайта. Для этого открываем через файловый менеджер сайт, который необходимо отредактировать. Ищем в корневой папке соответствующий файл robots.txt и вносим необходимые правки, для этого скачиваем файл, редактируем и после чего снова загружаем его на сервер. Для запрета полностью индексации пишем: User-agent: * Disallow: / - все, сайт запрещен к индексации всеми роботами.
    Подобным образом, кстати, можно запретить доступ не только ко всему сайту, но и к отдельным страницам, файлам и вообще к любому контенту содержащемуся на сайте.
    Последний раз редактировалось Optimus; 10.01.2018 в 21:13.

  2. #2
    Старожил
    Регистрация
    12.01.2015
    Сообщений
    7,226
    Поблагодарил(а)
    1,143
    Благодарностей: 385 (постов: 353)
    Optimus, хотите создать закрытый сайт? Но как тогда люди увидят Ваше поздравление? Это же нужно всем рассылать прямые ссылки на эту страницу?
    Хотя, способ хороший. Им пользуются некоторые бизнесмены, или учёные, когда нужно поделится чем-то, но лишь с определённым кругом людей.
    А реально случайно попасть на такую закрытую страницу? Может случайный человек, ну скажем, ссылку не правильно написать и он попадёт к вам?

  3. #3
    Старожил
    Регистрация
    15.12.2014
    Сообщений
    5,029
    Поблагодарил(а)
    271
    Благодарностей: 696 (постов: 613)
    Записей в дневнике
    14
    Afox, на самом деле закрытие сайта полностью или отдельных страниц делается для того, чтобы при создании сайта можно было легко его редактировать, удаляя те или иные страницы. Так как если не закрывать при редактировании, то поисковые системы проиндексируют созданные записи и если потом надо будет удалить появятся страницы 404 в интернете. А это насколько мне известно, не есть гуд для продвижения.

  4. #4
    Старожил
    Регистрация
    12.01.2015
    Сообщений
    7,226
    Поблагодарил(а)
    1,143
    Благодарностей: 385 (постов: 353)
    О, понятно. Ну да, бывает такое, что поисковик выдаёт что-то, но ты приходишь на несуществующую страницу. И знаете, мне как-то и в голову не приходило поискать что-то на этом же сайте. Возникает мысль, что если страницы не существует, значит и сайта нет.
    Но ведь эта страница, если она проиндексирована, всё равно существует в виде архивной копии, и чисто теоретически, её можно найти?

  5. #5
    Старожил
    Регистрация
    15.12.2014
    Сообщений
    5,029
    Поблагодарил(а)
    271
    Благодарностей: 696 (постов: 613)
    Записей в дневнике
    14
    Цитата Сообщение от Afox Посмотреть сообщение
    Но ведь эта страница, если она проиндексирована, всё равно существует в виде архивной копии, и чисто теоретически, её можно найти?
    Вот не знаю, как работает в этой плане Гугл, какие-то страницы даже при удалении да еще какое-то врем можно почитать, а какие-то нет. Но я удалял со свое сайта уже проиндексированные страницы и они потом в админке Яндекса светились как "404".

  6. #6
    Администратор
    Регистрация
    19.09.2014
    Сообщений
    282
    Поблагодарил(а)
    25
    Благодарностей: 59 (постов: 46)
    Хрень какая написана.

  7. #7
    Старожил
    Регистрация
    15.12.2014
    Сообщений
    5,029
    Поблагодарил(а)
    271
    Благодарностей: 696 (постов: 613)
    Записей в дневнике
    14
    Цитата Сообщение от Veter Посмотреть сообщение
    Хрень какая написана.
    а что на Вордпресе не так закрывается сайт от индексации? Конечно, многое зависит от движка, но я писал о том, с чем сам сталкивался. И да, поправьте чего не правильно?

  8. #8
    Администратор
    Регистрация
    19.09.2014
    Сообщений
    282
    Поблагодарил(а)
    25
    Благодарностей: 59 (постов: 46)
    Разбирать всю эту чушь лень.

  9. #9
    Старожил
    Регистрация
    15.12.2014
    Сообщений
    5,029
    Поблагодарил(а)
    271
    Благодарностей: 696 (постов: 613)
    Записей в дневнике
    14
    Цитата Сообщение от Veter Посмотреть сообщение
    Разбирать всю эту чушь лень.
    Уверен, что для каких-то других движков закрытие индексации страниц или сайта целиком делается как-то иначе. Хотя, вариант с редактированием через ftp файла robot.txt - это универсальный способ, который работает на всех сайтах. Или нет? Скажите просто, да или нет.

  10. #10
    Супермодератор
    Регистрация
    20.10.2014
    Сообщений
    1,666
    Поблагодарил(а)
    300
    Благодарностей: 228 (постов: 207)
    Записей в дневнике
    3
    Optimus, тебе дали развернутый ответ.


 
Страница 1 из 2 12 ПоследняяПоследняя

Похожие темы

  1. Как посмотреть сайт в прошлом?
    от Afox в разделе Вебмастеру
    Ответов: 7
    Последнее сообщение: 18.12.2018, 16:16
  2. Сайт Kinogo заблокирован
    от Afox в разделе Кинофильмы
    Ответов: 4
    Последнее сообщение: 05.01.2017, 19:57
  3. Сайт для осведомителей
    от Afox в разделе Социальные сети
    Ответов: 18
    Последнее сообщение: 25.07.2016, 13:34
  4. Нет доступа на сайт
    от Afox в разделе Болтология
    Ответов: 4
    Последнее сообщение: 20.04.2015, 12:28
  5. Сайт на php (Bootstrap php)
    от lizunova в разделе Вебмастеру
    Ответов: 1
    Последнее сообщение: 26.03.2015, 03:44

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •