Файл robots.txt, или запрет индексации

Что такое файл robots.txt и зачем он обязательно нужен нашему сайту?

robots.txt — это такой специальный файл, который помогает поиковикам индексировать Ваш сайт.

Если этого файла нет на сайте, то когда поисковые роботы попадают на Ваш сайт Вордпресс,  они вслепую раз за разом сканируют весь Ваш контент.  И нужный — статьи, страницы, и не нужный, например, админ-панель,комментарии, темы. Может случится и так, что поисковому роботу просто не хватит времени на ндексацию полезного контента и он покинет Ваш сайт, ничего полезного там не узрев.

Чтобы помочь поисковику в индексации Вашего сайта, и пишут файл robots.txt. Этот файл  размещается в корневом каталоге Вашего сайта. Написать его можно самостоятельно. А можно просто взять шаблон ниже и поместить на свой сайт, заменив только адрес сайта:

 
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: http://tinrof.ru/

Sitemap: http://tinrof.ru/sitemap.xml.gz
Sitemap: http://tinrof.ru/sitemap.xml

Этот файл robots.txt для сайта Вордпресс является универсальным. Но Вы можете его изменить на свое усмотрение. Для этого Вы прописываете директиву

Disallow: /

и далее указываете тот раздел, который хотите запретить для индексирования.

После чего, Вы сохраяете свой получившийся файл robots.txt и заливатет его на хостинг в папку public.html.

А  проверить правильность файла  robots.txt  Вы можете с своем аккаунте в яндекс.вебмастере.

Всем хорошего настроения и до встречи!

comments powered by HyperComments