Бетке Сергей: iT блог

Прошу не пинать ногами за подобные делитантские статьи по оптимизации контента с точки зрения поисковых серверов.

Воспользовался Яндекс.Вебмастер и Google.Вебмастер. И получил сразу проблемы.

Вижу следующий результат индексирования в Яндексе. Он загрузил 121 страницу и 69 включил в Индекс. В том числе включил в индекс url типа /category/it, /tag/spf и так далее. Согласитесь, в случае блога в индекс поисковых серверов нет смысла включать страницы с анонсами статей конкретной рубрики, или анонсы подборки по конкретным тегам. Потому как содержимое этих страниц будет постоянно меняться, а Ваши читатели ищут статью, а не их перечень.

Посему решил найти способ исключить из индекса поисковых серверов страницы рубрик, меток, главную страницу, карту сайта. Для этого воспользуюсь файлом robots.txt:

# robots.txt for my IT blog sergey-s-betke.blogs.novgaro.ru
User-agent: *
Disallow: /cgi-bin  
Disallow: /wp-admin  
Disallow: /wp-includes  
Disallow: /wp-content/plugins  
Disallow: /wp-content/cache  
Disallow: /wp-content/themes  
Disallow: /?
Disallow: /xmlrpc.php
Disallow: /trackback  
Disallow: */trackback  
Disallow: */*/trackback  
Disallow: */*/feed/*/  
Disallow: */feed  
Disallow: /*?*  
Crawl-delay: 2
Disallow: /error404
Disallow: /error494
Disallow: /category/*
Disallow: /tag/*
Disallow: /author/*
Disallow: /login
Disallow: /page/*
Disallow: /2010/*
Disallow: /2011/*
Disallow: /2012/*
Host: sergey-s-betke.blogs.novgaro.ru
Visit-time: 0500-0800

Sitemap: http://sergey-s-betke.blogs.novgaro.ru/sitemap.xml
Sitemap: http://sergey-s-betke.blogs.novgaro.ru/sitemap.xml.gz

Файл должен быть расположен в корне сайта. Таким вот образом можно попробовать исключить конкретные группы url из индекса поисковых серверов. Либо можно через метатеги (noindex, follow), но для этого уже придётся править php код, что нехорошо.

Редактировать указанный файл через консоль на wordpress достаточно удобно с помощью плагина KB Robots.txt.

После всего этого следует удалить уже проиндексированные “ненужные” страницы из индекса поисковых серверов (например – с Яндекса http://webmaster.yandex.ru/delurl.xml).