Dec 17, 2009 Posted by Ольга on Dec 17, 2009 in Немного SEO | 1 comment

Sitemap …А я бы не ходил. Кардинал не дама, разговор пойдет не о любви.

Robots.txt и Sitemap.xml или метод кнута и пряника!

Почему так важно использовать карту сайта? Что предпочитают поисковые системы и как улучшить индексацию сайта с помощью robots.txt и sitemap.xml? Как сделать сайт лакомым кусочком для поисковых ботов и предотвратить системную перегрузку? Рассмотрим на примерах популярных поисковых систем.

Карта сайта для посетителей ресурса – визуальная модель его структуры, чем – то схожая с географической картой, но указывающая либо все его разделы и категории, либо общие только поверхностные уровни. Sitemap.xml – файл, в котором содержится информация обо всех страницах сайта, которые должны быть проиндексированы. Robots.txt – это текстовый файл, предназначенный для инструктирования поисковых ботов и задающий определенные ограничения их работы.

Кстати, протокол sitemap.xml был впервые введен поисковой системой Гугл для того, чтобы мы могли уведомлять поисковых роботов о страницах, требующих индексации. После нововведения протокол sitemap.xml был принят поисковыми системами MSN и Yahoo (2006 год), а Яндексом аж в 2008 г. Также есть специальный плагин sitemap для создания карты блога на базе wordpress, поддержанный также сравнительно недавно. Если вы хотите установить карту сайта, но Ваш движок не поддерживает sitemap, можно воспользоваться услугами xml – sitemaps, который поможет создать xml файл.

Перед тем, как открыть двери перед поисковой системой, необходимо тщательно подготовиться. Поэтому было бы неплохо ознакомиться с рекомендациями по продвижению сайтов, которые доброжелательно предоставляют сами поисковые системы. Для Яндекс и Гугл приоритетное значение имеет файл robots.txt, расположенный  в корневой директории сайта. Использование файла sitemap.xml возможно, но при этом необходимо проинформировать поисковые системы, которые поддерживают этот протокол, о том, где он размещен с помощью файла robots. txt или при помощи http – запроса.

В файле sitemaps размещается информация о том, какие страницы ресурса должны быть проиндексированы поисковыми системами. Но применение протокола sitemaps не гарантирует их 100% индексацию. Тогда для чего использовать sitemaps? Использование sitemaps не увеличит скорость индексации сайта поисковыми системами, он лишь осведомляет обо всех страницах сайта и о том, с какой частотой они обновляются, таким образом, облегчая работу поисковых систем.

Также важно использовать и прописывать файл robots.txt, с помощью которого можно как разрешить, так и запретить индексацию определенных страниц, что предотвратит перегрузку сервера и обеспечит бесперебойную работу системы. Основное назначение файла robots.txt – не допустить поисковых роботов к определенным директориям сайта. Если никаких указаний для поисковых систем в файле robots.txt нет, то ресурс поступает полностью в их распоряжение!

Ð’Ñ‹ поняли, как действует метод кнута и пряника? Приручить поискового бота можно с помощью robots. txt (кнут) и немного побаловать, облегчив работу с помощь sitemap. xml (пряник)! И не забываем указывать местонахождение sitemap, чтобы каждый раз не высылать приглашение поисковым системам зайти на сайт. Таким образом, оптимальное решение – использовать преимущества и robots.txt и sitemap.xml!

Related posts:

1. PageRank …Это даже хорошо,что пока нам плохо
2. SEO …Не были мы ни в какой Таити. Нас и здесь неплохо кормят.
3. Supplemental index …Ходишь, ходишь в школу, а потом бац – вторая смена!
4. Optimization …Я сам диссидент – из Алабамы
5. Рассылка …Почему зачинщик эксперимента до сих пор не повешен

One Response to “Sitemap …А я бы не ходил. Кардинал не дама, разговор пойдет не о любви.”

1. seo-beginer says:

   19/12/2009 at 20:49

   Все верно написано, эти два файла очень полезны, с помощью robots.txt можно закрыть индексацию сайта многими не нужными ботами и это реально разгрузит сервер.