Для чего нужен robots.txt и как его правильно составить

Доброго дня сегодня мы рассмотрим , один из немаловажных параметров для создателей сайтов, скорее всего это не параметр, а целый файл и для чего нужен robots txt.
Вы наверное уже слышали что в этом файле прописываются параметры для роботов поисковых систем, отсюда и такое название.

Эти параметры тесно связанны с индексацией страниц сайта, существует мнение: чем больше информации прописано в robots.txt, тем хуже для сайта в целом.
Это мнение, меня не устраивает, дело не в объеме информации, а в ее содержании, если данный файл удалить совсем, то произойдет следующее, поисковая система проиндексирует все страницы, в том числе с дублированным контентом, это особо чревато для блогеров, так как будут проиндексированы рубрики с записями, и записи в целом.

По этому, для блогеров совет вставляйте тег «More» — читать далее, в каждой записи после 1-2 абзаца статьи, это поможет уменьшить объем дублированной информации в рубриках, а чтобы это вовсе не происходило есть  robots.txt ,вот как оказывается важен и  для чего нужен robots txt …
Для начала рассмотрим три самых важных составляющих данного файла:

• Первая директива это Host, в ней прописывается название основного домена сайта, больше всего этот параметр нужен для Яндекса.

• Следующий параметр это Sitemap – в нем указывается адрес расположения карты сайта, для блогов на wordpress существует плагин который создает эту карту автоматически, всем остальным можно создать вручную либо используя сервисы бесплатных полно в сети.

• Параметр Crawl-Delay – предназначен для указания интервала между, тем как робот индексирует страницы.

Немаловажным параметром является Disallow и ему противоположный Allow, эти составляющие и являются разрешением или запретом индексации новых либо существующих страниц.

Именно на этих директориях хотелось бы остановится и рассмотреть их подробнее:
Есть предположение, что если закрыть от индексации страницу либо раздел в целом, то он пропадет из поисковой выдачи. По крайней мере, в Яндексе происходит именно так, а вот наш зарубежный товарищ Google, относится к этим вмешательствам иначе.

Если для Яндекса этот файл является правилом, то для Google – это рекомендация, в их справке для вебмастеров есть пояснение, Disallow – это не добавлять страницы в индекс, т.е. страница будет просканирована и может попасть в выдачу, если на вашем сайте есть на ее ссылки либо на нее ссылаются другие источники. Яндекс придерживается правила, не сканировать страницу вообще.

Многие думают, ничего плохого нет в лишних страницах в индексе, чем больше, тем лучше.
А это вовсе не так, если в поиске будут страницы нужные для правильной работы сайта, но ненужные пользователям это ударит по авторитету вашего сервиса, причем весьма серьезно, также не нужно забывать о фильтре, того же Гугла, так называемом пингвине. Также из-за ненужных страниц в поиске весома снижается конверсия и поведенческие факторы.
Теперь я выложу примеры правильно robots.txt именно для блогов на движке wordpress:

Именно этот текст необходимо поместить в файл robots.txt для правильной индексации вашего блога поисковыми системами.
Прочитав множество информации выделил свое личное мнение, о том для чего необходим данный файл, думаю вы согласитесь со мной:

1. Запрет индексации всех страниц и сайта в целом при его создании, для того чтобы назойливый робот не проиндексировал заранее много лишнего.

2. Закрыть сайт от индексации ненужными поисковиками, зачем индексировать сайт китайской поисковой системой, если он для русскоязычного населения на русском языке, и ее не будут идти целевые посетители.

3. Для закрытия важной информации на сайте от глаз поискового робота, к примеру номера счетов, пароли и т.д.
Комментарии приветствуются, ответим на любые вопросы, всем Удачного дня!