Создание drupal robots.txt

Чтобы добиться эффективной работы площадки и желаемых показателей доходности, необходимо не только создать качественный сайт и наполнить его добротным контентом, но и позаботиться о том, чтобы площадка была на хорошем счету у поисковых систем. Одним из способов добиться этого является создание технических файлов, которые обеспечивают взаимодействие поисковых роботов с продвигаемыми площадками. Одним из таких файлов является robots.txt.

Создание drupal robots.txt


Смотрите полный видеокурс на iTunes

Сущность и назначение robots.txt

Упоминая robots.txt, мы говорим, прежде всего, о текстовом файле, который содержит в себе информацию определённого вида. Пользователями этой информации, как уже было упомянуто выше, являются поисковые роботы, которые, заходя на сайт, в первую очередь обращаются к техническим файлам, чтобы узнать те или иные важные моменты. Главной целью создания файла robots.txt является обеспечить эффективное взаимодействие поисковых роботов с продвигаемым сайтом, а также позволить его владельцу влиять на работы площадки и оценку её поисковыми машинами. Итак, для чего же вообще нужен файл robots.txt? Данный текстовый файл содержит в себе данные об индексации сайта. Довольно часто на практике возникает ситуация, когда необходимо скрыть от глаз пользователей ту или иную страницу. Например, это может быть технический раздел, информация о клиентах или прочие данные конфиденциального характера, которые не должны попасть в выдачу. Благодаря наличию drupal robots.txt владелец drupal-площадки может указать поисковикам, какие разделы сайта нужно индексировать, а какие необходимо скрыть от глаз интернет общественности. Однако управление процессом индексации – далеко не единственная причина, по которой нужен файл robots.txt. В нём также значится информация относительно основного зеркала сайта. Указав, какой именно вариант сайта выводить в поисковую выдачу, можно ожидать аккумулирования трафика и аудитории на одном сайте, а не распыления показателей на несколько зеркальных площадок. И, наконец, третье назначение drupal robots.txt – это указание поисковику, где находится файл карты сайта, которая поможет ему сориентироваться в структуре площадки.

Создание и настройка robots.txt

По умолчанию файл robots.txt находится в корневой директории каждого сайта, однако там он возникает не автоматически с момента создания площадки. Поэтому, если веб-мастер, который занимался созданием сайта, не создал его в своё время, то необходимо как можно быстрее исправить эту досадную ошибку. Сделать это довольно просто, ведь создаётся файл drupal robots.txt вручную. Для этого потребуется текстовый редактор, создающий и сохраняющий файлы в нужном формате, а также немного времени пользователя. Итак, создав чистый файл, необходимо назвать его строго robots.txt, не допустив ни единой ошибки. Если хотя бы одна буква в названии файла будет прописана неверно, то поисковик не распознает в нём файл с инструкциями и проигнорирует всё то, что прописал для него владелец площадки. После того, как файл создан и назван, необходимо поместить его в корневой каталог сайта, но и это ещё не всё, ведь от пустого файла, как известно, мало пользы. Далее следует следующий этап под названием настройка robots.txt. Под настройкой следует понимать заполнение файла инструкциями для поисковиков. Это делается с помощью специальных инструментов – так называемых директив. Существуют различные директивы для разных случаев, но самыми часто используемыми из них являются User-agent, Disallow и Аllow, который указывают для какого именно поисковика оставлена команда, какие разделы нужно скрыть, а какие, наоборот, следует индексировать и показывать в выдаче.

Оставьте комментарий

Filed under Articles, Обучающие материалы, news, Uncategorized

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s