Файлы Sitemap.xml и robots.txt для блогов на Blogger.com

Размещаем файлы sitemap и robots.txt на своем блоге
Коль скоро мы с вами начали плотное знакомство с поисковыми системами, то нам необходимо остановиться еще на двух технических моментах - это файлы Sitemap.xml и robots.txt для нашего блога.

Что такое файлы Sitemap.xml и robots.txt и для чего они нужны?




Sitemap.xml - это карта сайта, только выполненная в специальном формате, благодаря которому поисковые роботы большинства поисковых систем могут просканировать ее в считанные доли секунды и узнать о появившихся новых страницах блога.

Дело в том, что в обычном режиме сканирования поисковый робот не всегда успевает сделать это, что является частой причиной того, что новые страницы блога долго не индексируются. Благодаря же формату xml, робот может намного быстрее ориентироваться на нашем блоге.

Файл robots.txt - это своего рода дорожный указатель для поисковых роботов. Этот файл первое, что ищет робот, придя на блог или сайт, потому что именно в этом файле находятся предписания для него, какие страницы сканировать, какие - нет, а также по какому адресу находится Sitemap.xml.

Если такого файла на блоге нет, то робот начинает сканировать все подряд, вплоть до служебных файлов админки. Это занимает его время и мешает ему вовремя обработать более важные файлы сообщений нашего блога.

Именно поэтому, если вы заметили, при регистрации нашего блога и в Яндексе, и в Google, и в Mail.ru, все поисковые системы спрашивали нас о файлах Sitemap.xml.

Раньше нам с вами не хватало технических знаний, чтобы касаться этой темы, но сейчас, я думаю, вы вполне в силах с ней справиться, и мы заполним этот пробел.

Файлы Sitemap.xml никто не делает вручную, для этого есть удобные генераторы онлайн, и мы обратимся к помощи одного из них.

Наша задача осложняется еще и тем, что мы не имеем доступа в корневую папку нашего блога и потому не можем получить эти файлы из генератора и залить в корень блога. Поэтому нам подойдет не любой Sitemap генератор.

Однако к счастью существует генератор Sitemap, который берет всю техническую задачу на себя, а нам только остается получить от него директиву для файла robots.txt и прописать ее в нем.

1.  Входим на сервис генератора Sitemap, который находится по адресу:
 http://ctrlq.org/blogger/

Вводим в адресную строку адрес нашего блога и кликаем на кнопку: Generate Sitemap


Входим на сайт генератора sitemap



2.  Сверху появляется текстовое поле в голубой рамке. В поле прописана директива для файла robots.txt с указанием адреса, по которому будет находиться Sitemap нашего блога.

Копируем весь код на мышку.


копируем директиву для файла robots.txt



3.  Заходим в наш блог на вкладки: Настройки --> Настройки поиска.

Находим на странице настройку: Пользовательский файл robots.txt и кликаем на ссылку: Изменить около него.

Настраиваем файл robots.txt для нашего блога


4.  Ставим отметку в кнопку: Да.

Открывается текстовое поле, в которое мы вставляем код, скопированный в генераторе Sitemap.

Кликаем: Сохранить изменения.

Пожалуйста будьте очень внимательны, работая с этим файлом.


Прописываем директиву в файле robots.txt



5.  Прежде, чем покинуть страницу, убедитесь, что файл robots.txt включен.

Настройка файла robots.txt


Все. Дело сделано. Теперь у нас есть файлы Sitemap.xml и robots.txt, и наш блог готов к встрече с роботами любых поисковых систем.

Однако я хочу вам напомнить о важности постоянного пополнения блога новыми сообщениями. Никакие наши технические усовершенствования не будут иметь результата, если блог не будет пополняться качественным и востребованным контентом.

К тому же, не обжитый блог может вызвать отказ в регистрации в Google AdSense, когда мы с вами начнем готовиться к заработку на контекстной рекламе.



Если вы случайно попали на эту страницу и хотите присоединиться к тренингу, вы можете сделать это через эту подписную форму:


Ваше имя: *
Ваш e-mail: *
В тренинге участвуют:
слушателей


Забрать на свою страничку:




15 комментариев:

  1. Каролина, спасибо за очередной урок! все получилось...

    ОтветитьУдалить
  2. Спасибо Каролина. У меня получилось.

    ОтветитьУдалить
  3. Содержание файла robots.txt не соответствует правилам форматирования.- У меня вот это сообщение выскакивает. Так что ничего не получилось.

    ОтветитьУдалить
    Ответы
    1. Ирина, Blogger иногда глючит, и такое бывает...если вы все сделали правильно, то попробуйте сделать это через какой-то промежуток времени или обновить страницу...

      Удалить
  4. Огромное спасибо, Каролина! Вы даете такую бесценную информацию, да еще в такой доступной форме! Низкий Вам поклон!

    ОтветитьУдалить
  5. Спасибо, девочки, рада, что у вас все получается...)

    ОтветитьУдалить
  6. Ирина Кудрявцева, у меня такая же "беда" была! Я отключил перевод на русский, и у меня все получилось! Или нажимайте на кнопку "показать оригинал"!

    ОтветитьУдалить
    Ответы
    1. Вот, не одна я такая, на перевод автоматический не обратила внимание! Получилось, ура!

      Удалить
    2. Ух ты, какие умельцы здесь уже наметились...)))

      Удалить
  7. Каролина, здравствуйте! Все сделала, но у меня после сохранения вышла такая запись:
    Содержание файла robots.txt не соответствует правилам форматирования
    Что это значит?
    Спасибо.

    ОтветитьУдалить
    Ответы
    1. Google иногда вредничает и глючит...у меня тоже так бывает...можно обновить страницу и попытаться еще раз...или попробовать через некоторое время...если вы уверены, что все сделали правильно...

      Удалить
  8. Здравствуйте, Каролина, а обжитый блог, это сколько посетителей?

    ОтветитьУдалить
    Ответы
    1. Посетителей может быть и немного, но важно, чтобы были сообщения по всем заявленным разделам...все страницы были оформлены...блог существовал более одного месяца и постоянно обновлялся...

      Удалить
  9. Подскажите,в какой зоне я должен указывать свой блог при регистрации его в google webmaster и создании карты сайта (com или ru) и нужно ли создавать зеркала для сайта в в гугл аналитике?

    ОтветитьУдалить
    Ответы
    1. Вам надо указать зону ru...зона com регистрируется гуглом автоматически...и блог в этой зоне надо указывать как зеркало...

      Удалить