Загрузка...




Файл Robots.txt и Sitemap.xml



Как и хотел, решил написать о фалах: Robots.txt и Sitemap.xml. Что же они собой представляют?

Robots.txt

Robots.txt – это текстовый файл, который указывает поисковым системам те или иные инструкции. К примеру, здесь вы можете указать:

  • Какие страницы индексировать
  • Зеркала сайта
  • Указать путь к карте сайта
  • Заметьте, что когда поисковики заходят на сайт, они в первую очередь ищут Robots.txt, поэтому, где есть данный файл, индексация происходит быстрее.

    Пример Robots.txt:
    User-agent: *
    Host: www.site.ru
    Sitemap: http://site.ru/sitemap.xml
    Если вы сделали Sitemap, то обязательно укажите это в Robots.

    Sitemap.xml

    Sitemap.xml – это обыкновенная карта сайта в формате .xml, которую вы можете сгенерировать через сервисы, к примеру, htmlweb.ru, кроме того, также она может быть создана автоматически через специальный плагин для WordPress: «Google-sitemap-generator«.
    Я абсолютно всем рекомендую создать карту сайта, так как поисковикам будет намного легче найти новые страницы.
    Если вы хотите довести индексацию сайта до 100%, то вам просто необходимы данные файлы.
    Загрузка...