Четверг, 25.04.2024, 14:17
Приветствую Вас Гость | RSS

Что такое robots.txt и как его правильно создать? - Форум


[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 1
  • 1
Форум » ВЕБМАСТЕРАМ!!! » Продвижение сайта в поисковых системах » Что такое robots.txt и как его правильно создать?
Что такое robots.txt и как его правильно создать?
sergey
Дата: Суббота, 22.12.2012, 16:31 | Сообщение # 1
Постов: «35»
Генералиссимус
Ранг Пользователя
Замечания:
Здравствуйте! Сегодня я расскажу об одном файле, который играет важную роль в продвижении вашего сайта. Речь пойдёт о robots.txt.
Чтобы его установить вам необходимо открыть FTP-клиент и установить robots.txt(это займет буквально пару минут).

Для чего вообще нужен robots.txt?
В этом файле находятся инструкции для поисковиков, в которых описаны пути к файлам, страницам и каталогам, которые не нужно индексировать. Или же наоборот – в нём может быть указано расположение файла, который нужно проиндексировать в первую очередь.

А зачем закрывать страницы от индекса?
Ответ прост – чтобы не было дубля контента. Один и тот же пост может быть продублирован в тегах, страницах навигации, архивах и т.д. Нам это совершенно не нужно по нескольким причинам:

1) Говорят, что Яндекс негативно относится к дублированию. Я не могу утверждать правда ли это, но лучше не рисковать.
2) При продвижении какой-либо страницы в ТОП, дубли вам просто будут мешать.

Итак, мы разобрали для чего нужен файл robots.txt, теперь давайте разберемся как его создать и что вообще с ним делать.

Вам необходимо создать файл robots.txt и поместить в него это:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: zaka4aeshsa.ucoz.ru

Sitemap: http://zaka4aeshsa.ucoz.ru/sitemap.xml

Внимание! Обязательно измените содержимое строчек Host: zaka4aeshsa.ucoz.ru и Sitemap: http://zaka4aeshsa.ucoz.ru/sitemap.xml на свое.

Итак, поместили содержимое в файл robots.txt, теперь остается только залить его в корень сайта через FTP-клиент.

Вот и все! В принципе ничего сложного....удачи!
Прикрепления:




Сообщение отредактировал
Статус:Offline
Форум » ВЕБМАСТЕРАМ!!! » Продвижение сайта в поисковых системах » Что такое robots.txt и как его правильно создать?
  • Страница 1 из 1
  • 1
Поиск: