Файл robots.txt

Вы уже написали две-три статьи на свой сайт? Пора ставить файл.robots txt. Как, куда и зачем — разберёмся. Подробно и в «картинках».

Файл robоts.txt  для того нужен, чтобы сайт, который вы создали, быстрее индексировался поисковиками. А индексация, в свою очередь, нужна для трафика, т.е. для того, чтобы Яндекс и Гугл отправляли к вам людей по определённым запросам. Надеюсь, вы не забываете вставлять в свои статьи ключевые слова и фразы? И правильно подбираете заголовки?

Тогда создаём  файл robots.txt и водворяем его туда, где ему место быть.

Кстати, именно этот файл используют иногда для того, чтобы скрыть от поисковиков какую-либо информацию. Я предпочитаю скрывать тегами. Об этих тегах чуть позже.

Итак, открывает на своём компьютере Ворд. И вносим туда нижеследующее:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: i-believe-in-victory.ru
Sitemap: http://i-believe-in-victory.ru/sitemap.xml.gz
Sitemap: http://i-believe-in-victory.ru/sitemap.xml

Взято
тут , но поскольку сама долго не могла понять что и куда вставлять, то дополнила своими скриншотами.

Где обязательно (!) меняете мой адрес на адрес своего сайта. И сохраняете этот документ с именем «robots.txt» (без кавычек).

Потом идете на свой хостинг (смотрите скрины). У меня это Спринхост. Нажимаете «файлы».

Нажимаете «Загрузить файлы в текущую директорию».

Далее откроется:

 Нажимаем «»Обзор» и находим документ с именем  «robots.txt». Всё!! Дело сделано.

Теперь нужно проверить всё ли правильно. Видит ли, например, Яндекс ваш файл robots.txt? Для проверки заходим Яндекс.Вебмастер (так и наберите в поисковике) и проверьте. Для этого введите адрес своего сайта в поле, где написано «имя хоста». Нажмите «проверить». Если всё верно, то вы увидите формулу своего  файла robots.txt. Если что-то не так, то напишут, что он не найден.

Вообще, сервис Яндекс.Вебмастер нужно иметь под рукой, там очень много полезностей.

На этом, пожалуй, всё. Осталось только установить карту сайта. И приступать к установке плагинов, не забывая при этом писать статьи.