Robots.txt и карта сайта (Sitemap)
Создать карту сайта
Создать карту сайта несложно, это неоходимый шаг после установки файла robоts.txt . Объясню как можно проще.
Для начала маленькая информация для тех, кто ещё не знает для чего нужна карта сайта. Во-первых, для лучшей навигации по сайту, т.е. тот, кто зайдёт, по карте сможет увидеть заголовки всех записей и рубрик. Карта сайта создаётся как отдельная страница. В ней всё будет разложено «по полочкам». Для вашего удобства тоже. Во-вторых, поисковики тоже ориентируются по ней: какие записи добавлены.
Файл robots.txt
Вы уже написали две-три статьи на свой сайт? Пора ставить файл.robots txt. Как, куда и зачем — разберёмся. Подробно и в «картинках».
Файл robоts.txt для того нужен, чтобы сайт, который вы создали, быстрее индексировался поисковиками. А индексация, в свою очередь, нужна для трафика, т.е. для того, чтобы Яндекс и Гугл отправляли к вам людей по определённым запросам. Надеюсь, вы не забываете вставлять в свои статьи ключевые слова и фразы? И правильно подбираете заголовки?
Тогда создаём файл robots.txt и водворяем его туда, где ему место быть.