⇐        robots.txt        ⇒

Сегодня наш урок посвящён тому, как сделать файл robots.txt и как залить его на хостинг.

Что такое robots.txt ?

Для чего нужен файл robots.txt ?
Он нужен для того, чтобы убрать путаницу с зеркалами сайта. А также убрать проблему дублирующегося и не- нужного контента. К примеру, уберёт с индексации технические страницы.
Мы  для Вас подготовили готовый  Скачать robots.txt .   Вам останется только  подставить -имя Вашего сайта и -закачать его на хостинг в корневой каталог Вашего сайта в папку  «public html». Готовый для Вас робот тхт  сделан максимально универсально.  Он содержит инструкцию для поисковых роботов, запрещает индексацию Ваших технических файлов и страниц. Указывает основное зеркало сайта, а также указывает путь к файлу Sitemap (статья и видео урок, как установить и настроить Sitemap-карту сайта для поисковых систем). При желании можете файл изменить, если у вас есть, что скрыть от индексации. А если Вы сейчас не особо разбираетесь, ничего. Когда Вы научитесь, Вы всегда сможете к этому файлу robots.txt  вернуться и что-ни-будь в нём изменить. Конечно, если вам это понадобиться,  к примеру, если Вы увидите:
Что-то индексируется лишнее или происходит не так.
Пишет, что где-ни-будь ошибка, файл нужный запрещён к индексации…
• Задача robots.txt?
Склеить зеркала, показать карту сайта Sitemaps  generator, запретить к индексации не нужные разделы которые должны запрещаться обязательно, к примеру, не должно происходить следующее: в поиске будет участвовать ваш сайт с www  (www.vip-555.ru) и без www (https://dejlida.ru) Из-за этого может произойти путаница. Одни ссылки будут ссылаться на www,  другие просто без www.  Из-за этого могут возникнуть проблемы.
•Примечание:
Процесс  склеивания происходит обычно в течении двух или трёх недель.  Возможно  чуть больше или меньше, всё зависит от самого яндекса.  В этот период будет происходить переиндексация и возможны даже выпадения всех страниц  из индекса яндекс. Но это нормально. Идёт переиндексация, пока он пере прописывается  это может происходить.
• К чему ведёт неправильная настройка  robots.txt?
Возможен момент попадания в поиск конфиденциальной  информации, к примеру, о Ваших клиентах или покупателях.
А может и на оборот произойти, нужные страницы  будут запрещены к индексации роботами поисковых систем.
• Как установить robots.txt?
Робот тхт должен находиться у Вас в корневом каталоге Вашего сайта, а именно на хостинге в папке public html (не забудьте разархивировать файл).  Создать фаил тхт можно с помощью обычного блокнота. Смотрите видео, там показан полный путь от создания до его размещения.

№10 Видео урок.Что такое robots.txt , Для чего нужен файл robots.txt, Как установка robots.txt

Буду признательна за Ваши комментарии! Была ли Вам полезна эта статья ?…