Главная › Публикации › Правильное использование robots.txt и типичные ошибки

Правильное использование robots.txt и типичные ошибки

Использование robots.txt в умелых руках может быть очень полезным во многих ситуациях. В то же время, неграмотное использование robots.txt может привести к нарушениям в работе ресурса, негативному восприятию со стороны поисковых систем и другим проблемам.

Когда необходимо использование robots.txt?

  • Использование robots.txt очень полезно в случаях, когда нужно закрыть доступ к сайту (во время модернизации или разработки), чтобы в индекс преждевременно не попало ничего лишнего.
  • Чтобы избежать нагрузки на сервер, можно закрыть доступ к сайту для иностранных и непопулярных поисковых систем.
  • Также использование robots.txt необходимо в случаях, когда на сайте есть приватная информация, которая не должна попадать в индекс.
  • Если, к примеру, на Вашем сайте очень мощный и «тяжелый» функционал сортировки товаров, Вы можете использовать robots.txt чтобы опять-таки снизить нагрузку на сервер.

Примеры неправильного использования robots.txt

  • Чтобы запретить индексацию страниц пейджинга, поиска, сортировки, следует пользоваться средствами самой СMS, а не robots.txt.
  • Не следует использовать robots.txt для того, чтобы удалить те страницы, которые уже есть в индексе.
  • Не стоит закрывать при помощи robots.txt админ-панель, так как получить к ней доступ в этом случае будет очень просто.
  • Если вы не хотите, чтобы какие-то страницы были проиндексированы, лучше поискать альтернативные методы.

Помните, что самостоятельное редактирование robots.txt может привести к появлению ошибок в работе сайта, а потому настройку файла лучше поручить специалистам.
Звоните: +375 29 135-88-89; +375 29 735-88-89

Другие
Новости

Что должен содержать сайт государственной организации?

28 августа 2020

Как правильно вести раздел новостей на сайте?

4 марта 2020

JivoSite. Как увеличить прибыль?

4 марта 2020

Бесплатные шаблоны сайтов: а стоит ли экономить?

5 февраля 2020

Этапы разработки Интернет сайта

1 января 2020

Создание логотипа для сайта – первый шаг к формированию фирменного стиля

17 ноября 2019

Правильное использование robots.txt и типичные ошибки

5 октября 2018

Контекстная реклама или поисковое продвижение? Плюсы и минусы

12 апреля 2018

Социальный проект: Безвозмездное донорство

17 сентября 2016

Как выбрать хорошее имя для сайта? Полезные советы

9 августа 2016

Создание сайта для школы

3 февраля 2015

    Заказать обратный звонок
    Пожалуйста, заполните поля, чтобы мы связались с Вами:


    ❌
    x

    Кнопка связи

    ❌

    обратный звонок

    ▲