Как закрыть сайт от индексации в поисковых системах

Приветствую всех тех, кто читает мой блог на его страничках! Я рад продолжить говорить с Вами на тему всего, что связано с созданием сайтов, их поддержкой, оптимизацией и продвижением. В одной из прежних публикаций мы затрагивали такое понятие, как индексация интернет-ресурса, и убедились, насколько она важна при выводе проекта в ТОП.

Также разбирали основные критерии, по которым индексируют и оценивают сайты поисковые системы. Оказывается, существуют ситуации, когда это не только не полезно, но и нежелательно. Одним словом, сегодня хочу обсудить с Вами случай, как закрыть сайт от индексации. Теперь об этом и о многом другом по порядку.

Почему бывает необходимо спрятать контент на время разработки

При необходимости каждый веб-мастер может самостоятельно закрыть сайт от того, чтобы он индексировался поисковыми роботами. Такая потребность может возникнуть, когда в интернет-проекте используются системы фильтрации или поиска товаров, а это бывает нередко, если представить себе большой онлайн гипермаркет.

В итоге поисковики воспринимают это как ресурс с огромным количеством страниц. Не обнаружив многие из них, им начинает казаться, что проект недоброкачественный, а в итоге его рейтинг неоправданно занижается.

Также бывают случаи, в которых мы хотим спрятать от поисковых роботов не уникальный контент или же тот, который дублируется внутри страниц. Иногда требуется скрыть от лишних глаз техническую информацию и сделать так, чтобы пользователи интернет-сообщества не смогли видеть ее в запросах. Ну и, наконец, спрятаться от индексации нужно, когда проект еще на стадии разработки и его рано выпускать в открытое плавание, например, если мы делаем всего лишь тестовый сайт.

Команды для закрытия индексации поисковиками

Рассмотрим теперь подробнее, какие инструменты придут нам на помощь в этом вопросе.

Закрываем в robots.txt доменное или субдоменное имя. Открываем вышеуказанный файлик, а дальше в нем надо прописать изменения. Буквально пишем следующие команды:

• User-agent: *

• Disallow: /

 

Это довольно несложный способ, чтобы скрыть свой проект от индексации в любых поисковиках, и с ним легко справится даже пользователь-чайник. В ситуации, если требуется спрятать его от какого-либо конкретного поисковика (скажем, от Гугла), пример команды будет следующим:

• User-agent: *

• Disallow: /

• User-agent: Yandex

• Allow: /

Обращаю внимание, что это способ частичного закрытия сайта от индексации. Значит, полной гарантии в том, что проект нигде не будет отражаться, тоже не существует.

Как спрятаться полностью при помощи мета тегов

Следующий сценарий способен обеспечить даже большую точность при скрытии страниц или проектов. Можем назвать его «Применение мета тег Robots». Для этого нужно добавлять код к каждой странице тег. Теги должны быть следующего вида:

<meta name = «robots» content = «noindex, nofollow»/>.

Готовые метатеги помещаются в область HEAD HTML разметки страницы.

Основные примочки в роботс для Битрикс

Примерно аналогичным образом работает процедура закрытия сайта от индексирования в Битрикс. Для этого применяется закладка «Общие правила», если только мы не желаем спрятаться от конкретного поискового робота, например, Яндекс (для них есть свои соответствующие вкладки, но принцип действия будет тот же самый).

Данная закладка предусмотрена для того, чтобы задавать общие правила, которые касаются индексирования. Есть несколько инструкций, рядом с каждой из которых есть либо поле для активации, либо кнопка для отмены действия (нужно нажать на крестик). Основные кнопки в закладке следующие:

• стартовый набор правил (либо ограничений). Обычно касается личных данных пользователя, административных страниц, прочей ненужной для широкого круга посетителей информации;

• disallow (запретить папку или файл). Задавая маску пути (как было описано выше), мы можем указать ту информацию, которую не следует проверять поисковым системам. Если активировать кнопку с этой опцией, то будут предложены стандартные инструкции запрета. Можно и самому выбрать те каталоги или файлы, которых мы не хотим видеть в индексации;

• allow (открыть папку или файл). Здесь все наоборот — мы можем открыть сведения для индексирования поисковыми системами. Происходит это через указание списка путей к конкретным каталогам или отдельным файлам;

• карта сайта. Пользуясь этой опцией, мы задаем ссылку, ведущую на карту нашего сайта через sitemap.

Как спрятать страницу в других случаях

Такой же алгоритм действий будет справедлив для Opencart или Joomla. Но необходимо сказать несколько слов и о другом файле, отвечающем за конфигурацию на веб-сервере Apache. Он отвечает не только за работу всего веб-сервера, но и за настройки управления, которые облегчают жизнь пользователей и админа. Речь идет о файлике .htaccess, который также должен находиться в корневой папке.

Для каждой поисковой системы из известных предусмотрен отдельный бот и отдельная точка для входа. Останется лишь прописать команды наподобие:

• SetEnvlfNoCase «Aport» Search Bot

• SetEnvlfNoCase «Yandex» Search Bot

• SetEnvlfNoCase «Yahoo» Search Bot и так далее по ситуации.

Что можно предложить для Вордпресс

Несмотря на то, что каждый создатель проекта должен только мечтать о том, чтобы его видели как можно больше людей, бывают случаи, когда нужно убрать сайт на WordPress из-под пристального взгляда поисковых систем. Обычно к такому средству прибегают тогда, когда он не полностью готов для широкого круга посетителей. ВордПресс предоставляет для этого 3 основных способа. Самый простой заключается в использовании встроенных функций этого конструктора.

Сначала нужно войти в панель администратора, после чего отыскать в них пункт Настройки, а в нем подпункт Чтение. Здесь предусмотрена функция, которая так и называется «Видимость для поисковых систем». Ставим галочку там, где написан вариант не быть видимым для поисковиков. Здесь также предусмотрен свой файлик robots.txt — система сама отредактирует его по новым правилам, стоит лишь сохранить изменения.

Существует выход и для тех, кто предпочитает делать все вручную самостоятельно — системный файл можно отредактировать своими руками. Для доступа можно воспользоваться файловым менеджером либо FTP. Находим robots.txt (обычно располагается в той же папке, что и конструктор сайтов). Далее прописываем тот же синтаксис, который был указан выше. Осталось сохранить новую версию файла, который будет предупреждать поисковые системы о том, что мы не хотим попасть под индексацию.

Следующий вариант представляет собой защиту проекта при помощи пароля. К таким файлам поисковики не могут получить доступ. Например, у клиентов ресурса Hostinger предусмотрена опция «Защиту папок паролем». Включаем ее путем проставления соответствующей галочки в контрольной панели. В левой части экрана расположены каталоги, которым требуется защита.

Еще один интересный вариант предназначен для случаев, когда проект уже был проиндексирован, но мы хотим остановить этот процесс. Воспользуемся консолью Google Search Console — заходим в нее, выбираем адрес сайта, который хотим скрыть и после этого кликаем на клавишу Удалить URL-адреса. Откроется временное окно, в котором необходимо выбрать команду «временно скрыть», а затем сохранить изменения.

Как зарабатывать в интернете при помощи своего проекта от 20 000 рублей

Вне зависимости от того, какие причины вынуждают нас спрятать страницу от поисковых роботов, сделать это вполне реально собственными руками. Любой из описанных здесь способов приведет нас к искомой цели. Друзья, в заключение сегодняшнего обсуждения я хотел бы предложить каждому из моих читателей получить дополнительные знания на тему, как строить проекты в интернете своими руками и как их продвигать.

Для этого в сети существует отличный авторский курс, разработанный моим коллегой, Василием Блиновым, и называется он «Как создать свой сайт». Какие преимущества можно почерпнуть из него — давайте посмотрим подробнее:

1. Узнать обо всех этапах по подготовке к созданию сайта и их практическому внедрению.

2. Освоить и научиться пользоваться практическими инструментами и сервисами, в том числе, теми, что касаются интернет-маркетинга.

3. Подобрать для своего проекта перспективную и прибыльную нишу.

4. Заполнить привлекательным контентом свой проект и привлечь под него нужный объем трафика.

5. Разработать план действий по продвижению и захвату рынка.

По утверждению автора курса, каждый может с нуля создать для себя сайт и уже вскоре получать стабильный доход от 20 тысяч рублей в месяц. Для этого в нем преподносятся абсолютно все азы: от создания шаблона и улучшения настройки до улучшения его внешнего вида, продвижения и монетизации. В дальнейшем, пользуясь доступными инструментами, каждый пользователь сможет повышать объем входящего трафика и, одновременно, свой пассивный доход.

Также не забудьте подписаться на обновления и рассылку с моего блога. Сегодняшнее обсуждение будем заканчивать на этой ноте.

Удачных Вам всем интернет-проектов!