Как закрыть сайт или отдельные страницы от индексации поисковиками

Всем привет. В этой статье вы узнаете, как закрыть сайт от индексации поисковыми системами: Яндекс, Google и другими. А также, как прятать отдельные разделы.

При создании нового web-ресурса на первое время его желательно скрыть от поисковиков.

Дело в том, что поисковики уже при первом обходе вашего нового сайта должны правильно определить его тематику. Это очень важно для дальнейшего правильного развития.

Поэтому сначала нужно написать минимум 5 статей строго по выбранной тематике, а уже только потом открывать его для индексации.

Кстати правильно определиться с тематикой будущего интернет-ресурса — это очень важный этап. От этого зависит ваш будущий заработок и не только.

Как закрыть сайт от индексации

Мне известно 2 способа:

1. Средствами cms WordPress
2. С помощью специального метатега.

Если у вас другая система, то у нее скорей всего тоже есть подобные встроенные средства

Статья: Как выбрать CMS движок для сайта

Считается, что второй способ надёжнее: первый — поисковики могут проигнорировать. Это не точно, но лучше не рисковать.

Поэтому используйте сразу два способа для надёжности, чтобы наверняка.

Средствами CMS Вордпресс

Инструкция:

1. Зайдите в админ панель Вордпресс;
2. Перейдите в настройки чтения;
3. Попросите поисковые системы не индексировать сайт;
4. Сохраните изменения.

Meta name robots

Необходимо в код своего сайта внутри секции head добавить следующий код:

<meta name="robots" content="none"/>

Если ваш ресурс на вордпрессе, то вам нужен файл Заголовок (header.php).

Как найти Header.php

Вообще есть 3 способа:

1. В редакторе вордпресса
2. В менеджере файлов на сервере (хостинге)
3. Через FTP менеджер

Если это для вас сложно, то найдите специалиста (прогера, верстальщика).

А на самом деле это просто. Покажу подробно первый способ:

1. В админ панели WordPress перейти во «Внешний вид» → «Редактор»
2. Справа найти Заголовок (header.php)
3. Вставить наш код между открывающим и закрывающим тегом HEAD

Через хостинг и FTP менеджер делается аналогично. Кстати на блоге есть статья-инструкция  по ФТП менеджеру Falezilla. Рекомендую ознакомиться.

Как закрыть от индексации отдельные страницы

У открытого для поисковиков сайта не все страницы должны быть открыты для поисковиков. Некоторые разделы нужно закрыть от индексации.

Как правило, от индексации скрывают следующее:

• Страницы пагинации
• всевозможные дубли
• файлы темы
• Другое

Необходимо также скрывать те разделы, которые попадают в поиск, но их там быть не должно В поиске должен находиться только полезный для посетителей контент.

Способы реализации:

1. Файл robots.txt
2. Meta name robots
3. Rel canonical

Как правило, эти три способа используются параллельно.

Robots.txt

На своем блоге я уже рассказывал вам, как создать robots txt. В нем можно задать рекомендации и для яндекса, и для гугла: что индексировать (allow), а что нет (disallow).

Таким образом скрывают от индексации целые разделы сайта (которые представляют из себя мусор для поиска или дубли).

Meta name robots

С помощью следующего кода можно скрывать отдельные страницы, например, пагинации:

<meta name ="robots" content ="noindex, follow"/>.

• Noindex даёт указание поисковикам не индексировать
• Follow разрешает переходить по ссылкам. Лучше не запрещать ходить по ссылкам, роботы должны хорошо понимать структуру интернет-ресурса.

Но добавить этот код в header.php уже не получится, т.к. этот код должен быть только у отдельных страниц. Сделать это получится либо с помощью спец плагинов, либо верстальщиков.

Плагин SEO by Yoast отлично справляется с этой задачей.

Атрибут Rel=canonical

А теперь поговорим про атрибут Rel canonical.

Страницы бывают канонические и неканонические. Канонические — это главные исходные, которые должны быть в поиске. А неканонические — это дубли, контент которых почти такой же, как у главной.

Такое часто встречается в интернет магазинах. Например, в каталоге представлены товары. Для поиска товаров используется множество фильтров.

Когда пользователь пользуется фильтром, получается как бы новая страница. Но она не должна попасть в поиск. Она должна весь свой вес, поведенческие факторы передавать на каноническую исходную.

Атрибут rel = canonical позволяют сказать поисковикам, что эта ссылка является дублем, её не нужно добавлять в поиск, а весь её вес, все поведенческие факторы должны давать плюс в карму канонической. Формат записи следующий:

<link rel="canonical" href="http://site.ru/glavnaya-str" />

Прописывается на страницах-дублях с указанием главной канонической. Но как это сделать самому, я не знаю. Можно воспользоваться специальными плагинами. Тот же SEO by yoast расставляет эти атрибуты автоматически, например, когда статья находится одновременно в двух рубриках.

Лайфхак. Очень удобно проверять индексируется ли УРЛ с помощью расширения Seo Meta in oneclick

Если страница по-прежнему в индексе

Бывает случается так. Вы сделали всё от вас зависящее, а некоторые ссылки-дубли по-прежнему находятся в индексе Яндекса и/или Гугла.

В этом случае удалите ее вручную в панели вебмастера яндекса и гугла соотвестственно.

Вот ссылки:

• Для Яндекса - https://webmaster.yandex.ru/tools/del-url/
• Для Гугла - https://search.google.com/search-console/removals

Таким образом нельзя удалить любую ссылку. А только те, которые запрещены к индексации или не существуют.

Заключение

В этой статье мы с вами разобрались, как закрыть сайт от индексации. Рассмотрели несколько рабочих способов. Уверен, теперь у вас всё получится.

А также я рассказал, как скрывать отдельные разделы и страницы, которые вообще не нужно отправлять в индекс поисковиков.

Кстати чтобы ваш web-ресурс проиндексировали быстрее после открытия, нужно, как минимум:

1. Добавить сайт в панель вебмастера Яндекса и Google Search Console
2. Внедрить счетчик яндекс.метрики
3. Используйте «Переобход страниц» в Яндексе и «Попросить проиндексировать» в Google Search Console.

Помогла ли вам моя статья? Жду ваших комментариев.

Всем пока и до скорых встреч.

С уважением, Абдуллин Руслан