Как убедиться, что вашего сайта или веб-страницы нет в поиске Google?

Первый шаг — убедиться, что сайт действительно не обрабатывается алгоритмами поисковой системы. Этот случай следует отличать от более тривиальной ситуации, когда рейтинг страницы достаточно низок, поэтому она висит на энной странице, куда заглядывает менее 1% пользователей. Признайтесь, даже вы не будете искать свой собственный сайт на 10-й странице выдачи.

Чтобы убедиться в том, что веб-сайта нет в выдаче Google, воспользуйтесь простым синтаксисом:

1. Для сайта: “site:”. Например, “site:mypage.com”.
2. Для страницы: “site: + URL”. Например, “site: mypage.com/other/faq”.

Поисковый синтаксис позволяет ограничить выдачу одним сайтом или его конкретным разделом. Если вы видите какие-либо результаты, страница обрабатывается Google. Скорее всего, вы не видите ее из-за низкого рейтинга. Если система не может найти сайт, он действительно не обрабатывается алгоритмами поисковика. В этой ситуации следует перейти к следующему шагу — диагностике.

Почему сайта нет в поисковой выдаче Google: 11 возможных причин

Каждый случай индивидуален, будьте внимательны и обращайте внимание на все мелочи. Иногда причина проблемы кроется в пропущенном символе или забытой галочке в меню настроек. Но есть и сложные ситуации с ошибками поискового алгоритма или слишком запутанной структурой сайта. Чтобы максимально упростить процесс диагностики, рекомендуем воспользоваться таким чеклистом возможных причин.

1. Ваш сайт слишком молод

Вы недавно вышли в глобальную Сеть. Хотя информация в ней распространяется со скоростью света, поисковые алгоритмы работают гораздо медленнее. Именно поэтому их называют краулерами. Если веб-страница не доступна в поиске Google, вполне возможно, что механизм просто не успел обработать ее. Дайте ему время, а сами воспользуйтесь паузой, чтобы уделить внимание оптимизации и настройкам.

2. Вы блокируете индексацию своих страниц поисковой системой

Помните о файле robots.txt? Если вы забыли, следует вернуться к этой теме и создать инструкцию для поискового краулера. Если он уже есть, не поленитесь открыть его еще раз. Очень часто ответ на вопрос, почему моего сайта нет в поиске Google, является тег content=“noindex”. Он дает сигнал поисковику пропустить страницу и не индексировать ее для включения в выдачу. 

Аналогичные решения есть у многих конструкторов и CMS, упрощающих создание сайтов для начинающих. Например, в WordPress оно соответствует галочке напротив пункта «discourage search engines from indexing this site». Такое решение позволяет открыть доступ к странице для ограниченной группы тестировщиков, но скрыть ее от широкой публики. Не забывайте отключать его после создания финальной версии сайта.

3. Вы блокируете сканирование своих страниц поисковой системой

Не ограничивайтесь поверхностным взглядом на robots.txt. Внимательно изучайте все изложенные в нем команды. Обратите особое внимание на тег Disallow. Он запрещает поисковикам индексировать определенные страницы или разделы сайта. Это популярная причина, почему конкретного URL-адреса нет в Google, хотя в целом сайт успешно прошел индексацию.

Disallow — не только источник многих ошибок, но и полезный инструмент. Он позволяет исключить из поисковой выдачи высокоранжированные страницы, которые не дают желаемой конверсии. Например, PR-статья из блога показывается выше лендинга. Людям будет интересно почитать ее, но вряд ли она принесет много целевых действий.

4. Ваш сайт или страница не имеет достаточного авторитета

Google отрицает, что использует внутренние и внешние ссылки для ранжирования сайтов в поисковой выдаче. С 2017 года компания не публикует рейтинг PageRank. Но исследования ведущих SEO-специалистов показывают, что отсутствие ссылок может быть причиной, почему вашего сайта нет в Google. Сегодня рейтинг страницы по этим параметрам можно определить с помощью сторонних сервисов, например, Ahrefs. 

5. У вас проблемы с дублированием контента

Очень часто на сайте существует несколько версий одной страницы, например, для перевода с мобильного и десктопного устройства. В таком случае поисковик выбирает одну из них, называя ее «канонической». Только она включается в индексацию, а остальные пропускаются. Чем больше дубликатов одной страницы, тем выше вероятность, что вы имеете дело именно с этой причиной.

6. Ваша страница не соответствует намерению поиска

Google использует новейшие достижения в области искусственного интеллекта. Фактически, компания создала искусственный мозг, который научился думать и принимать решения подобно человеку. Именно поэтому в новых версиях алгоритма на первое место выходит полезность результатов. Из-за этого некоторые веб-сайты не показываются в Google, поскольку они не соответствуют намерению пользователя или не содержат полезной информации.

К примеру, вы продвигаете страницу по ключевику «лучшие картины кошек» и рекламируете картины в рамках. Поисковая система не включит ваш сайт в выдачу, поскольку по такому запросу обычно ищут забавные картинки и мемчики. Или вы оптимизируетесь под ключ «купить автомобили в Глазго», а рассказываете о гаечных ключах в Йоханнесбурге. В обоих случаях ваш контент будет считаться неуместным.

7. Ваш рынок ключевых слов очень конкурентен

Давно подмечено, что на рынке высокочастотных ключей поисковики предпочитают признанных лидеров и очень медленно обрабатывают страницы новичков. Поэтому оптимизация под самые широкие запросы на старте может не дать желаемого результата. К примеру, продвигать свою мастерскую под запрос «ремонт автомобиля в Нью-Йорке» очень сложно — для индексации понадобится много времени, а в результате ваш сайт окажется на энной странице поисковой выдачи.

8. У вас недостаточно качественных обратных ссылок

Чем больше авторитетных источников ссылаются на ваш сайт, тем выше его собственный рейтинг. Но следует помнить, что акцент в этом утверждении делается именно на слове «авторитетных». Большое количество мусорных ссылок может дать обратный эффект — поисковик определит их как спам и попытку обойти алгоритмы. Результатом будет риторический вопрос, почему я не могу найти свой веб-сайт в Google. Помните: в современном SEO, как и во многих других областях жизни, качество стоит выше количества.

9. Ваш веб-сайт не обеспечивает надлежащего взаимодействия с пользователем (UX)

Еще один интеллектуальный алгоритм поисковой системы — оценка удобства сайта с точки зрения пользователя. Машина ищет критические ошибки, обычно отпугивающие посетителей: хаотичное расположение текстовых блоков, неоптимальное размещение элементов меню, плохо подобранная цветовая гамма и т.д. Как правило, сайты с плохим UX опускаются в рейтинге, а в худших случаях система может даже исключать их из индексирования. В отличие от других причин, это сложно обнаружить с помощью сервисов, использующих количественные вычисления. Здесь более актуальными будут обычные методики тестирования сайтов и приложений.

10. Ваш сайт слишком медленный

Иногда причины бывают чисто техническими. Если вы выбрали не лучший хостинг, ваш сайт не будет показываться в Google из-за медленной загрузки. Как и в случае с UX, поисковики снижают рейтинг при торможении. Если контент загружается через 10–15 секунд после клика на ссылку, страницу могут исключить из индексирования, чтобы не засорять поисковую выдачу.

11. Вы находитесь под санкциями Google

Это происходит чаще, чем вы думаете. Поисковая система автоматически наказывает нарушителей, пытающихся обойти ее алгоритмы и обрести популярность не совсем честным путем. В основном это случается со страницами, которые воруют чужой контент, рассылают большое количество спама или показывают навязчивую рекламу, которую сложно закрыть. Но бывают и худшие случаи: из индексации исключают сайты, содержащие вредоносный код или недавно подвергшиеся хакерской атаке.

Как устранить проблему «веб-сайт не показывается в Google»?

Итак, вы знаете, что страница не индексирована. Ситуация может быть критической. К примеру, для больших интернет-магазинов это означает потери в десятки, если не сотни тысяч долларов ежедневно. Поэтому после диагностики проблемы следует действовать по четко установленному плану. Предлагаем вашему вниманию чеклист на случай, если вашего веб-сайта нет в поиске Google.

1. Настройте Google Search Console

Важность этого инструмента трудно переоценить. В 90% случаев он указывает на источник проблемы, позволяя исправить ситуацию в считанные минуты. С его помощью можно подать ручной запрос на индексацию и поделиться картой сайта с поисковой системой. А еще он предоставляет ценную статистику по количеству посетителей, эффективности продвижения и охвату целевой аудитории. 

2. Создайте карту сайта

Иногда поисковик индексирует главную страницу сайта, но игнорирует другой контент. Причина — в отсутствии или неправильном построении карты. Создать правильную версию можно с помощью различных инструментов и плагинов в CMS. Например, один из самых популярных инструментов для WordPress — Yoast SEO. Готовую карту нужно разместить в папке с сайтом. После этого вам останется открыть Google Search Console, выбрать Sitemap, указать адрес актуальной версии и нажать Submit. Готово — ваш запрос будет обработан, как только до него дойдет очередь.

3. Используйте инструменты проверки URL-адресов

Если Google не может найти ваш сайт, вполне возможно, что вы пока не просили его показывать страницу в выдаче. Откройте консоль и выберите URL Inspection tool. Появится окно поиска. Введите адрес страницы. Если он пока не индексирован, вам нужно подать запрос вручную. Это значительно ускорит процесс.

4. Проанализируйте свое техническое SEO

Чтобы сайт попал на первую страницу результатов поиска, он должен быть безупречно оптимизирован. Обратите особое внимание на следующие моменты:

• время загрузки;
• удобство для пользователей (UX);
• правильность настройки;
• элементы файла robots.txt;
• подбор ключевиков и ссылок;
• отсутствие взломанных и битых страниц.

Процесс можно ускорить с помощью специализированных сервисов. Например, My free SEO report — удобный и доступный набор инструментов для быстрой проверки оптимизации страниц.

5. Обогатите свой контент релевантными ключевыми словами

Подбор ключевиков — достаточно объемная и сложная тема, заслуживающая отдельной статьи. Мы не будем останавливаться на ней сегодня, но дадим несколько советов:

1. Ориентируйтесь на намерения пользователя — ключевики должны соответствовать содержанию и целевому назначению страницы.
2. Подбирайте оптимальную комбинацию низко-, средне- и высокочастотных записей, чтобы удерживаться в топе.
3. Ориентируйтесь на лидеров своего сегмента, знакомьтесь с тактикой успешных конкурентов и постоянно обновляйте базу ключей.
4. Используйте внешние сервисы, позволяющие выполнять ранжирование ключевых слов по популярности запроса и сложности оптимизации.
5. Всегда следите за изменением алгоритмов поисковых систем. Даже минимальные изменения способны быстро выбить ваш сайт из топа.

6. Создайте внутренние ссылки

Если ваш веб-сайт не отображается в поиске Google, то причина может заключаться в плохой навигации между отдельными разделами. Следует убедиться, что каждая страница имеет, по крайней мере, 1–2 ссылки из внутренних ресурсов. Иначе она рискует стать island или orphan — поисковикам очень сложно находить и индексировать такие материалы.

7. Создавайте высококачественные ссылки

Еще раз повторим: качество важнее количества. Если вы публикуете контент на внешних ресурсах, выбирайте самые авторитетные площадки, например, новостные агентства, топовые блоги или популярные онлайн-издания. Стройте репутацию шаг за шагом и не позволяйте ей падать из-за досадных ошибок вроде массового размещения мусорных материалов.

8. Решите проблему санкций Google

Search Console всегда показывает, какие санкции были применены к вашим страницам и как их ввели — автоматически или вручную. Если вы не можете найти свой сайт в Google по этой причине, устраните нарушения как можно скорее. Если реальная причина блокировки вам не очень ясна, обратитесь к сотрудникам технической поддержки за разъяснениями.

Выводы

Если ваш сайт не отображается в поиске Google, начните с проверки индексации. Иногда проблема заключается не в исключении из поисковой выдачи, а в резком понижении рейтинга. Следующим шагом будет диагностика — подключите Google Search Console, чтобы установить причину проблемы. Обычно ситуацию удается исправить довольно быстро — нужно внести правки в файл robots.txt, отправить запрос на индексирование или загрузить обновленную карту сайта. Но бывает, что причина заключается в плохой технической оптимизации, отсутствии авторитетных ссылок или бане от инженеров Google. Такие случаи нуждаются в поиске индивидуального решения.

Часто задаваемые вопросы

Почему веб-сайт не отображается в Google?

Среди распространенных причин следует назвать:

• небольшой возраст страницы;
• неправильное заполнение файла robots.txt;
• недостаточное количество авторитетных ссылок;
• плохо организованную навигацию;
• отсутствие корректной карты сайта;
• дублирование контента;
• слишком конкурентный рынок ключевиков;
• плохую техническую оптимизацию;
• блокировку со стороны Google.

Сколько времени нужно, чтобы сайт появился в Google?

От 4 дней до 4 недель. Скорость индексации новой страницы зависит от типа и объема контента, а также уровня конкуренции в этом сегменте онлайн-бизнеса.

Как сделать так, чтобы сайт попал в выдачу Google?

1. Убедиться, что сайт отвечает всем требованиям поисковой системы.
2. Правильно заполнить файл robots.txt и снять ограничения.
3. Загрузить актуальную карту сайта через Search Console.
4. Проверить индексацию в URL Inspection tool и отправить запрос при необходимости.