новый статус неканоническая что это
Что делать, если в индекс попадают неканонические страницы?
В данной статье поговорим про канонические страницы, и разберем, почему неканонические попадают в поиск Яндекса. А также стоит ли менять карту сайта, если в ней указаны ссылки на оба варианта, или атрибута rel=canonical будет достаточно.
Для начала, нужно сказать, что не слишком важно, указаны ли страницы в карте сайта или нет — Яндекс использует этот файл в основном для того, чтобы узнать, какие новые страницы вообще появились. И в общем особого приоритета тем, которые там есть,.не дает, поэтому вряд ли они залетают в индекс только потому, что ссылки есть в карте. Но можно на всякий случай и убрать, если не хотите рисковать, вдруг поисковик всё же как-то использует эти сведения, хотя по наблюдениям такого и нет.
Почему попадают в индекс
Яндекс не так давно решил, что часть неканонических страниц имеют достаточную важность и значимость для пользователя, чтобы могли попадать в индекс. И этот алгоритм работает не очень хорошо, многие бесполезные для людей страницы теперь часто залетают в индекс. Возможно через 1-2 года они этот алгоритм починят, и он станет работать нормально.
Что можно делать
Во-первых, можно ничего не делать. То есть, раз Яндекс посчитал эти страницы достаточно значимыми, то можно надеяться, что их нахождение в индексе никак не повлияет.
Хотя, конечно, особо на это уповать не стоит. Лучше все же, если явно бесполезные страницы попадают в индекс, для начала посмотреть, отчего или вопреки чему это происходит — допустим, они не были закрыты от индексации, но были закрыты canonical, то есть по идее не должны были индексироваться.
Классический пример таких страниц — это пагинация. И стоит смотреть, действительно ли страницы пагинации могут принести пользу, при попадании в индекс ранжируются ли они по каким-либо запросам, мелькают ли хоть где-то, показываются ли хотя бы на 50 местах. И если показываются, то действительно ли будут лучшим ответом внутри сайта на те запросы, по которым они выходят. В 9 из 10 случаев ответ — нет. Почти всегда это полумусорные страницы, которые не являются лучшим ответом на запрос пользователя внутри сайта, поэтому желательно что-то сделать, как-то закрыть их.
Если такое происходит массово — например, есть такие проекты, где 20 страниц пагинации, и несмотря на то, что они были закрыты canonical, они влетели в индекс. Это много, и Яндекс сам же потом рано или поздно признает их мусорными, и это потом может повлияет на представление поисковика о сайте в целом. Точно также, если бы вы сами сделали такое, что индексировались бы пустые страницы или страницы пагинации — позже это могло бы негативно сказаться на продвижении сайта. Поэтому можно с этими страницами что-то делать:
можно закрыть не все, а только те, что проиндексировались. Каноникл оставить на тех, что не попали в индекс, а которые попали, закрыть более жестко через noindex;
можно сделать их более похожими на первую страницу. Например, если на первой есть текст, а на остальных нет, на первой заголовок, а на остальных «страница 2», «страница 3». — можно это исправить, подогнать по формату так, чтобы были похожи, и посомтреть, что получится, как Яндекс на это отреагирует.
Если до этого у вас применялся каноникал, то это все основные способы, как можно избежать попадания неканонических старниц в индекс. Как правило, неканонические страницы в индексе — это не проблема, но если их объем становится большой (10-30%), то уже можно и даже желательно самые бесполезные из индекса выкидывать, потому как иначе сам Яндекс на всю эту ситуацию и отреагирует негативно.
Руководство по работе с канониклами
В этой статье собраны свежие данные на лето 2021 года о канонических страницах. Разобраны все возможные случаи использования атрибута rel=“canonical”. Рассмотрены основные ошибки при работе, а также даны ответы на популярные вопросы.
Определения каноничности
Каноническая страница — это страница, которую поисковая система считает главной в группе схожих по содержимому.
Неканоническая страница — это страница на которой размещен атрибут rel=»canonical» с адресом другой страницы.
Как выглядит атрибут каноникал
Атрибут rel=“canonical” может быть прописан двумя способами:
Какой из этих методов выбрать лучше всего, разберем в главе «Как указать канонический адрес страницы».
Процесс канонизации
Канонизация — это процесс выбора главной страницы среди дублей (одинаковых страниц доступных по разным адресам) и/или среди страниц с похожим контентом.
В подкасте Search Off the Record от 4 ноября 2020 сотрудник Google Мартин Сплитт рассказал, как поисковик обрабатывает канонизацию:
Сначала нужно обнаружить дубликаты, сгруппировать их вместе и отметить, что эти страницы дублируют друг друга. Затем для всех них нужно найти страницу лидера.
На вопрос: «Обнаруживает ли такой метод только точные дубли или частичные тоже?» специалист ответил:
У нас есть несколько алгоритмов, которые пытаются обнаружить и не учитывать шаблонную часть страниц. Так, например, мы исключаем навигацию из расчета контрольной суммы, убираем нижний колонтитул. Тогда у нас остается то, что мы называем центральным элементом, то есть центральное содержимое страницы, что-то вроде самой сути страницы.
После вычисления и сравнения контрольных сумм, те, которые похожи между собой (сильно или частично) мы объединяем в дублирующий кластер.
Далее по словам Мартина, необходимо выбрать один документ из кластера, который и будет показываться в результатах поиска:
Но вычислить какая из них будет ведущей в кластере не так просто. Есть случаи, когда даже людям будет сложно определить, какая именно страница должна отображаться в результатах поиска. Мы используем более 20 сигналов, чтобы решить, какую страницу выбрать как каноническую из дублирующего кластера.
После сравнения всех сигналов для всех пар страниц, мы приближаемся к фактическому определению канонической.
Почему канониклы важны для SEO
1) Поисковики не любят дублирующийся контент, потому что он засоряют выдачу. Так же алгоритмам бывает непросто выбрать правильно главную страницу. Атрибут rel=»canonical» подсказывает какой URL стоит индексировать.
Google и Яндекс заявляют, что они не всегда признают указанный канонический адрес. Из-за того, что теги каноничности считаются подсказками, а не директивами (указаниями). Учитываются различные сигналы (были рассмотрены выше). Грамотное использование тегов каноничности помогает снизить риск того, что робот сочтет канонической не ту страницу.
Исключенные страницы: документ является неканоническим
Очень странная произошла вещь с одним сайтом, созданном на OpenCart. Все страницы выпали из индекса Яндекса — осталось только одна — главная. Первая мысль — сайт попал под фильтр. Но это не обычный сайт, а интернет-магазин, который, кстати, приносит доход его владельцу.
Я впервые написал Платону Щукину с просьбой указать причину происшедшего.
Что же это могло произойти? Описание товаров почти все уникальные, сайт еще не продвигался и обратных ссылок пока нет.
baranq / Shutterstock.com
В панели Яндекс.Вебастера в разделе «Исключенные страницы» находится информация о страницах, которые не были проиндексированы роботом.
В этом разделе находится информация о страницах, которые не были проиндексированы роботом при посещении сайта. Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.
В настройках вы самостоятельно можете указать, к какой категории относится та или иная причина исключения.
| Страницы запрещены к индексированию вебмастером или не существуют | |
|---|---|
HTTP-статус: Ресурс не найден (404)  | 1 |
| Документ запрещен в файле robots.txt | 21 |
| Документ является неканоническим | 109 |
Я проверил все три категории
Ресурс не найден
Там все ОК, судя по всему кто-то набирал УРЛ в адресной строке и ошибся.
Документ запрещен в файле robots.txt
Я проверил, здесь всё правильно, эти страницы индексировать не нужно.
Документ является неканоническим
А вот тут уже интересно.
В коде документа в тэге содержится параметр rel=»canonical», содержащий канонический адрес страницы, по которому она индексируется роботом. Как правило, тег с атрибутом rel=»canonical» прописывают на дублирующих страницах сайта, в этом случае ничего исправлять не требуется.
Если страницы дублями не являются и должны индексироваться роботом, то вам необходимо убрать атрибут из их исходного кода. Более подробную информацию об использовании rel=»canonical» вы можете прочитать на следующей странице нашей Помощи.
Также в этом разделе могут присутствовать страницы, содержащие в коде документа мета-тег, и поэтому вместо них индексируются html-версии. Подробнее об индексировании AJAX-сайтов вы также можете прочитать в нашей Помощи.
Далее идет список УРЛ карточек продуктов (здесь их приводить не буду).
Теперь давайте размышлять вместе. Значит так. Что мы имеем? >Недоработку в OpenCart или странную реакцию Яндекса?
Теперь проверяем страницу этого поста моего блога, который работает на Вордпресс.
И что? И чем отличаются теги на этих двух страницах? Только тем, что у OpenCart rel=»canonical» после ссылки, у WordPress — вначале. Но при этом мой блог отлично индексируется. Почему так? Где логика?
Значит Яндекс думает, что в Опенкарт эти карточки товара неканонические, а являются дублями оригинальных страниц. Но они как раз и являются оригиналами. Мда, наверное придется убирать из кода этот тег. Зачем мне проблемы? То что не нужно, я и сам закрою от индексации в robots.txt.
Читаем из Помощи Яндекса
Атрибут rel=»canonical» тега
Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:
Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:
Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован.
Например, робот может не использовать указанный вами адрес, если:
Канонические страницы (неканонические). Блогеру это нужно знать
Канонические страницы позволяют определить важные разделы на ваших ресурсах. В статье рассмотрим, что это за страницы и разберем, что такое неканонические страницы. Эта информация поможет блогерам бороться с дублирующим контентом на сайтах.
Канонические страницы блога (неканонические), что это такое
Здравствуйте, друзья! Канонические страницы блога – это адреса страниц, которые являются предпочтительными для показа в поисковой выдаче Яндекса и Гугла. Простыми словами, на блоге могут быть несколько страниц с похожим содержимым. Поисковый робот может посчитать их дублями. Тогда робот объединяет страницы в группы и выбирает только ту, которая соответствует поисковым запросам. Это каноническая страница.
Что такое неканонические страницы? Это дубликаты канонических страниц (похожие по смыслу), которые не должны попадать в поиск. Но, есть исключения. Допустим, на блоге публиковалась статья о программе онлайн офис. Яндекс Вебмастер посчитал статью, как неканонической (скрин 1).
Если статья отвечает на запрос пользователя и отличается от других, то неканоническая страница остается в поиске Яндекса.
Коротко о дубликатах страниц и каннибализме от поисковиков
Нередко на блогах и других сайтах появляются дубликаты страниц, которые мешают продвижению ресурса в Интернете. Дублями страниц называют похожие фрагменты материалов в статьях или страницах. Кроме того, некоторые статьи пишутся под одинаковые запросы, которые могут быть дубликатами (скрин 2).
В алгоритме поисковых систем Google и Яндекса предусмотрена борьба с так называемым «каннибализмом».
Создается ситуация, когда ключ первой статьи не дает продвигаться второй статье по похожему ключу. Статьи на одном блоге (сайте) начинают конкурировать друг с другом. Та статья, которая для вас важна, просто пропадает из поиска. Если таких статей несколько, то это влияет на позиции в поисковой выдаче всего сайта (блога). В результате снижается посещаемость всего сайта в целом.
По нашим наблюдениям, например, пара ключей: «привлечение клиентов в Инстаграм» и «сервис для привлечения клиентов в Инстаграм» были каннибалами в глазах поисковых систем. Эти статьи исчезли из поиска Яндекса. Позже, один из ключей пришлось заменить, и статьи появились в Интернете.
Использование схожих ключей нужно избегать, например, писать статьи под разные запросы. Тогда все статьи будут показываться в поиске Яндекса и Google.
Какие канонические страницы нужно оставлять, пути сохранения похожих статей
Рассмотрим, какие канонические страницы нужно оставлять, чтобы не прописывать в них атрибут rel=»canonical»:
Есть несколько путей сохранения похожих статей. Первый способ – с помощью плагина. Если вы ведете блог на Вордпресс и используете плагин Seo by Yoast, то сможете прописать полный адрес страницы, нажав кнопку внизу под статьей Дополнительно, далее в разделе «Канонический URL адрес» (скрин 3)
Введите полный канонический URL-адрес без www, в поле «канонический URL-адрес». Далее нажмите «Обновить». После чего, плагин сгенерирует автоматически каноническую ссылку выше. Для каждой страницы указывают только одну каноническую ссылку.
Более подробно о канонической ссылке вы можете прочитать в Яндекс справочнике – «yandex.ru/support/webmaster/robot-workings/canonical.html».
Что не нужно делать при канонизации похожих статей
Если разобраться в вопросе, то канонизация страниц (статей) достаточно простой процесс. Но в процессе канонизации нужно соблюдать правила, чтобы не было ошибок в продвижении вашего ресурса:
Это основные правила, которым нужно придерживаться при канонизации статей или страниц на вашем ресурсе.
Заключение
В статье рассмотрели, что такое канонические страницы и неканонические. Если у вас на блоге или другом ресурсе есть статьи с похожими ключевыми словами, вы можете установить канонические страницы. Это поможет вам улучшить ранжирование и посещаемость вашего ресурса в поисковых системах.
Неканоническая страница что это
Доброго всем времени суток! С вами Анатолий Кузнецов и сегодня поговорим о таком понятии, как неканоническая страница, что это такое и как она влияет на позиции сайта в органической выдаче Яндекс. Итак, поехали!
Что такое неканоническая страница сайта
Объясним от обратного!
Каноническая ссылка — это бэклинк на сайте оформленный со специальным атрибутом rel=»canonical», который информирует поискового робота о важности данной страницы и исключает за счет неё дублирование других похожих страниц. Прописывается каноническая ссылка в головном разделе сайта и она должна быть единственной для каждого URL страницы.
Не сложно догадаться, что неканоническая ссылка на сайте это обратная сторона канонической.
Как прописывается каноническая ссылка на сайте
В HTML коде каноническая ссылка прописывается так:
Как ненканоническая и каноническая ссылка влияет на продвижение сайта
На крупных WEB сайтах (и не только) существует большое количество дублирующих страниц. Похожие URL дублируют друг друга, создавая внутри сайта огромное количество одинаковых страниц, тем самым путая пользователей и усложняя работу поисковых роботов. Чаще всего, такие дубли массово встречаются в интернет магазинах, и если владелец сайта с помощью атрибута rel=»canonical» не указал Яндекс боту какие страницы и товары на сайте являются основными, то Yandex и Google сделают это сами, исключив из индексации дубляж. Вот пример такого исключения в Яндексе:
Очень частая ситуация, когда из-за дублирования карточек товаров и страниц интернет-магазина, Яндекс исключает их из выдачи, а владелец сайта не может понять, почему интернет-магазин не продаёт. А по факту, просто не указана основная страница атрибутом rel=»canonical».
Пример дублирования URL страницы
Атрибут rel=canonical был впервые был анонсирован компанией Google в феврале 2009 года. Яндекс его также начал использовать, но позже. Данный атрибут указывает Google и Yandex ботам предпочтение в индексации, той или иной страницы, в том случае, если на сайте таких одинаковых страниц несколько.
Допустим есть две страницы с такими URL:
В этом случае первая страница является основной на сайте, а вторая дублирующей. Если для роботов не прописать основную страницу атрибутом rel=»canonical», то роботы могут её исключить из индексации, а вы этого даже не будете знать. Соответственно такая страница не будет показываться в поисковой выдаче и приводить на сайт целевых клиентов. Отсюда и возникает важность обозначения канонических страниц на сайтах и интернет-магазинах.
У каждого сайта и интернет магазина дублирующих страниц очень много и с ними нужно бороться. Представьте интернет-магазин с 20 000 товаров у которого страница дублируется несколько раз. В глазах поисковых роботов этот магазин будет иметь 60 000 страниц (условно). Представляете, как этот дубляж подпортит репутацию сайту и ухудшит SEO продвижение? Надеюсь понятно объяснил!
Откуда берутся неканонические страницы на сайте
Неканонические страницы генерируются автоматически, системами управления сайта (CMS), такими как Вордпресс, Модэкс, Тильда, Джумла, Опенкад итд. Полное исключение дублирования достигается на рукописных сайтах с чистым HTML.
Вот, что говорят по этому поводу Google и Яндекс:
Если Вы не хотите, чтобы поисковые системы самовольно определяли важность страниц, товаров и услуг на ваших сайтах, обязательно указывайте rel=canonical.
Каноническая страница rel=canonical как прописывать
После появления атрибута rel=canonical прошло уже очень много времени и практически все системы управления сайтами позволяют прописывать внутри себя канонические ссылки и исключать неканонические.
К примеру в CMS WordPress, у меня это делается автоматически за счет плагина Yoast SEO. Но если к примеру нужно поменять пагинацию, то делается это в дополнительных настройках плагина в этой графе:
В коде элемента по умолчанию данная страница выглядет так:
Ну надеюсь теперь Вы поняли, что такое канонические и неканонические ссылки, как их прописывать и как они влияют на продвижение сайта в Яндекс и Google.
Заключение
Хотите быстро продвинуть свой сайт в ТОП10 Яндекс и долго там оставаться? Продвигайтесь исключительно белыми, безопасными и современными LSI методами! Не умеете? Могу научить! Тем, кто хочет разобраться во всех премудростях LSI продвижения, предлагаю посетить мои уроки по SEO обучению, которые я провожу индивидуально, в режиме онлайн по скайпу.
Для тех, у кого нет времени проходить обучение и самостоятельно заниматься продвижением своих сайтов и интернет-магазинов, предлагаю и в этом вопросе помощь. Я могу взять ваш веб сайт на продвижение и за месяц вывести его в ТОП10 Яндекс. Для того, чтобы убедиться в моей экспертности, предлагаю ознакомиться с моими последними кейсами и только после этого заказать у меня SEO продвижение.