Как найти битые ссылки на сайте и избавиться от них

Некоторые ошибки, связанные с поисковой оптимизацией сайтов, с течением времени теряют свою актуальность. Они либо перестают быть существенными, либо уровень автоматизации процессов внутри сайта почти полностью сводит на нет возможность появления подобного рода проблем.

Увы, проблема битых ссылок к ним не относится: она уже многие годы служит источником головной боли для вебмастеров и специалистов по SEO.

1. Что представляют собой битые ссылки

Для начала определимся с понятием «битые ссылки» (с англ. broken links).

Битые ссылки — это ссылки, которые ведут на недоступную или несуществующую страницу. В первую очередь к ним относятся все ссылки с кодом ответа сервера 4хх.

1.1. Причины и источники появления

Возникновение битых ссылок может быть обусловлено как неправильной настройкой CMS (системы управления сайтом), так и простым человеческим фактором (вебмастер допустил ошибку или своевременно не обновил ссылку). Битые ссылки появляются в том случае, если:

• адрес страницы был указан некорректно;
• страница была удалена безвозвратно, но ссылки на неё по-прежнему существуют и не перенаправляют на альтернативную страницу;
• после переноса страницы или переезда сайта не были корректно настроены и проверены 301 редиректы;
• из-за системной ошибки рабочая страница отдаёт 404 код ответа вместо 200 OK;
• случился сбой в автоматическом обновлении данных из внешнего источника.

1.2. Последствия для оптимизации сайта

Наличие битых ссылок расценивается как негативный фактор как с точки зрения поисковой оптимизации, так и с точки зрения пользовательского опыта. На то есть ряд причин:

1. Они портят впечатление пользователя от работы с сайтом.
   Очутившись на странице с 404 ошибкой вместо важной для него страницы, пользователь с очень высокой вероятностью может покинуть сайт и больше на него никогда не вернуться. Из этого вытекает повышение показателя отказов, на основании которого поисковая система может сделать весьма губительные для вашего сайта выводы. Они, в свою очередь, напрямую скажутся на ранжировании в органической выдаче.
   
   
2. Они затрудняют работу поисковых роботов.
   Если на сайте будет обнаружено слишком много битых ссылок, поисковые системы могут уменьшить краулинговый бюджет сайта (количество ссылок, которое робот поисковой системы обходит за конкретный период времени) и понизить позиции сайта в поисковой выдаче.
   
   
3. На них «распыляется» ссылочный вес.
   Битые ссылки нарушают естественное распределение ссылочного веса внутри сайта.

2. Как проверить сайт на битые ссылки

Основная проблема битых ссылок заключается в том, что они возникают постоянно, и вы можете предотвратить их появление лишь частично. Исходя из этого, следует регулярно проверять сайт на наличие битых ссылок вручную. Однако если сайт включает в себя тысячи страниц, этот способ отнимет у вас слишком много времени и сил.

Всего существует несколько способов поиска битых ссылок, которые отличаются друг от друга по степени удобства и скорости:

1. Онлайн-сервисы проверки битых ссылок (Online Broken Link Checker).
2. Специализированный инструмент Google Search Console.
3. Краулер (Netpeak Spider).
4. Специальные плагины для браузера (Check My Links для Chrome, например).

Чтобы лучше понимать, в каких случаях обращаться к тому или иному инструменту, мы разберём особенности каждого из них по отдельности.

2.1. Google Search Console

В старом интерфейсе GSC данные об ошибках, а также о страницах, отдающих 4хх код ответа, будут собраны в разделе «Сканирование» / «Ошибки сканирования».

Если же вы пользуетесь обновлённым интерфейсом панели для вебмастеров Google, зайдите в раздел «Индекс» / «Покрытие» и кликните по фильтру «Ошибки», чтобы увидеть список страниц с какими-либо проблемами, включая 4хх код ответа.

Неудобство заключается в том, что в списке будут значиться все ссылки, ведущие на ваш сайт, в том числе ссылки, которые поисковый робот найдёт на других сайтах. Список обновляется после очередного обхода сайта, из-за чего невозможно отслеживать все возникающие технические проблемы в режиме реального времени.

2.2. Broken Link Checker

Бесплатная версия сервиса Online Broken Link Checker позволяет сканировать сайт на предмет битых ссылок онлайн. Достаточно просто указать адрес сайта, прописать символы капчи в соответствующем поле и запустить поиск.

Огромный плюс сервиса заключается в его доступности, простоте и отсутствии необходимости устанавливать какое-либо ПО на свой компьютер.
Но вместе с тем есть и ряд минусов, среди которых:

• ограничение в 3000 URL на одно сканирование;
• невозможность найти битые ссылки на изображения, видео, документы и какие-либо файлы, кроме HTML;
• относительно невысокая скорость анализа, что особенно ощутимо в случае с сайтами-гигантами.

Сервис подойдёт для беглого анализа небольших сайтов с минимальной вероятностью появления каких-либо битых ссылок, кроме ссылок на HTML-документы.

2.3. Netpeak Spider

Используя Netpeak Spider, вы в любой момент времени можете просканировать неограниченное количество страниц и получить актуальный отчёт обо всех ошибках технической оптимизации сайта, включая битые ссылки, битые картинки и битые редиректы (редиректы, ведущие на несуществующие страницы). Помимо этого, с краулером вы можете самостоятельно ограничить область сканирования. Например, проверить определённую категорию, в которой риск появления битых ссылок по каким-то причинам выше, чем в остальных.

Чтобы найти битые ссылки с помощью Netpeak Spider, вам нужно:

1. Запустить Netpeak Spider.
2. Ввести в строку «Начальный URL» адрес сайта, затем нажать «Старт». При необходимости вы можете ограничить поиск списком URL («Список URL» в главном меню), категорией («Настройки» / «Основные») или перечнем страниц, отвечающих тому или иному правилу («Настройки» / «Правила»).
3. После того, как Netpeak Spider завершит процесс, на боковой панели нужно перейти на вкладку «Отчеты» / «Ошибки» и кликнуть на пункт «Битые ссылки», если таковой отображается в списке найденных ошибок.
4. По клику в основной таблице откроется дополнительная вкладка, на которой будет отображён список ссылок, отдающих серверу код ответа 4хх и выше.
   
   
   
5. Чтобы посмотреть, где расположена найденная битая ссылка, следует кликнуть правой кнопкой мыши на URL страницы и в контекстном меню выбрать «Входящие ссылки».
   
   
   
6. Когда откроется таблица со списком страниц, содержащих ту или иную битую ссылку, в левом верхнем углу нужно кликнуть на кнопку «Экспорт». Сохраните полученные данные в удобном вам формате: .xlsx или .csv.
   
   
   
7. Также вы можете воспользоваться специальным отчётом «Битые ссылки», который можно будет найти в соответствующем меню.
   

Подобное решение идеально подходит для сайтов с любыми CMS и любым количеством страниц, так как стандартная лицензия не предполагает каких-либо ограничений.

2.4. Специальные плагины для Chrome

Для большинства популярных браузеров, таких как Google Chrome, доступно множество плагинов, позволяющих быстро просканировать страницу на текущей вкладке на наличие битых ссылок. В их числе — Check My Links.

При помощи плагина все рабочие ссылки на странице подсвечиваются зелёным цветом, битые ― красным. Помимо этого, при указании соответствующих настроек программа может акцентировать ваше внимание на ссылках с GET-параметрами, «пустых ссылках», ссылках с атрибутом rel="nofollow" и прочих ссылках, отличных от нормальных (обычная dofollow-ссылка с анкорным текстом, заключённая в тег <a> с атрибутом href).

Решение подойдёт тем, кто работает с сайтами с небольшим количеством страниц, но очень ревностно относится к чистоте ссылок внутри сайта :)

3. Как устранить битые ссылки

В зависимости от масштаба трагедии для устранения битых ссылок можно использовать несколько методик — от самых незамысловатых до сложных в отношении технической реализации. Ниже мы описали несколько сценариев, которым вы можете следовать, чтобы избавиться от битых ссылок на своём сайте.

3.1. Удаление вручную

Если речь идёт об устранении не более чем сотни ссылок, которые накопились за продолжительное время или появились единоразово вследствие технических работ на сайте, их можно удалить вручную. Для этой процедуры мы рекомендуем следующий алгоритм:

1. Проверьте, правильно ли указан адрес, и исправьте его, если есть возможность (и если вы знаете, на что исправить).
2. Если исправить не получилось, а страницы или сайт, на который вы раньше успешно ссылались, больше нет, найдите другой релевантный материал и замените ссылку.
3. Если ни один из пунктов не удаётся выполнить, удалите ссылку.

3.2. Настройка редиректов

Если на вашем сайте битые ссылки возникают постоянно, и происходит это по причине каких-то регулярных обновлений или изменений (например, удаление страниц недоступных товаров), мы рекомендуем воспользоваться переадресацией. Это может быть:

1. 301 редирект на релевантную страницу с похожим наполнением, которая может решить задачу пользователя.
2. 301 редирект на страницу категории или раздел сайта, к которому относилась несуществующая страница (здесь нужно быть осторожным, чтобы не спровоцировать появление ошибки 404 SOFT).
3. Refresh-редирект с кастомной страницы 404 ошибки, которая оповестит об отсутствии искомой страницы и перенаправлении на релевантную категорию или раздел.

3.3. Создание кастомной страницы для 404 ошибки

Построение редиректов кажется вам слишком сложной и трудозатратной методикой устранения битых ссылок? Что ж, есть ещё один способ снизить показатель отказов и подтолкнуть пользователя продолжить сёрфинг вглубь сайта — создание кастомной 404 страницы, которая будет:

• развлекать пользователя;
• демонстрировать ему варианты дальнейших перемещений по сайту;
• предлагать интересные релевантные материалы / страницы.

По сути, вы не устраните таким образом имеющиеся битые ссылки, но сможете улучшить юзабилити и удержать пользователей на сайте.

Коротко о главном

Битые ссылки относятся к числу критических технических ошибок, которые напрямую влияют на оптимизацию сайта и его последующее продвижение в органическом поиске. Контроль над битыми ссылками можно осуществлять при помощи панели для вебмастеров Google, специализированных онлайн-сервисов и плагинов, а также при помощи краулеров типа Netpeak Spider.

Избавиться от найденных битых ссылок можно несколькими способами:

1. Заменить или устранить ссылки вручную.
2. Настроить редиректы.
3. Создать кастомную страницу 404 ошибки, которая поможет удержать пользователя на сайте.

А как вы боретесь с битыми ссылками на своём сайте? Поделитесь своим опытом в комментариях: возможно, вы знаете методики, которые стоило бы добавить в этот материал ;)