Як знайти биті посилання на сайті і позбутися від них

Деякі помилки, пов'язані з пошуковою оптимізацією сайтів, з плином часу втрачають свою актуальність. Вони або перестають бути істотними, або рівень автоматизації процесів всередині сайту майже повністю зводить нанівець можливість появи подібного роду проблем.

На жаль, проблема битих посилань до них не відноситься: вона вже багато років служить джерелом головного болю для вебмайстрів та фахівців з SEO.

1. Що являють собою биті посилання

Для початку визначимося з поняттям «биті посилання» (з англ. Broken links).

Биті посилання - це посилання, які ведуть на недоступну або неіснуючу сторінку. В першу чергу до них відносяться всі посилання з кодом відповіді сервера 4хх.

1.1. Причини і джерела появи

Виникнення битих посилань може бути обумовлено як неправильно вибрано параметр CMS (системи управління сайтом), так і простим людським фактором (вебмастер припустився помилки або своєчасно не оновив посилання). Биті посилання з'являються в тому випадку, якщо:

• адреса сторінки було вказано некоректно;
• сторінка була вилучена безповоротно, але посилання на неї як і раніше існують і не перенаправляють на альтернативну сторінку;
• після перенесення сторінки або переїзду сайту не були коректно налаштовані і перевірені 301 редіректи;
• через системної помилки робоча сторінка віддає 404 код відповіді замість 200 OK;
• трапився збій в автоматичному оновленні даних з зовнішнього джерела.

1.2. Наслідки для оптимізації сайту

Наявність битих посилань розцінюється як негативний фактор як з точки зору пошукової оптимізації, так і з точки зору користувацького досвіду. На то є ряд причин:

1. Вони псують враження користувача від роботи з сайтом.
   Опинившись на сторінці з 404 помилкою замість важливою для нього сторінки, користувач з дуже високою ймовірністю може покинути сайт і більше на нього ніколи не повернутися. З цього випливає підвищення показника відмов, на підставі якого пошукова система може зробити дуже згубні для вашого сайту висновки. Вони, в свою чергу, безпосередньо позначаться на ранжируванні в органічній видачі.
   
   
2. Вони ускладнюють роботу пошукових роботів.
   Якщо на сайті буде виявлено дуже багато битих посилань, пошукові системи можуть зменшити краулінговий бюджет сайту (кількість посилань, яке робот пошукової системи обходить за конкретний період часу) і знизити позиції сайту в пошуковій видачі.
   
   
3. На них «розпорошується» контрольний вагу.
   Биті посилання порушують природний розподіл посилального ваги всередині сайту.

2. Як перевірити сайт на биті посилання

Основна проблема битих посилань полягає в тому, що вони виникають постійно, і ви можете запобігти їх появі лише частково. Виходячи з цього, слід регулярно перевіряти сайт на наявність битих посилань вручну. Однак якщо сайт включає в себе тисячі сторінок, цей спосіб відніме у вас занадто багато часу і сил.

Всього існує кілька способів пошуку битих посилань, які відрізняються один від одного за ступенем зручності і швидкості:

1. Онлайн-сервіси перевірки битих посилань ( Online Broken Link Checker ).
2. Спеціалізований інструмент Google Search Console .
3. Краулер ( Netpeak Spider ).
4. Спеціальні плагіни для браузера ( Check My Links для Chrome, наприклад).

Щоб краще розуміти, в яких випадках звертатися до того чи іншого інструменту, ми розберемо особливості кожного з них окремо.

2.1. Google Search Console

У старому інтерфейсі GSC дані про помилки, а також про сторінки, які віддають 4хх код відповіді, будуть зібрані в розділі «Сканування» / «Помилки сканування».

Якщо ж ви користуєтеся оновленим інтерфейсом панелі для вебмайстрів Google, зайдіть в розділ «Індекс» / «Покриття» і клікніть по фільтру «Помилки», щоб побачити список сторінок з будь-якими проблемами, включаючи 4хх код відповіді.

Незручність полягає в тому, що в списку будуть значитися всі посилання, що ведуть на ваш сайт, в тому числі посилання, які пошуковий робот знайде на інших сайтах. Список оновлюється після чергового обходу сайту, через що неможливо відстежувати всі виникаючі технічні проблеми в режимі реального часу.

2.2. Broken Link Checker

Безкоштовна версія сервісу Online Broken Link Checker дозволяє сканувати сайт на предмет битих посилань онлайн. Досить просто вказати адресу сайту, прописати символи капчи у відповідному полі і запустити пошук.

Величезний плюс сервісу полягає в його доступності, простоті та відсутності необхідності встановлювати будь-яке ПЗ на свій комп'ютер.
Але разом з тим є і ряд мінусів, серед яких:

• обмеження в 3000 URL на одне сканування;
• неможливість знайти биті посилання на зображення, відео, документи і будь-які файли, окрім HTML;
• відносно невисока швидкість аналізу, що особливо відчутно у випадку з сайтами-гігантами.

Сервіс підійде для швидкого аналізу невеликих сайтів з мінімальною ймовірністю появи будь-яких битих посилань, крім посилань на HTML-документи.

2.3. Netpeak Spider

Використовуючи Netpeak Spider, ви в будь-який момент часу можете просканувати необмежену кількість сторінок і отримати актуальний звіт про всі помилки технічної оптимізації сайту, включаючи биті посилання, биті картинки і биті редіректи (редіректи, провідні на неіснуючі сторінки). Крім цього, з краулер ви можете самостійно обмежити область сканування. Наприклад, перевірити певну категорію, в якій ризик появи битих посилань з якихось причин вище, ніж в інших.

Щоб знайти биті посилання за допомогою Netpeak Spider, вам потрібно:

1. Запустити Netpeak Spider.
2. Ввести в рядок «Початковий URL» адреса сайту, потім натиснути «Старт». При необхідності ви можете обмежити пошук списком URL ( «Список URL» в головному меню), категорією ( «Налаштування» / «Основні») або переліком сторінок, що відповідають тому чи іншому правилу ( «Налаштування» / «Правила»).
3. Після того, як Netpeak Spider завершить процес, на бічній панелі потрібно перейти на вкладку «Звіти» / «Помилки» і клікнути на пункт «Биті посилання», якщо такий з'явиться у списку знайдених помилок.
4. По кліку в основній таблиці відкриється додаткова вкладка, на якій буде відображений список посилань, які віддають сервера код відповіді 4хх і вище.
   
   
   
5. Щоб подивитися, де розташована знайдена бита посилання, слід натиснути правою кнопкою миші на URL сторінки і в контекстному меню вибрати «Вхідні посилання».
   
   
   
6. Коли відкриється таблиця зі списком сторінок, що містять ту чи іншу биту посилання, в лівому верхньому кутку потрібно клікнути на кнопку «Експорт». Збережіть отримані дані в зручному вам форматі: .xlsx або .csv.
   
   
   
7. Також ви можете скористатися спеціальним звітом «Биті посилання», який можна буде знайти у відповідному меню.
   

Подібне рішення ідеально підходить для сайтів з будь-якими CMS і будь-якою кількістю сторінок, так як стандартна ліцензія не передбачає будь-яких обмежень.

2.4. Спеціальні плагіни для Chrome

Для більшості популярних браузерів, таких як Google Chrome, є безліч плагінів, що дозволяють швидко просканувати сторінку на поточній вкладці на наявність битих посилань. У їх числі - Check My Links .

За допомогою плагіна все робочі посилання на сторінці підсвічуються зеленим кольором, биті - червоним. Крім цього, при вказівці відповідних налаштувань програма може акцентувати вашу увагу на посиланнях з GET-параметрами, «порожніх посиланнях», посиланнях з атрибутом rel = "nofollow" і інших посиланнях, відмінних від нормальних (звичайна dofollow-посилання з анкорний текстом, укладена в тег <a> з атрибутом href).

Рішення підійде тим, хто працює з сайтами з невеликою кількістю сторінок, але дуже ревно ставиться до чистоти посилань усередині сайту :)

3. Як усунути биті посилання

Залежно від масштабу трагедії для усунення битих посилань можна використовувати кілька методик - від самих немудрих до складних щодо технічної реалізації. Нижче ми описали кілька сценаріїв, яким ви можете слідувати, щоб позбутися від битих посилань на своєму сайті.

3.1. видалення вручну

Якщо мова йде про усунення не більше ніж сотні посилань, які накопичилися за тривалий час або з'явилися одноразово внаслідок технічних робіт на сайті, їх можна видалити вручну. Для цієї процедури ми рекомендуємо наступний алгоритм:

1. Перевірте, чи правильно вказано адресу, і виправте його, якщо є можливість (і якщо ви знаєте, на що виправити).
2. Якщо виправити не вийшло, а сторінки або сайт, на який ви раніше успішно посилалися, більше немає, знайдіть інший релевантний матеріал і замініть посилання.
3. Якщо жоден з пунктів не вдається виконати, видаліть посилання.

3.2. Налаштування редиректів

Якщо на вашому сайті биті посилання виникають постійно, і відбувається це через якихось регулярних оновлень або змін (наприклад, видалення сторінок недоступних товарів), ми рекомендуємо скористатися переадресацією. Це може бути:

1. 301 редирект на релевантну сторінку зі схожим наповненням, яка може вирішити задачу користувача.
2. 301 редирект на сторінку категорії або розділ сайту, до якого належала неіснуюча сторінка (тут потрібно бути обережним, щоб не спровокувати появу помилки 404 SOFT ).
3. Refresh-редирект з кастомной сторінки 404 помилки, яка сповістить про відсутність шуканої сторінки і перенаправлення на релевантну категорію або розділ.

3.3. Створення кастомной сторінки для 404 помилки

Побудова редиректів здається вам занадто складною і трудомісткою методикою усунення битих посилань? Що ж, є ще один спосіб знизити показник відмов і підштовхнути користувача продовжити серфінг вглиб сайту - створення кастомной 404 сторінки, яка буде:

• розважати користувача;
• демонструвати йому варіанти подальших переміщень по сайту;
• пропонувати цікаві релевантні матеріали / сторінки.

По суті, ви не усунете таким чином наявні биті посилання, але зможете поліпшити юзабіліті і утримати користувачів на сайті.

Коротко про головне

Биті посилання відносяться до числа критичних технічних помилок, які безпосередньо впливають на оптимізацію сайту і його подальше просування в органічному пошуку. Контроль над битими посиланнями можна здійснювати за допомогою панелі для вебмайстрів Google, спеціалізованих онлайн-сервісів і плагінів, а також за допомогою краулерів типу Netpeak Spider .

Позбутися від знайдених битих посилань можна кількома способами:

1. Замінити або усунути посилання вручну.
2. Налаштувати редіректи.
3. Створити кастомную сторінку 404 помилки, яка допоможе утримати користувача на сайті.

А як ви боретеся з битими посиланнями на своєму сайті? Поділіться своїм досвідом в коментарях: можливо, ви знаєте методики, які варто було б додати в цей матеріал;)