404 или 410: что каждый код говорит Google об удалённой странице

Что на самом деле говорит каждый код

Оба кода означают, что страницы нет. Отличаются они одним словом: уверенностью.

404 Not Found говорит: по этому URL у меня ничего нет. Не говорит почему и не говорит, появится ли что-то завтра. Это честный ответ по умолчанию, когда у сервера просто нет соответствия для пути.

410 Gone говорит нечто более узкое и более сильное: по этому URL был контент, его удалили намеренно, и он не вернётся. Спецификация описывает 410 как намеренный и предполагает, что владелец знает: это навсегда.

В этом вся смысловая разница, и из неё следует всё остальное. 404 — это пожатие плечами, 410 — утверждение. Ни один из них не ошибка, которую надо чинить: корректный 404 для URL, которого никогда не существовало, — ровно то, что нужно, и страницы в отчёте Не найдено (404) в Search Console обычно работают как задумано.

Что Google на самом деле делает с каждым

Здесь ожидания расходятся с реальностью, и точность важна, потому что большинство советов по теме преувеличивают разницу.

• Оба убирают URL из индекса. Ни один не оставляет мёртвую страницу в выдаче. Итог одинаковый.
• 410 считается чуть более окончательным. Google говорил, что обрабатывает 410 немного быстрее 404: URL выпадает раньше, повторных попыток меньше. Это «немного» работает в предложении всерьёз: разница измеряется одним-двумя циклами обхода, а не неделями.
• Оба всё равно будут переобойдены. Google вернётся к 410, чтобы проверить, что вы не передумали. 410 — не вечная инструкция больше никогда не заходить, и URL, снова отдающий 200 после 410, будет переиндексирован.

Честный итог такой: выбор 410 вместо 404 покупает вам чуть более быстрое удаление и более ясный сигнал, но не другой результат. Его стоит делать, когда ответ известен, и не стоит ради него переделывать приложение. Настоящий ущерб — в двух ошибках ниже: редиректить всё на главную и отдавать экран «страница не найдена» со статусом 200.

Когда 410 — правильный ответ

Берите 410, когда вы приняли решение и готовы за ним стоять:

• Товар, объявление или мероприятие, которое закончилось и не имеет преемника. Истёкшая вакансия, закрытый аукцион, снятая с производства позиция без замены.
• Контент, который вы удалили намеренно — закрытая посадочная страница, тонкая страница, убранная при чистке, статья, снятая осознанно.
• Удалённый пользовательский контент: профиль удалённого аккаунта, снятая публикация, всё, что убрали по правилам.
• URL из старой структуры, в которых вы уверены, где нет равноценной страницы и редирект был бы ложью.
• Уборка после взлома или спам-инъекции, когда проиндексировались тысячи мусорных URL и вы хотите избавиться от них как можно решительнее.

Именно в последнем случае 410 по-настоящему отрабатывает. Когда краулер обнаружил десятки тысяч URL, которых не должно было существовать, небольшое ускорение и отсутствие повторов складываются в заметную величину.

Когда 404 — правильный ответ

Берите 404, когда не уверены, — а это бывает чаще, чем принято признавать:

• URL с опечаткой или наугад. Там никогда ничего не было. 404 буквально верен.
• Страница, которая может вернуться: сезонная категория, товар, который вы довезёте, временно снятая с публикации статья.
• Всё, где решали не вы, или где нельзя понять, было ли удаление намеренным. Фреймворк, отдающий 404 на несопоставленный маршрут, поступает правильно.
• Массовая чистка, которую вы не проверяли. Если пришлось бы гадать, какие из 10 000 URL убрали специально, 404 безопаснее для всех.

404 — значение по умолчанию не просто так. Он никогда не ошибается так, как ошибается неуместный 410: 410 на том, что вы потом восстановите, — утверждение, от которого придётся отказываться.

Soft 404 — тот, который действительно стоит денег

Soft 404 — это страница, которая говорит человеку «не найдено», отдавая при этом краулеру 200 OK. Это с большим отрывом самая дорогая ошибка во всей теме, и почти всегда она случайная.

Три способа её получить:

• Своя страница ошибки, отданная с кодом 200. Шаблон отрисовался, статус так и не выставили, и теперь каждый мёртвый URL сайта выглядит как настоящая страница.
• Редирект всех мёртвых URL на главную. Главная отдаёт 200, и каждый снятый URL отчитывается как живая страница с содержимым, не имеющим отношения к запросу. Google прямо называет это и считает soft 404.
• Приложение с отрисовкой на клиенте, которое делает запрос, ничего не находит и рисует пустое состояние, — тогда как сам HTML-документ был отдан с 200.

Цена реальная: краулинговый бюджет, потраченный на несуществующие страницы, тонкие дубли в индексе и отчёт Soft 404 в Search Console, который тихо растёт. Лечение всегда одно: привести код состояния в соответствие с тем, что написано на странице. Проверьте, что ваша страница ошибки отдаёт на самом деле, проверкой кодов состояния HTTP: браузер не подскажет, потому что страница с 404 и страница с 200 на экране выглядят одинаково.

Что отдавать на мёртвый URL

Четыре варианта в том порядке, в котором их стоит рассматривать.

1. Редирект, если есть настоящий аналог

Если другая страница действительно заменяет эту — новый URL после перестройки, товар-преемник, объединённая статья, — 301 лучше любого из кодов ошибки, потому что сохраняет ссылочные сигналы, накопленные старым URL. Руководство по редиректам 301 и 302 объясняет, какой код взять. Проверка простая: почувствует ли посетитель, попавший на новую страницу, что получил то, на что нажимал? Если нет — не редиректьте.

2. Отдайте 410, если удалили намеренно

Аналога нет, и вы знаете, что удаление было сознательным и окончательным. Так и скажите.

3. Отдайте 404, если не уверены

Аналога нет, и уверенности, что страница ушла навсегда, тоже нет. Значение по умолчанию верно и ничего вам не стоит.

4. Или оставьте страницу, если она ещё приносит пользу

Перед удалением стоит спросить: есть ли у этого URL входящие ссылки или трафик? Страницу, которая приносит визиты, часто лучше обновить, чем убрать. Удалить её и отдать безупречный 410 — всё равно что выбросить всё, что она накопила.

Коды, которые берут по ошибке

Несколько соседей оказываются на месте 404 и 410, и все они говорят другое:

• 403 Forbidden значит, что ресурс существует, но смотреть его вам нельзя. 403 на отсутствующий контент сообщает краулеру, что страница настоящая и её придерживают, — не то, что вы имели в виду.
• 451 Unavailable For Legal Reasons — именно для контента, удалённого по юридическому требованию. Это настоящий зарегистрированный код, не шутка, и он не годится как общее «мы это убрали».
• 503 Service Unavailable — правильный код для плановых работ и обслуживания: он говорит «зайдите позже», ровно то, что нужно во время миграции, и он неверен для страницы, ушедшей навсегда.
• 200 с пустой страницей — это soft 404 из раздела выше и худший вариант из всех.

Если вы не знаете, что ваше приложение отдаёт в каждой из этих ситуаций, проверьте, а не предполагайте: полное руководство по кодам состояния HTTP разбирает каждый класс.

Частые ошибки

• Редиректить каждый мёртвый URL на главную. Google считает нерелевантную цель soft 404, так что вы не получаете ни удаления, ни ссылочного веса.
• Своя страница 404 со статусом 200. Людям выглядит правильно, краулерам врёт.
• Поставить 410 на что-то сезонное, потом вернуть страницу и удивляться, почему восстановление идёт медленно.
• Считать отчёт о 404 в Search Console списком багов. Большинство этих URL — опечатки, старые ссылки парсеров и мёртвые внешние ссылки. 404 для URL, которого никогда не было, чинить не нужно.
• Удалять страницы, которые ещё приносят трафик или ссылки, просто потому что они старые. Сначала проверьте.
• Оставлять мёртвые URL в карте сайта. В карте должны быть только URL, которые вы хотите видеть в индексе; 404 или 410 там тратят краулинговый бюджет и отмечаются как ошибка.
• Убирать внутренние ссылки в последнюю очередь. Если ваша собственная навигация всё ещё ведёт на URL, которому вы поставили 410, вы говорите Google две вещи одновременно.

Коротко

404 говорит «здесь ничего нет»; 410 говорит «здесь это было, я удалил, и оно не вернётся». Оба убирают URL из индекса, и 410 делает это чуть быстрее и с меньшим числом повторов — полезно при массовой чистке после взлома или прополки контента и не повод переделывать приложение. Вместо них редиректьте, когда есть настоящий аналог, берите 404 всякий раз, когда сомневаетесь, и главное — следите, чтобы страницы ошибок отдавали код ошибки: экран «страница не найдена» с кодом 200 — это soft 404, и он стоит дороже, чем любая ошибка в выборе между этими двумя. Проверьте, что URL отдаёт на самом деле, бесплатной проверкой кодов состояния HTTP.

Связанные инструменты и руководства:

• Поиск HTTP-кодов состояния — Быстрый справочник по каждому коду состояния HTTP и его значению.
• Редиректы 301 и 302: что выбрать и что видит SEO — Когда нужен 301

Частые вопросы