Техническая оптимизация сайта: чек-лист и порядок работ

Техническая оптимизация сайта — это комплекс работ, чтобы поисковые роботы Яндекса и Google могли спокойно обходить страницы, а браузер посетителя — быстро их показывать. Роботы поисковых систем видят только то, что им доступно технически. Речь не о текстах и не о ссылках, а о фундаменте: доступ к страницам, правильные адреса, скорость ответа сервера.

Проще говоря, техническая оптимизация отвечает на три вопроса. Видит ли поисковая система все важные страницы? Понимает ли она, какая версия адреса главная? Не теряет ли человек терпение, пока грузится каталог?

Без технической базы остальные работы почти не дают результата. Можно написать точные тексты и собрать семантику, но если страница закрыта в robots.txt или отдаёт код 500, она не появится в поисковой выдаче. Поэтому технику проверяют первой — до контента и ссылок. Как это выглядит в общем плане, разобрано в статье про SEO-аудит сайта.

• robots.txt и карта сайта — что роботу разрешено обходить и где искать адреса.
• Индексация и дубли — какие версии страниц считать главными.
• Редиректы и зеркала — куда ведут старые и лишние адреса.
• Скорость загрузки — как быстро появляется контент.
• Мобильная версия — удобно ли пользоваться сайтом со смартфона.
• Ошибки 4xx и 5xx — какие адреса отдают пустоту или сбой.
• Микроразметка и HTTPS — понятность страницы и безопасность связи.
• Структура URL и логи — читаемые адреса и контроль обхода.

Особенно срочно техническая оптимизация нужна после переезда на новый домен, после смены CMS или редизайна, при резком падении трафика и при запуске интернет-магазина с большим каталогом. В этих случаях ошибки появляются пачками.

Хаотичный старт — главная причина, по которой техническая оптимизация растягивается на месяцы. Правки в адресах, вёрстке и скриптах конфликтуют между собой, поэтому их разводят по этапам и проверяют после каждого. По этой же логике строится любой технический аудит: сначала факты, потом исправления.

1. 01Проверьте доступ. Не закрыт ли сайт целиком в robots.txt, нет ли запрета в метатеге noindex, отвечает ли сервер кодом 200 на главные страницы.
2. 02Снимите базовые отчёты. Яндекс Вебмастер и Google Search Console покажут, как идёт индексация страниц и какие ошибки обхода есть сейчас.
3. 03Соберите список адресов. Возьмите карту сайта, меню и данные из логов: так видно, что робот посещает, а что ему недоступно.
4. 04Уберите дубли и настройте редиректы. Один адрес — одна страница, всё остальное ведёт на неё постоянным переходом.
5. 05Ускорьте загрузку. В первую очередь сервер и изображения, потом скрипты. Это самая дорогая часть по трудозатратам.
6. 06Проверьте мобильную версию и добавьте разметку. Это отделка: она помогает поиску понять содержимое страницы.

Такой порядок экономит время, потому что каждая следующая правка не ломает предыдущую. Обратный вариант — параллельно менять вёрстку, скрипты и редиректы — почти всегда добавляет новые ошибки.

Диагностику удобнее делать один раз и целиком: SEO-аудит даёт список проблем с приоритетами и оценкой трудоёмкости. После него понятно, что можно исправить своими силами, а что стоит отдать разработчику. Общий порядок настройки разобран в статье «Как настроить SEO на сайте».

Файл robots.txt лежит в корне сайта и говорит роботам, что можно обходить, а что нет. Это инструкция, а не защита: запрет в robots.txt останавливает обход, но не удаляет страницу из индекса. Чтобы адрес исчез из выдачи, нужен метатег noindex или код ответа 404.

• Не закрыт ли сайт целиком. Директива, запрещающая всё, означает, что робот не увидит ни одной страницы.
• Не закрыты ли стили и скрипты. Без них поиск не оценит вёрстку и мобильную версию.
• Указана ли карта сайта. Строка с адресом sitemap.xml ускоряет обнаружение новых страниц.
• Закрыты ли служебные разделы. Корзина, поиск по сайту, личный кабинет, страницы входа.
• Учтены ли параметры фильтров. Сортировка и фильтры в каталоге плодят большое количество адресов-дублей.

Карта сайта (sitemap.xml) — файл со списком адресов, которые вы хотите видеть в индексе. Она не гарантирует индексацию, но ускоряет обнаружение нового. В карту добавляют только канонические адреса с кодом 200: дубли, страницы пагинации и служебные разделы туда не кладут.

Для интернет-магазинов карта — отдельная задача: категорий и карточек тысячи, поэтому её делят на несколько файлов с датами обновления. Если каталог большой, карту собирают автоматически и проверяют на битые адреса.

Дубль — это одна и та же страница, открытая по разным адресам. Товар доступен с www и без, с параметром сортировки и без, в верхнем и нижнем регистре. Для поиска это дублированный контент на разных адресах, и он не понимает, какую страницу показывать в выдаче.

• Зеркала домена. Сайт открывается по четырём адресам: с www и без, по http и https.
• Параметры в адресе. Сортировка, фильтры, метки для рекламы, номера сессий.
• Пагинация. Вторая и третья страницы списка часто открыты для индексации.
• Служебные адреса. Корзина, поиск по сайту, страницы входа и регистрации.
• Регистр и слеш на конце. Адреса с разным написанием ведут на одну и ту же страницу.

Главный инструмент против дублей — канонический адрес. Тег canonical со ссылкой на основной адрес говорит поиску: показывай эту версию, остальные считай копиями. Это подсказка, а не приказ, поэтому сигналы не должны противоречить друг другу: canonical и noindex на одной странице — плохая комбинация.

Индексацию сайта проверяют по отчётам, а не по ощущениям. В Яндекс Вебмастере смотрите раздел «Страницы в поиске», в Google Search Console — «Индексирование страниц». Там видно, сколько адресов исключено и по какой причине: закрыто в robots.txt, удалено, дубль без канонического адреса или страница не найдена.

Редирект — перенаправление с одного адреса на другой. Для поиска важен код ответа: 301 (постоянный) передаёт вес страницы новому адресу, 302 сообщает, что перемещение временное. Если старый адрес отдаёт 301 на новый, поиск постепенно заменяет страницу в индексе.

• Цепочки переходов. Адрес ведёт на адрес, а тот — на третий. Каждое звено теряет время, поэтому цепочку склеивают в один прямой редирект.
• Переход на несуществующую страницу. Старый адрес ведёт туда, где уже 404. Проверять нужно конечную точку, а не только начало.
• Мягкий 404. Сервер отдаёт код 200, а на странице написано «товар не найден». Поиск считает такую страницу рабочей и держит её в индексе.
• Переходы на главную. Десятки удалённых страниц ведут на главную — это выглядит как попытка скрыть проблему.

Зеркала — одинаковые сайты на разных доменах или протоколах — склеивают через 301 и подтверждают главное зеркало в Яндекс Вебмастере. Без этого сигналы делятся между версиями, и каждая показывает результат хуже, чем могла бы.

Структура URL — часть технической оптимизации, которую легко сделать сразу и дорого переделывать потом. Адрес вида /uslugi/tehnicheskaya-optimizaciya понятен человеку и поиску, а /?page_id=2481 — нет. В адресе отражают раздел и суть страницы, без дат, лишних слов и глубокой вложенности. Ключевые слова в адресе помогают понять тему, пока их немного: три-четыре слова работают лучше длинной фразы.

Структуру дополняют хлебные крошки — цепочка ссылок от главной страницы до текущей. Они помогают человеку не потеряться, а роботу — понять вложенность разделов сайта.

Менять адреса существующих страниц без необходимости не стоит: каждый переезд — это редирект, переобход и временная просадка. Если переезд неизбежен, подготовьте карту старых и новых адресов заранее, иначе часть важных страниц выпадет из индекса.

Скорость загрузки страниц — время, за которое человек видит контент и может нажать кнопку. Она влияет и на поведение, и на оценку страницы поиском. Важны три вещи: как быстро отвечает сервер, насколько быстро появляется основной текст и не прыгает ли вёрстка при загрузке.

Три метрики без паники

Google измеряет удобство страницы тремя метриками: LCP, INP и CLS. Их считают на реальных устройствах и реальном трафике. Фраза «у меня на компьютере всё быстро» ничего не доказывает: смотрите отчёты по мобильным посетителям, а не по своему ноутбуку.

Что тормозит сайт чаще всего: тяжёлые изображения, сторонние виджеты, неиспользуемые скрипты и медленный сервер. Последовательность правок обычно такая: сжать картинки и отдать их в современном формате, отложить второстепенные скрипты, включить кеширование, проверить хостинг.

Ускорение — самая дорогая часть технической оптимизации по трудозатратам: почти всегда нужны правки в коде, а не в админке. Зато эффект видят не только поисковые роботы: люди реже уходят со страницы, которая грузится восемь секунд. Что делать с содержанием после ускорения — в статье «Внутренняя оптимизация сайта».

Мобильная версия — не уменьшенный десктоп. На смартфоне человек видит один столбец, крупные кнопки и короткие формы. Если страницу приходится масштабировать пальцами, поиск считает мобильную версию неудобной, а посетитель просто закрывает вкладку.

Адаптив или отдельный сайт

Отдельный сайт для мобильных устройств на поддомене сегодня нужен редко: он удваивает поддержку и повышает риск, что контент на версиях разойдётся. Адаптивная вёрстка решает ту же задачу дешевле в обслуживании, но требует аккуратности в мелочах: таблицы, фильтры и всплывающие окна ломаются первыми именно в мобильной версии.

• Текст читается без масштабирования. Базовый размер шрифта — от 16 пикселей.
• Нет горизонтальной прокрутки. Контент, выходящий за границы экрана, — признак ошибки.
• Кнопки нажимаются пальцем. Мелкие ссылки рядом друг с другом дают промахи.
• Всплывающее окно не перекрывает контент сразу при загрузке страницы.
• Формы и фильтры работают. На телефоне они ломаются чаще всего.
• Контент совпадает с десктопной версией. Поиск сравнивает их напрямую.

Тестировать лучше на реальных устройствах и на мобильном интернете, а не в эмуляторе браузера и не по Wi-Fi. Эмулятор не покажет, как ведёт себя вёрстка на медленном соединении и на смартфоне трёхлетней давности. Для проверки хватит двух-трёх телефонов разных годов выпуска.

Коды ответа сервера — язык, на котором сайт говорит с поиском. По ним робот понимает, что делать со страницей: индексировать, перейти по новому адресу или подождать. Технические ошибки в этих кодах сбивают робота и раздражают людей.

• 200 — страница отдаётся нормально, её можно индексировать.
• 301 и 302 — перенаправление: постоянное и временное.
• 403 — доступ запрещён, робот видит закрытую страницу.
• 404 — адрес не существует; для удалённого товара это нормальный ответ.
• 5xx — ошибка сервера или перегрузка; частые 500 останавливают обход.

Битые ссылки — адреса, которые ведут на 404. Они ухудшают пользовательский опыт и мешают индексации: робот тратит обход на пустые страницы, а это может привести к снижению доверия к сайту. Внутренние битые ссылки находят сканером или выгрузкой из Вебмастера, внешние — по отчётам Search Console.

Частые ошибки 5xx опаснее, чем кажется. Если сервер регулярно отвечает 500 при нагрузке, робот снижает частоту обхода и может убрать страницы из индекса до следующей удачной попытки. Смотреть надо на мониторинг и логи, а не на позиции в выдаче.

Микроразметка — атрибуты в коде, которые объясняют поиску, что перед ним: товар, цена, рейтинг, вопрос или организация. Сама по себе она не поднимает страницу, но помогает собрать расширенный сниппет с ценой и наличием. Формат выбирают один — Schema.org в виде JSON-LD — и следят, чтобы данные совпадали с текстом страницы.

HTTPS — обязательный минимум. Без шифрования браузер помечает сайт как небезопасный, а поиск относится к нему хуже. Сертификат сегодня бесплатный, настройка занимает минуты. После перехода все внутренние ссылки, изображения и canonical должны вести на https-адреса, иначе снова появятся дубли.

Лог-файлы сервера показывают, какие страницы вашего сайта робот запрашивал, как часто и с каким кодом ответа. Это единственный способ увидеть обход своими глазами: Вебмастер и Search Console дают сводку, а лог — факты. Смотреть логи нужно после каждой крупной правки структуры сайта.

• Самые частые запросы. Обычно это фильтры и пагинация, а не карточки товаров.
• Адреса с кодом 5xx. Они сигналят о перегрузке сервера и проблемах с хостингом.
• Запросы к закрытым разделам. Значит, ссылки на них всё ещё стоят на сайте.
• Отсутствие важных страниц. Если робот не заходит на страницы сайта, которые должны приносить трафик, их добавляют в карту и во внутренние ссылки.
• Дубли с параметрами. Их закрывают в robots.txt или склеивают каноническим адресом.

Частоту обхода регулируют косвенно: чистыми адресами, быстрым сервером, актуальной картой сайта и отсутствием дублей. Ускорять обход искусственно не нужно — важнее, чтобы робот не тратил его на мусорные страницы.

Правило простое: сначала доступ, потом качество. Пока робот не может обойти страницу, работа над её содержанием — это подготовка впрок.

Стоимость зависит от размера сайта и состояния кода. Разовая диагностика — от 8 000 ₽, SEO-продвижение сайта с техническим блоком — от 30 000 ₽/мес на старте. Если сайт только предстоит делать, техническую базу закладывают в проект сразу: переделывать её потом дороже.

Проверять состояние нужно раз в квартал и обязательно после релизов, смены CMS, переезда на новый домен или массового обновления каталога. Оптимизировать сайт один раз и забыть не получится: он меняется, и настройки меняются вместе с ним.