Http — что это такое, как просмотреть заголовки и проверить код ответов сервера, что означают коды 200, 301, 302, 404 и 500

Проверка кода ответа сервера

Проверять код ответа нужно для того, чтобы поисковик правильно индексировал страницы. Если страницы, которые нужно включить в индекс, будут отдавать код 404 — никакого продвижения у вас не получится.

Процесс взаимодействия браузера с сервером основывается на формировании запроса пользователя и его отправке к веб-странице на сервер. Получив запрос, сервер отправляет необходимые http-заголовок и html-файл. Код ответа сервера как раз и состоит из заголовка сайта и определенного сопроводительного текста, который соответствует каждому коду ответа. Пояснительный текст предназначен для человека, который с его помощью может узнать, в чем заключается ошибка.

Нестабильная работа сервера может привести к ситуации «шиворот-навыворот»: рабочая страница отвечает 404 ошибкой, а несуществующие страницы помечаются кодом 200. Такие сбои влекут за собой проблемы с индексацией и потерей позиций в поисковой выдаче. Несмотря на невысокую вероятность этой ситуации, в целях оптимизации рекомендуется корректно настроить статус-коды в серверном файле .htaccess. Стоит это сделать при запуске нового сайта или переводе трастового на другой хостинг.

Как проверить код ответа сервера

Обычно нужно просто ввести урл страницы в один из сервисов, а он уже выдаст вам код ответа. Давайте посмотрим, что за сервисы можно использовать в этих целях.

Яндекс Вебмастер

В Яндекс Вебмастере проверить код ответа сервера можно с помощью инструмента Server Response. Указав url-адрес любой страницы, которая может находится в индексе, нажимаем «Проверить».


Поскольку страница работает нормально, поисковому боту отдается код 200, с пояснением «ОК» — все хорошо.

Для проверки противоположного случая можно ввести адрес страницы, которой на сайте нет и которая никак не может быть просканирована поисковым ботом. Напишем заветное заклинание для тех, кто любит сочинять бред.


Как было написано выше, в ответ на несуществующую страницу, сервер выдает ошибку 404, с пояснением «Not Found» — не найдено.

В отличии от Server Response, помимо ботов Яндекса на Bertal можно выбрать GoogleBot и BingBot, а также популярные браузеры. Укажем те же страницы, чтобы подтвердить правильную работоспособность сервера. В списке ботов выберем GoogleBot.


Пиксель Тулс

На Пиксель Тулс сервис для проверки ответа сервера поддерживает массовую проверку страниц. Список адресов можно вводить вручную или загружать из файла. Полученные результаты можно сохранить в CSV-файл.

Что такое ошибка 301

Ответ 301 moved permanently означает, что запрашиваемая страница переехала на новый URL. Новый адрес который указывается в отдельной графе сервиса.

Также приведу пример с проверкой страницы, с которой происходит 301 редирект.


В графе «Location» указана ссылка на которую происходит переадресация. Пояснение «Moved Permanently» означает, что страница переехала навсегда.


Что такое ошибка 503

Ответ 503 Server Unavailable означает, что сервер временно не может обрабатывать запросы из-за технических проблем. Этот код предназначен для уведомления поискового бота о том, что на сайте проводятся технические работы. После ошибки 503 бот при необходимости посетит страницу позже. При продвижении сайта нужно следить за страницами с ответом 503. После осуществления на сайте технических работ нужно проверить их, чтобы они вновь отвечали кодом 200 ОК.

Вот видос, где Гроховский поясняет за коды ответа сервера:

Проверить код ответа страницы

Быстрый и удобный сервис по проверке кода ответа сервера с широким функционалом и расшифровкой HTTP-заголовков. Мобильная версия и кнопка быстрой проверки для удобства работы. Checkmy показывает ответ сервера по заданному URL, это поможет определить существование URL или корректность работы сайта в зависимости от кода, который отдает сервер.

  • Проверка Accept Encoding
  • Заголовок If-Modified-Since
  • Выбор User Agent
  • Проверка исходного кода
  • Закладка для браузера
  • Кириллические домены
  • Поддержка gzip
  • Циклические переадресации
  • Отображение отправленных заголовков
  • Версия для мобильных устройств

Используйте кнопку быстрого доступа к сервису Checkmy для мгновенной проверки кода ответа сервера нужной страницы сайта.

1. Перетащите кнопку Checkmy на панель закладок своего браузера.

2. Зайдите на страницу сайта, которую хотите проверить.

3. Нажмите кнопку /Checkmy/ в панели закладок своего браузера.

В новой вкладке браузера откроется результат проверки ответа сервера страницы на которой вы находитесь.

Проверка кода ответа сервера

C помощью онлайн сервиса проверки кода ответа сервера вы можете проверить http заголовки, которые выдает сервер при запросе url адреса. Это может быть полезно для того, чтобы узнать включено ли сжатие контента на сервере, проверить исходный код страницы, узнать включена ли поддержка кеширования на сервере и получить другую полезную информацию из заголовков ответа сервера.
Что можно проверить в заголовках сервера:

  • Доступность и коды состояний url адресов
  • Поддержку кеширования страниц
  • Сжатие контента на сервере
  • Исходный код страницы
  • Ответ сервера для разных User Agent
  • Тип сервера, время и кодировку
  • Корректность переадресаций

Список популярных заголовков ответа сервера с пояснением их значений.

Content-Type

Описание формата передаваемого контента. Необходимо для корректного распознавания браузером.

Accept-Encoding

Перечень способов кодирования содержимого ответа при передаче.

Дата генерации передаваемого контента, используется время отвечающего сервера.

Дата предполагаемого истечения срока актуальности контента.

Last-Modified

Дата последней модификации контента.

If-Modified-Since

Дата, когда необходимо загружать контент, если он изменился с указанного момента.

URL-адрес по которому клиенту следует перейти или URL созданного ресурса.

Список названий и версий веб-сервера и его компонентов с комментариями.

Полный список кодов состояний http-сервера с расшифровкой значения.

Проверьте ответы на популярные вопросы, возможно вы найдете ответ на свой вопрос.

Как проверить поддержку If-Modified-Since ?

Введите адрес страницы, которую хотите проверить, отметьте галку If-Modified-Since и укажите дату предыдущего посещения страницы. Если вместо заголовка ответа HTTP/1.1 200 OK вы получите http-заголовок HTTP/1.1 304 Not Modified , значит сервер поддерживает If-Modified-Since и отправляет тело контента только в том случае, если с даты предыдущего посещения он изменился.

Какой User Agent отправляется в запросе ?

По-умолчанию Checkmy использует User Agent пользователя, то есть ваш. Если вы хотите его изменить, то можете выбрать любой другой из соответствующего выпадающего списка.

Как узнать поддерживает ли сервер сжатие ?

Введите адрес страницы, которую хотите проверить и отметьте галку Accept-Encoding: gzip . Если ответ сервера будет содержать заголовок Content-Encoding: gzip , значит сжатие поддерживается.

Checkmy поддерживает домены на кириллице ?

Да, сервис поддерживает IDN-домены и для их проверки не требуется переводить имя домена в punycode. Просто введите введите адрес вашего кириллического домена и проверьте http-код ответа сервера.

Читать еще:  Моемнение — заработок в интернете на сайте-опроснике

Можно ли проверять страницы с несколькими редиректами ?

Да, Checkmy самостоятельно переходит по адресу редиректа и проверяет следующую страницу, указанную в поле . Вы можете проверить страницу на которой до 7 переадресаций, для каждой переадресации Checkmy покажет отправленные заголовки и полученные заголовки ответа сервера.

Есть ли мобильная версия сервиса ?

Да, конечно, вы можете использовать Checkmy на мобильных устройствах для проверки http-ответа сервера, он быстро загружается и прекрасно выглядит.

Что делает Checkmy

Он позволяет быстро и удобно проверить заголовки ответа http-сервера, опционально поддерживает заголовки Accept-Encoding и If-Modified-Since.

Кому нужно проверять HTTP-заголовки

Корректность HTTP-заголовков ответа сервера необходимо проверять разработчиками, вебмастерам и SEO-оптимизаторам.

Наши проекты

2014 — 2019 © «Checkmy» — онлайн сервис проверки ответа сервера.

Сервис для быстрой проверки ответа сервера и скорости загрузки любой страницы сайта.

Что такое ответ сервера?

При обращении к серверу вы получаете от него ответ в виде трехзначного кода. Каждый код сообщает о состоянии страницы — доступна, не доступна, перенесена и так далее. В зависимости от кода сервер корректирует обработку документа после запроса. Код ответа сервера при обращении к странице проверяют браузеры и поисковики. Полный список кодов ответов приведен в таблице ниже.

Какие бывают коды ответа сервера

Все коды делятся на пять групп, они начинаются с цифр 1, 2, 3, 4 или 5. Каждая группа говорит о типе ответа — информационные, успешные, редиректы, ошибки клиента и ошибки сервера. Помимо трехзначного кода есть буквенное обозначение, поясняющее вид ответа. У всех страниц, подлежащих индексации, должен быть код ответа 200 ОК. В случае, если вы перенесли страницу, необходимо настроить 301 редирект, чтобы она не терялась.

Ошибка ответа сервера

Ошибками называют ответы, сообщающие, что страница недоступна по каким-то причинам. Например, код ответа 404 говорит о том, что страница не существует, 307 — страница временно перенесена. Поисковые системы при ранжировании обращают внимание на количество ошибок, поэтому рекомендуем регулярно проверять сайт на наличие страниц с такими ответами сервера. Это можно сделать с помощью нашего Анализа внутренних страниц.

Проверка кода ответа сервера

Вы можете проверить http-заголовки любой страницы сайта, и узнать какой код ответа выдает сервер. Это поможет вам узнать правильность настройки сервера, проверить редиректы и узнать скорость загрузки страницы.

При обращении по URL-у, сервер отдает нам не только содержимое страницы, но и передает служебную информацию, например: код статуса HTTP. Прежде, чем перейти к проверке ответа сервера, предлагаю определиться с терминами.

Что такое код статуса HTTP?

Код статуса HTTP (или код ответа сервера) — трёхзначное число, которое обозначает определенный статус запрашиваемой страницы.

Пример:

HTTP/1.1 200 OK , где
HTTP/1.1 — версии протокола,
200 — код успешного выполнения запроса.

Подробнее посмотреть значения кодов ответа сервера можно в этой статье.

Например:

  • Существующая страница — должна отдавать код ответа сервера 200;
  • Несуществующая страница — 404 ответ сервера;
  • С url-f старой страницы на актуальную — 301.

В этой статье мы рассмотрим различные задачи, связанные с проверкой ответа сервера, а также поговорим о полезных инструментах, которые помогут нам решить их.

Проверить код ответа сервера страницы

Для того чтобы узнать код ответа сервера страницы, воспользуемся популярным онлайн сервисом. Mainspy позволяет определить ответ сервера по заданному урлу, что может быть полезно для определения наличия страницы или работоспособности сайта в целом.

Все довольно просто: необходимо вставить URL страницы и нажать кнопку “Проверить”.

Также можно воспользоваться проверкой ответа сервера в Яндекс Вебмастере , инструмент доступен только для подтверждённых сайтов.

Узнать код ответа сервера всех страниц сайта

Для пакетной проверки ответа сервера вышеизложенный сервис нам, к сожалению, не подойдет, поэтому воспользуемся десктопными приложениями Xenu или Spider, которые помогут пропарсить все страницы сайта и проверить код ответа всех страниц.

Получение статуса страниц в Xenu

В главном меню перейдем «File- Check URL». Введем адрес сайта и запустим проверку урлов на ответ сервера

Результат проверки статуса ответа сервера можно будет увидеть в колонке «Status».

Получение статуса страниц в Spider

Запускаем приложение, вводим URL. Результат смотрим в колонке “Статус”.

Массовая проверка страниц на код ответа сервера

Используется для проверки группы Url-ом нескольких сайтов или вполне конкретных страниц. В решении этой задаче нам поможет этот сервис. Вводим списком адреса.

Есть небольшое ограничение: максимальное количество Url-ов составляет 100 адресов.

Но это совсем не проблема. Я предлагаю вам решение, которое вы можете реализовать на вашем веб-сервере (необходимы небольшие знания PHP).

Рассмотрим функцию get_headers, которая возвращает все заголовки, посланные сервером в ответ на HTTP запрос.

Пример: Возвращает код ответа сервера заданного URL-а.

Немного доработав php код , мы сможем списком вводить URL-ы и получать коды ответа сервера:

Мы рассмотрели популярные задачи, которые могут возникнуть перед вебмастером. Надеюсь, что информация окажется для вас полезной.

– Только качественный трафик из Яндекса и Google
– Понятная отчетность о работе и о планах работ
– Полная прозрачность работ

Код ответов сервера.

Код ответа это инструкция, которую получает посетитель, заходя на страницу сайта. С помощью этой инструкции браузер может скорректировать обработку страницы на стороне посетителя. На первый взгляд, код ответа сервера фактор, не имеющий никакого отношения к продвижению сайтов. Однако это не так. Да, настройки ответа сервера не могут улучшить ранжирование сайта, но допущенная в них ошибка может поставить крест на ваших планах покорения топа результатов поиска.

Поисковые роботы, как и посетители, учитывают коды ответов сервера и на их основании корректируют обработку страниц. В частности, по кодам ответа поисковые системы принимают решение о том, что:

– страница существует и работает корректно;

– страница не существует;

– страница перемещена навсегда;

– страница временно перемещена;

– сервер загружен и не может обработать запрос.

Существуют и другие, менее значимые, инструкции.

Описание кода ответа 200.

Поисковые системы добавляют в свою индексную базу только те страницы, которые отдают код ответа 200, означающий «страница существует и доступна для просмотра». Все важные страницы, которые мы хотим «скормить» поисковому роботу, должны отдавать код ответа 200. Если страница использует редирект и лишь после перемещения отдает код ответа 200, поисковая система индексирует только конечную страницу.

Читать еще:  Проверка уникальности текстов в онлайн сервисах антиплагиата и с помощью программ, помогающих найти сайты плагиаторов

Страница-шлюз может быть удалена или понижена в ранжировании (это зависит от типа редиректа). Если страница отдавала код ответа 200 и попала в индексную базу, но позже была удалена и теперь отдает код 404, она со временем удаляется из индексной базы. Если на странице поставить 301 редирект, то через некоторое время она будет также удалена из индекса, а ее вес в некоторых случаях будет передан той странице, на которую ссылался редирект.

К сожалению, Яндекс очень долго осуществляет переиндексацию страниц с редиректом: были зафиксированы случаи, когда переклейка происходила почти год.

Коды ответов 301, 302, 303, 307.

Существует большое количество кодов для обозначения редиректа. Укажем здесь основные, наиболее важные для поисковых систем: 301 “постоянное перенаправление”. Означает, что страница перемещена навсегда. Этот редирект используется чаще всего.

В случае если адрес страницы изменился навсегда, что происходит, например, при редизайне или реструктуризации сайта, 301 редирект позволяет сохранить входящие внешние ссылки за счет переклейки их веса на новые адреса страниц. Яндекс обрабатывает этот редирект очень долго, может пройти до года, прежде чем страницы склеятся.

302, 303, 307 «временное перенаправление». Веб-мастер таким образом указывает роботу поисковых систем, что страница перемещена временно, а значит, ее не нужно удалять из индексной базы. В этом случае Яндекс может добавить в свою базу обе страницы, но отображать только одну из них в результатах поиска.

Из инструкций Яндекс. Вебмастер: При постоянном перенаправлении (301 код) между внутренними страницами хоста в результатах поиска будет отображаться цель. При временном перенаправлении (302, 303, 307) между внутренними страницами хоста в результатах поиска будет отображаться наиболее компактный URL.

Если вы изменили адрес страницы, выложили новую версию сайта или просто хотите убрать дубликат используйте 301 редирект. Важно использовать именно одношаговый редирект, не создавайте сложных конструкций из нескольких редиректов.

Код ответа 404.

Код ответа 404 используется для указания браузеру или поисковой системе, что страницы не существует. Сервер в этом случае отображает или стандартную страницу “по этому адресу ничего не найдено”, или страницу-заглушку, если создан специальный шаблон для несуществующих страниц.

Важно не путать серверный ответ 404 и 404-ю страницу-заглушку. Некоторые веб-мастера по каким-то им одним ведомым причинам на 404-й странице размещают заглушку с указанием “страница не существует”, но на уровне сервера отдают код ответа 200. Посетитель этого не замечает, но поисковая система воспринимает такие страницы как существующие, индексирует их и заносит в свою базу как дубликаты. Используя подобную уязвимость, на сайте вы можете создать сколь угодно большое количество дублирующихся страниц, понизив вес сайта для поисковой системы.

Если страницы не существует, сервер должен отдавать ответ 404. В этой статье мы разобрали основные серверные ответы и методы работы с ними. Используя эту информацию, вы можете избежать фатальных ошибок, приводящих к исключению страниц сайта из выдачи, созданию дополнительных дубликатов и потере веса при переклейке страниц.

Как легко проверить код ответа сервера? Понятно о HTTP status code

Читайте этот пост на английском языке

Поделиться этим постом

Все мы боимся слышать, что у нас на сайте есть битые ссылки, но как их быстро найти и убрать? Какой именно редирект поставить, если теперь у тебя все URL начинаются с www? Как собрать все четырёхсотые и пятисотые? Предлагаю обо всём поговорить по порядку.

Самая простая задача — проверка кода ответа сервера. Следующий шаг — запомнить классы ответов сервера, а после этого — каждый код ответа. Всего есть 5 классов и несколько десятков кодов, из которых только несколько действительно стоит знать и помнить без помощи Google.

1. Кратко о том, что такое код ответа сервера

Каждый раз, когда ты кликаешь по ссылке или вводишь URL в адресную строку, ты отправляешь запрос к серверу. Он обрабатывает его и формирует ответ, в котором начальная часть показывает код состояния сервера.

Первые три цифры и фраза на английском языке дают понять пользователю (браузеру), краулеру и поисковому роботу, как сайт отреагировал на запрос к определённой странице или документу. Например, код ответа страницы 200 OK говорит сам за себя: «Всё ОК, ты обратился по нужному адресу».

Все коды ответов разделены на 5 классов, и отличает их первая цифра:

  • 1хх — информационный класс, который необходим клиенту при работе с передачей или обработкой данных. Большинство из них служебные и редко встречаются в повседневной работе.
  • 2хх — код, который говорит об успешной обработке запроса сервером.
  • 3хх — трёхсотый код свидетельствует о перенаправлении запроса с одного адреса на другой. Кстати, новички в SEO больше всего переживают как раз насчёт того, какой именно редирект поставить. Так что мы ещё вернёмся к этому вопросу.
  • 4хх — статус код, который говорит об ошибке на стороне пользователя. Причина ошибки объясняется фразой после трёх цифр кода.
  • 5хх — тоже код ошибки, но в этом случае она произошла на стороне сервера. Причины варьируются, но, как и с кодами четвёртого класса, причина всегда описана после номера кода: иногда она говорит о высокой нагрузке, иногда о внутренних ошибках на сервере.

2. Как проверить код ответа страницы?

Способов множество: панель инструментов разработчика в браузере ( F12 + вкладка «Network»), плагины в браузере, специальные онлайн-службы, различные SEO-сервисы. Но я всё таки работаю в Netpeak Software, так что покажу, как это сделать с помощью нашего инструмента Netpeak Spider.

Зарегистрировались, скачали Netpeak Launcher, установили Netpeak Spider, запустили его. Дальше есть выбор в зависимости от твоих задач:

  • Проверка ответа сервера на всех страницах твоего сайта;
  • Массовая проверка кодов ответа сервера по списку страниц.

2.1. Проверка ответа сервера на всех страницах сайта

В основном интерфейсе программы введи URL твоего сайта и нажми кнопку «Старт». После завершения сканирования ты увидишь все коды ответа в соответствующей колонке таблицы.

Страницы, которые ответили 4хх и 5хх кодами ответа, будут собраны в отдельный отчёт по этим ошибкам. Когда ты нажмёшь на ошибку на боковой панели, программа соберёт отчёт исключительно по таким страницам.

Читать еще:  10 лучших бирж криптовалюты

Дальше ты можешь посмотреть все страницы на твоём сайте, которые ведут на такие 4хх и 5хх страницы. Замени эти ссылки на рабочие страницы, и ты избавишься от страшного сна — битых ссылок на твоём сайте. Вызови для этого контекстное меню правой кнопкой мыши и кликни по разделу «Входящие ссылки». Дополнительно там можно:

  • перепроверить результаты;
  • открыть эти страницы в сторонних сервисах (например, Serpstat, Ahrefs, Google PageSpeed);
  • поиграться другими отчётами.

2.2. Массовая проверка кодов ответа сервера по списку страниц

Если перед тобой стоит задача массово проверить список страниц различных сайтов, рекламных кампаний или просто отдельных страниц, можешь добавить эти страницы в программу:

  • из буфера обмена;
  • из различных документов (.xlsx, .csv, .txt, .xml);
  • из файла Sitemap.

Нажми после этого «Старт», и программа начнёт сканирование этого списка URL.

Кстати, вот ещё одно удобство! Если нужно получить только код ответа, выключи все остальные параметры на боковой панели. А если нужен более информативный отчёт с определённым набором параметров — выбери нужные и запускай сканирование.

3. От сервера пришёл ответ с кодом ххх — что это значит?

Давай разберём отдельно самые популярные HTTP коды ответа, чтобы понять их назначение.

Ответ, который говорит об успешно обработанном запросе: сервер дал ответ → страница найдена → информация передана клиенту.

301 Moved Permanently

Запрашиваемый документ перемещён на другой URL-адрес навсегда.

Это код ответа сервера, который вызывает больше всего вопросов у начинающих. На самом деле ответ прост: все страницы, с которых пользователей нужно навсегда переправить на другую страницу (дубли, удалённые страницы, зеркала и всякие штучки, о которых ты не расскажешь на исповеди Google), должны отвечать этим кодом.

После краулинга таких страниц поисковые системы рано или поздно «склеят» их с целевой страницей редиректа и передадут ссылочный вес. Ну и, конечно, старайся убирать внутри сайта все ссылки на страницы, которые отдают 301 код ответа, и проставь сразу целевую страницу редиректа.

Уведомляет клиента, что страница найдена и временно расположена по другому адресу. Поисковые системы обычно не удаляют её из индекса. Ранее этот код ответа использовался во время доработок на сайте или случаев, когда товара временно нет в наличии, но страница приносит трафик, поэтому есть смысл перенаправить пользователей на страницу каталога или похожего товара. Но с появлением HTTP 1.1 на замену ему пришли 303 и 307 коды ответа.

303 See Other

Лучше всего использовать этот код ответа, когда хочешь временно направить пользователя на немного другую страницу, которая сможет ему помочь, но не удовлетворит на 100% его поисковый запрос. Доступен запрос только методом GET, что даёт вам доступ только запрашивать информацию, но не обновлять или добавлять данные ресурса.

304 Not Modified

Интересный код ответа, так как на первый взгляд является перенаправлением, но в реальности настраивается специально для ботов и даёт эффект даже лучше, чем 200 OK.

Все мы слышали про краулинговый бюджет. Так вот 304 код ответа является отличным способом помочь ботам поисковых систем не тратить время на страницы, которые не изменились с их последнего визита, а сосредоточиться на сканировании новых. Реализовывается это в связке с HTTP-заголовком If-Modified-Since.

Хочу заметить, что актуальность такого кода ответа для маленьких сайтов маленькая, но если ты будешь работать с большими сайтами, то это очень полезная фича 😉

307 Temporary Redirect

Советую использовать этот код в случае, если нужно временно перенаправить пользователя и одновременно оставить возможность отправлять запрос методом POST, так как это особенность 307 кода, которая позволяет передевать информацию на сервер. Это основное отличие между 303 и 307 редиректами.

Перейдём к кодам, которые отвечают за ошибки на стороне клиента.

401 Unauthorized

Код, который говорит о том, что пользователь ещё не прошёл аутентификацию, или данные неверны.

403 Forbidden

Доступ запрещён. Сервер получил запрос, но отказывается его выполнить из-за ограничений доступа (например, когда пользователь хочет посмотреть системные файлы или другие документы, к которым у него нет доступа).

404 Not Found

По адресу, к которому обратился клиент, ничего не найдено. Обязательно настрой этот ответ на твоём сайте для несуществующих страниц, потому что поисковики могут неправильно проиндексировать такие страницы, и ты получишь целый их список в выдаче. Кстати, все любят красивые 404е, так что не забудь добавить котиков 😉

При запросе к намеренно удалённой странице лучше возвращать 410 код, когда ты уверен, что точно не сделаешь похожую. В этом случае поисковый робот не вернётся к странице и отметит её как удаленную, после чего со временем она пропадёт из индекса.

429 Too Many Requests

Код ответа, который мы часто видим в нашем краулере. Сервер возвращает такой код, когда определяет слишком большую активность от одного пользователя за определённый промежуток времени. Если тебе нужно продолжить сканирование такого сайта, уменьши количество потоков в настройках краулера.

Уважай сервер, он почти как Google — у него очень много спрашивают, а он один.

Ну и завершим всё ошибками на стороне сервера, которые чаще всего встречаются.

500 Internal Server Error

Ошибка говорит о том, что сервер не может обработать запрос. Это любая непредвиденная для сервера ситуация, причину которой он не способен определить (она не соответствует ни одной другой пятисотой ошибке).

503 Service Unavailable

Сервер недоступен, и обработка запросов временно не осуществляется по техническим причинам. Чаще всего ты видишь такой ответ, когда сервер обслуживается или перегружен.

Подводим итоги

Напоследок давай пробежимся по всему, что уже сказано:

    Код ответа сервера — три цифры и фраза на английском языке, которые дают понять пользователю (браузеру), краулеру и поисковому роботу, как сайт отреагировал на запрос к определённой странице или документу.

  • Существует 5 классов кодов ответа, которые различаются по первой цифре:
    • 1хх — информационные;
    • 2хх — код успешной обработки запроса;
    • 3хх — перенаправление;
    • 4хх — код ошибки клиента;
    • 5хх — код ошибки сервера.
  • Проверять код ответа можно в различных сервисах, но лучше всего в Netpeak Spider, так что регистрируйся, чтобы получить 14 дней бесплатного триала =)
  • Ссылка на основную публикацию
    Adblock
    detector