Раздел в стадии наполнения. Готовятся описания всех решений.
Документация модуля "SenDev: 152-ФЗ Персональные данные" обновлена до версии 1.1.16. Идут работы по обновлению визуальных материалов
Проверка ссылок

Проверка страницы по URL в модуле SenDev: Инозапрет 168-ФЗ

Страница «Проверка страницы по URL (168-ФЗ)» предназначена для быстрой проверки содержимого отдельной веб-страницы по её адресу.

Она удобна в тех случаях, когда нужно проверить конкретную страницу без запуска полного сканирования сайта. Например, это может быть опубликованная страница, внешняя страница для анализа или материал, который нужно быстро перепроверить после изменений.

На этой странице можно:

  • указать адрес страницы;
  • загрузить и проверить её текстовое содержимое;
  • увидеть найденные совпадения;
  • просмотреть контекст обнаруженных слов;
  • получить краткий отчёт по проверке;
  • выгрузить результаты в файл.

[Скриншот 1: Поле URL и параметры ручной проверки страницы]

Когда использовать страницу

Страница особенно полезна в следующих случаях:

  • когда нужно быстро проверить одну конкретную страницу;
  • при повторной проверке уже опубликованного материала;
  • при анализе страницы после внесения правок;
  • когда не требуется запускать сканирование всего сайта;
  • когда нужно сохранить результаты проверки в отдельный файл.

Что находится на странице

Страница состоит из нескольких основных блоков:

  • информация о параметрах словарей;
  • поле для ввода адреса страницы;
  • кнопки управления;
  • отчёт по проверке;
  • таблица найденных совпадений;
  • кнопки экспорта результатов.

Параметры словаря

В верхней части страницы отображается краткая справочная информация о словарях, которые используются при проверке.

Обычно здесь можно увидеть:

Хранилище

Показывает, откуда модуль берёт словари для проверки.

Набор используемых словарей

Показывает, какие словари участвуют в анализе.

Каталог словарей

Показывает расположение словарей, которые использует модуль.

Для конечного пользователя этот блок нужен прежде всего для контроля того, что проверка выполняется с актуальными словарями.

Поле «URL страницы»

Основной рабочий элемент страницы — поле, в которое вводится адрес проверяемой страницы.

Проверка выполняется по адресу страницы, начиная с загрузки её содержимого. После этого модуль извлекает текст и анализирует его по выбранным словарям.

Проверка без белого списка

Под полем ввода расположен параметр «Не использовать белый список при проверке».

Если он включён, модуль будет искать совпадения без учёта исключений из белого списка. Это позволяет увидеть более строгий результат только по словарям.

Такой режим полезен, когда нужно:

  • выполнить дополнительную проверку без исключений;
  • понять, какие слова были бы найдены без белого списка;
  • перепроверить спорную страницу максимально строго.

Кнопки управления

На странице доступны несколько кнопок.

Проверить URL

Запускает загрузку и анализ страницы.

Вставить пример

Автоматически подставляет пример адреса страницы.

Это удобно для знакомства с функцией или для демонстрационной проверки.

Очистить

Удаляет адрес из поля ввода.

Как работает проверка

После запуска модуль выполняет несколько шагов:

  1. обращается по указанному адресу;
  2. получает содержимое страницы;
  3. извлекает из страницы текст;
  4. исключает служебные элементы страницы;
  5. анализирует текст по словарям;
  6. показывает результаты проверки.

Для пользователя важно понимать, что проверяется именно текст, который удалось получить со страницы.

Отчёт по проверке

После успешной проверки на странице появляется блок «Отчёт».

В нём могут отображаться:

Исходный URL

Адрес, который был указан для проверки.

Итоговый URL

Фактический адрес страницы после возможных переходов.

Состояние ответа

Служебная информация о результате загрузки страницы.

Тип содержимого

Справочная информация о загруженной странице.

Объём полученных данных

Показывает, сколько данных было получено при загрузке.

Количество переходов

Показывает, были ли переходы на другой адрес перед открытием конечной страницы.

Заголовок страницы

Название страницы, если его удалось определить.

Способ извлечения текста

Служебная информация о том, как именно был получен текст страницы.

Длина текста

Количество текста, которое было извлечено для анализа.

Для конечного пользователя этот блок полезен тем, что помогает понять, корректно ли была загружена и обработана страница.

Результаты проверки

После выполнения проверки на странице выводится итоговое сообщение:

  • нарушений не найдено;
  • либо найдено определённое количество потенциальных нарушений.

Если совпадения найдены, ниже отображается таблица результатов.

Таблица результатов

В таблице показываются найденные совпадения на странице.

Для каждой записи обычно выводятся:

Слово

Найденное слово или выражение.

Тип

Категория найденного совпадения.

Контекст

Фрагмент текста страницы, в котором найдено слово.

Найденное слово в контексте визуально выделяется, чтобы его было проще заметить и оценить.

Экспорт результатов

Если после проверки найдены совпадения, на странице становятся доступны кнопки экспорта результатов.

[Скриншот 2: Отчёт о загрузке страницы и извлечённом тексте]

Поддерживаются форматы:

  • XLSX;
  • CSV.

Экспорт удобно использовать, когда нужно:

  • сохранить результаты проверки;
  • передать их коллегам;
  • использовать в дальнейшей работе;
  • приложить к внутреннему отчёту.

Какие адреса можно проверять

Поле принимает адреса с протоколом http:// или https://. Проверка рассчитана на обычные публичные веб-страницы. Служебные и локальные адреса блокируются, а нестандартные порты не используются — разрешены стандартные порты 80 и 443.

Если страница перенаправляет посетителя на другой адрес, модуль следует по перенаправлениям и показывает в отчёте как исходный, так и итоговый URL. За один запрос обрабатывается ограниченная цепочка перенаправлений; при слишком длинной цепочке проверка прекращается с сообщением об ошибке.

Какой контент загружается

Раздел предназначен для HTML, обычного текста и XHTML. Файлы, изображения и другие нетекстовые ответы по URL здесь не проверяются — для документов используйте «Проверку файлов».

Размер исходного ответа ограничен примерно 2 МБ, а после выделения содержимого анализируется до 200 000 символов текста. Для обычной страницы этого достаточно; на очень больших страницах в проверку может попасть только начальная часть извлечённого текста.

Модуль удаляет скрипты, стили и служебную разметку и старается выделить содержательную часть страницы. JavaScript при этом не исполняется. Если текст появляется только после выполнения сценариев в браузере, такой динамический фрагмент может отсутствовать в результате.

Что показывает отчёт

  • адрес, который ввёл пользователь;
  • итоговый адрес после перенаправлений;
  • HTTP-статус;
  • тип полученного содержимого;
  • объём ответа и количество перенаправлений;
  • заголовок страницы;
  • способ выделения текста и его длину.

Эти сведения помогают отличить «совпадений нет» от ситуации, когда была загружена не та страница, сервер вернул ошибку или на странице почти нет доступного текстового содержимого.

Экспорт результата

Если совпадения найдены, отчёт можно выгрузить в CSV или XLSX. CSV доступен как базовый вариант. Для формирования XLSX на сервере должна быть доступна библиотека электронных таблиц; если её нет, используйте CSV.

Экспорт содержит сведения о проверенном адресе и найденные слова с контекстом. Он удобен для передачи результатов редактору без доступа к административной части.

Ручная проверка не пополняет журнал

Проверка URL выполняется отдельно от массового сканирования: найденные записи не добавляются автоматически в «Нарушения» и «Историю сканирований». Если нужна регулярная фиксация результатов сайта, используйте сканирование. URL-проверка предназначена для разовой перепроверки конкретной опубликованной страницы.

Как работать со страницей

Рекомендуемый порядок работы:

  1. Откройте страницу «Проверка страницы по URL (168-ФЗ)».
  2. Введите адрес страницы в поле «URL страницы».
  3. При необходимости включите параметр «Не использовать белый список при проверке».
  4. Нажмите «Проверить URL».
  5. Просмотрите сообщение с итогом проверки.
  6. Изучите блок «Отчёт», чтобы убедиться, что страница была корректно обработана.
  7. Если найдены совпадения, просмотрите таблицу результатов и контекст.
  8. При необходимости выгрузите результаты в XLSX или CSV.

Когда эта страница удобнее общего сканирования

Страница «Проверка страницы по URL (168-ФЗ)» удобнее полного сканирования, когда нужно проверить:

  • одну опубликованную страницу;
  • внешний адрес;
  • страницу после точечных правок;
  • материал, который ещё не требует анализа всего сайта.

Для такой задачи это быстрее и удобнее, чем запуск полной проверки.

Что важно учитывать

  • Проверка выполняется только для корректного адреса страницы.
  • Если страница недоступна, модуль покажет сообщение об ошибке.
  • Если содержимое страницы не удалось преобразовать в текст, проверка не даст результата.
  • Динамически формируемый контент может определяться не полностью.
  • Проверка без белого списка показывает более строгий результат.
  • Найденные совпадения всегда нужно оценивать с учётом контекста.

[Скриншот 3: Результаты проверки и кнопки экспорта отчёта]

Итог

Страница «Проверка страницы по URL (168-ФЗ)» используется для быстрой проверки отдельной страницы по её адресу. Она позволяет загрузить страницу, извлечь из неё текст, проверить его по словарям модуля, просмотреть подробный отчёт и при необходимости выгрузить результаты проверки.