Сканирование сайта в модуле SenDev: Инозапрет 168-ФЗ

Страница «Сканирование контента (168-ФЗ)» предназначена для запуска проверки материалов сайта на наличие слов и выражений, которые модуль считает нарушениями.

С её помощью можно:

запустить полную проверку сайта;
проверить только выбранный раздел;
проверить отдельную папку или файл по пути сайта;
наблюдать за ходом сканирования;
видеть нарушения, которые добавляются в процессе проверки;
перейти к итоговому списку найденных нарушений.

[Скриншот 1: Выбор области сканирования и текущие настройки]

Что находится на странице

Страница состоит из нескольких основных блоков.

Область сканирования

В верхней части страницы пользователь выбирает, какую часть сайта нужно проверить.

Доступны следующие варианты:

Весь сайт — запускает полную проверку всего доступного содержимого;
Раздел инфоблока — позволяет проверить только выбранный раздел;
Отдельная папка/страница — позволяет указать конкретный путь для проверки.

Такой выбор помогает запускать как полную проверку, так и точечный анализ только нужной области.

Информация о текущих настройках

Ниже отображается краткая сводка по текущим настройкам проверки. В этом блоке можно увидеть:

какое хранилище словарей используется;
где расположены словари;
включена ли проверка инфоблоков;
включена ли проверка статических файлов;
включена ли проверка highload-блоков.

Этот блок нужен для того, чтобы перед запуском сразу понимать, какие источники будут участвовать в проверке.

Если проверка highload-блоков включена, она используется только при сканировании в режиме «Весь сайт».

Запуск и остановка сканирования

Для начала проверки используется кнопка «Запустить сканирование».

После запуска на странице становится доступна кнопка «Остановить», с помощью которой можно прервать текущую проверку.

Это удобно, если сканирование было запущено по ошибке или нужно изменить область проверки.

Прогресс сканирования

Во время работы модуль показывает ход выполнения проверки.

В блоке прогресса отображаются:

процент выполнения;
количество уже обработанных элементов;
общее количество элементов в проверке;
количество найденных нарушений;
количество добавленных нарушений;
количество пропущенных записей.

Благодаря этому пользователь может следить за ходом проверки в реальном времени и понимать, насколько она близка к завершению.

Добавленные нарушения

Во время сканирования на странице может отображаться таблица с нарушениями, которые были добавлены в процессе текущей проверки.

Для каждой записи обычно выводится:

слово;
тип нарушения;
источник;
контекст, в котором найдено слово.

Этот блок помогает сразу видеть первые результаты, не дожидаясь полного завершения проверки.

Переход к результатам

После завершения проверки на странице появляется ссылка «Перейти к нарушениям».

Она открывает список нарушений, найденных в рамках последнего сканирования. Это позволяет сразу перейти от процесса проверки к анализу результатов.

Параметр «Не использовать белый список»

В нижней части страницы находится дополнительный параметр «Не использовать белый список».

Если он включён, при проверке модуль не будет учитывать исключения из белого списка. В этом случае все слова будут проверяться только по словарям.

Этот режим полезен, когда нужно выполнить более строгую проверку и посмотреть полный набор потенциальных совпадений без учёта ранее добавленных исключений.

Что именно проверяется в каждом режиме

Весь сайт

Это наиболее полный режим. В зависимости от настроек он проверяет активные элементы и разделы инфоблоков, статические файлы и highload-блоки. Проверка highload-блоков применяется именно при полном сканировании.

Для статических файлов учитываются заданные расширения, максимальная глубина обхода, ограничение количества файлов и список исключаемых путей. Поэтому «Весь сайт» не означает безусловное чтение каждого файла на сервере — область задаётся настройками модуля.

Раздел инфоблока

Режим предназначен для точечной проверки выбранного раздела и его подразделов. Проверяются относящиеся к этой ветке элементы и разделы инфоблока. Статические файлы и highload-блоки в этот режим не входят.

Используйте его после обновления каталога, новостей, статей или другого контента в конкретной ветке инфоблока, когда нет необходимости повторно обходить весь сайт.

Отдельная папка/страница

Здесь указывается путь внутри сайта, например /company/ или путь к конкретному файлу. Для папки модуль формирует список файлов с учётом настроенных расширений, глубины и максимального количества файлов. При указании конкретного файла проверяется этот файл.

Это именно проверка файла или папки в структуре сайта, а не загрузка веб-страницы по интернет-адресу. Если нужно проверить содержимое по адресу https://..., используйте раздел «Проверка ссылок».

Как понимать счётчики

Обработано / всего — сколько объектов уже прошло текущий запуск.
Найдено — сколько потенциальных совпадений обнаружено в обрабатываемом контенте.
Добавлено — сколько новых записей внесено в список нарушений.
Пропущено — совпадения, для которых новая запись не потребовалась, например уже известные повторы.

Поэтому значения «Найдено» и «Добавлено» могут отличаться — это нормальная ситуация.

Белый список при сканировании

Обычно белый список применяется автоматически: согласованные бренды, технические термины и пользовательские исключения не попадают в результат. Параметр «Не использовать белый список» временно отключает эти исключения только для запускаемой проверки.

Этот режим полезен для контрольного просмотра: можно увидеть, какие слова были бы найдены без исключений, и проверить, не стал ли белый список слишком широким. Для регулярного рабочего сканирования обычно оставляют белый список включённым.

После завершения

Откройте список нарушений из ссылки результата или через меню модуля. При повторном полном сканировании модуль актуализирует состояние ранее найденных записей: совпадения, которые больше не обнаруживаются, перестают оставаться в текущем рабочем наборе. Поэтому после массовых исправлений полезно выполнить контрольный запуск.

[Скриншот 2: Ход сканирования со счётчиками прогресса]

Как работать со страницей

Рекомендуемый порядок работы:

Откройте страницу «Сканирование контента (168-ФЗ)».
Выберите область сканирования:
- Весь сайт — для полной проверки;
- Раздел инфоблока — для проверки конкретного раздела;
- Отдельная папка/страница — для проверки по указанному пути.
При необходимости включите параметр «Не использовать белый список».
Нажмите «Запустить сканирование».
Следите за индикатором прогресса и промежуточными результатами.
После завершения нажмите «Перейти к нарушениям» для просмотра найденных записей.

Когда использовать разные режимы

Весь сайт

Используйте этот вариант, когда нужно:

выполнить полную проверку после установки или обновления модуля;
провести регулярную общую проверку сайта;
получить максимально полную картину по нарушениям.

Раздел инфоблока

Используйте этот вариант, когда нужно:

проверить конкретный раздел после редактирования контента;
запустить проверку только для определённой части каталога или структуры сайта;
не тратить время на полное сканирование всего сайта.

Отдельная папка или страница

Используйте этот вариант, когда нужно:

проверить точечный путь;
быстро перепроверить конкретную страницу;
убедиться, что после правок проблема устранена.

Что важно учитывать

Если на странице недоступен запуск сканирования, это означает, что модуль не готов к выполнению проверки.
Если в процессе найдено много совпадений, таблица добавленных нарушений поможет быстро увидеть первые результаты.
Если нужно проверить контент без учёта исключений, включите параметр «Не использовать белый список».
После завершения сканирования рекомендуется сразу переходить к списку нарушений для дальнейшего анализа и обработки.

[Скриншот 3: Завершённое сканирование и переход к найденным нарушениям]

Итог

Страница «Сканирование контента (168-ФЗ)» используется для запуска и контроля проверки содержимого сайта. Она позволяет выбрать область сканирования, следить за ходом проверки, видеть промежуточные результаты и сразу переходить к найденным нарушениям.