Внутренние сети часто содержат чувствительные данные на общедоступных ресурсах, включая сетевые диски, веб-сайты и FTP-серверы. Для эффективного поиска информации в этих ресурсах можно создать собственный поисковый движок, используя готовые GNU-утилиты. Такой подход позволяет автоматизировать сканирование и извлечение данных из различных форматов файлов, включая текстовые документы, PDF, Excel, изображения, исполняемые файлы и архивы.
Процесс начинается с монтирования сетевых ресурсов и использования
Для более гибкого поиска можно использовать базу данных SQLite с полнотекстовым поиском. Это позволяет выполнять запросы с учетом различных параметров и выводить результаты с контекстом. Поисковый движок также может быть расширен для анализа веб-сайтов и FTP-серверов, используя
Для защиты от утечки данных, предлагается непрерывный краулинг и индексация данных, с последующей загрузкой в Elasticsearch или OpenSearch. Это позволяет отслеживать изменения и уведомлять о появлении новых потенциально опасных файлов. Система легко масштабируется горизонтально (запуск нескольких краулеров) и вертикально (добавление новых парсеров) и разворачивается с помощью Docker, что делает ее доступной для быстрого внедрения.
Изображение носит иллюстративный характер
Процесс начинается с монтирования сетевых ресурсов и использования
find для определения путей к файлам. Затем утилита file определяет тип файла, а соответствующие парсеры (например, lynx, xls2csv, pdf2txt, radare2, tesseract, vosk, 7z) извлекают текстовое содержимое. Для индексации данных используется CSV-формат, который подходит для машинной обработки и для поиска через grep. Для более гибкого поиска можно использовать базу данных SQLite с полнотекстовым поиском. Это позволяет выполнять запросы с учетом различных параметров и выводить результаты с контекстом. Поисковый движок также может быть расширен для анализа веб-сайтов и FTP-серверов, используя
wget. Для защиты от утечки данных, предлагается непрерывный краулинг и индексация данных, с последующей загрузкой в Elasticsearch или OpenSearch. Это позволяет отслеживать изменения и уведомлять о появлении новых потенциально опасных файлов. Система легко масштабируется горизонтально (запуск нескольких краулеров) и вертикально (добавление новых парсеров) и разворачивается с помощью Docker, что делает ее доступной для быстрого внедрения.
