Защита персональных данных требует эффективных методов маскировки, для чего применяется NER (Named Entity Recognition). Различные модели показывают разные результаты по выявлению и маскировке таких данных. Так, Slavic Bert, адаптированный для славянских языков, достигает Recall 76,4% без дополнительного обучения, что недостаточно для надежной защиты. GLiNER, основанная на двунаправленных языковых моделях, показала значительно лучший результат в 94,9% без дообучения, что делает ее более экономичным и производительным решением.
Spacy, популярная библиотека для обработки естественного языка, показала результат 95,4%. Ее эффективность была достигнута путем комбинирования ручной разметки, обучения на ее основе модели, автоматической разметки новых данных, проверки экспертами и затем дообучения модели на синтетическом датасете с типовыми паттернами. Также в тестировании принимала участие Qwen2.5-Coder-7B-Instruct-AWQ, которая показала Recall 87,4%.
Для дальнейшего улучшения результатов были опробованы комбинации моделей. Сочетание GLiNER и Qwen показало наивысший результат в 98,6% Recall. Однако, комбинация Spacy и GLiNER с результатом 98,5% также является крайне эффективной и при этом менее требовательной к ресурсам.
Таким образом, комбинация моделей Spacy и GLiNER предоставляет оптимальное соотношение качества и ресурсоемкости для маскировки персональных данных. Уточняется, что модели могут корректно распознавать смешанный русско-английский текст.
Изображение носит иллюстративный характер
Spacy, популярная библиотека для обработки естественного языка, показала результат 95,4%. Ее эффективность была достигнута путем комбинирования ручной разметки, обучения на ее основе модели, автоматической разметки новых данных, проверки экспертами и затем дообучения модели на синтетическом датасете с типовыми паттернами. Также в тестировании принимала участие Qwen2.5-Coder-7B-Instruct-AWQ, которая показала Recall 87,4%.
Для дальнейшего улучшения результатов были опробованы комбинации моделей. Сочетание GLiNER и Qwen показало наивысший результат в 98,6% Recall. Однако, комбинация Spacy и GLiNER с результатом 98,5% также является крайне эффективной и при этом менее требовательной к ресурсам.
Таким образом, комбинация моделей Spacy и GLiNER предоставляет оптимальное соотношение качества и ресурсоемкости для маскировки персональных данных. Уточняется, что модели могут корректно распознавать смешанный русско-английский текст.
