Исследование культурных реалий в субтитрах сериалов было усовершенствовано путём автоматизации распаковки zip-архивов, разделения данных по сезонам и предварительного подсчёта токенов. Это позволяет оценить стоимость обработки до запуска. Для уменьшения «болтливости» модели и обрыва предложений, были добавлены методы обработки строк, обрезающие текст после точки и убирающие лишние дефисы. Длина выдачи ограничена 120 токенами, что обеспечивает лаконичность.
Выбор GPT-4o вместо более дешёвых моделей обусловлен более высоким качеством объяснений. Анализ категорий был улучшен кластеризацией, что расширило начальный список категорий. Однако это потребовало ручной обработки меток, например, стандартизации регистра и устранения дубликатов.
Для визуализации результатов была построена тепловая карта, выявившая доминирование категории "location". При этом значительная часть данных в категории "location" представляла собой базовую географическую информацию. Поэтому было решено сосредоточиться на других категориях реалий, таких как устойчивые выражения, фильмы, песни и др.
Скрипт для анализа субтитров оказался универсальным и может быть применен к фильмам, сериалам, книгам и подкастам. В результате работы было извлечено более 1000 культурных реалий из сериала "Emily in Paris". Код и результаты доступны на GitHub и в Google-таблице соответственно.
Изображение носит иллюстративный характер
Выбор GPT-4o вместо более дешёвых моделей обусловлен более высоким качеством объяснений. Анализ категорий был улучшен кластеризацией, что расширило начальный список категорий. Однако это потребовало ручной обработки меток, например, стандартизации регистра и устранения дубликатов.
Для визуализации результатов была построена тепловая карта, выявившая доминирование категории "location". При этом значительная часть данных в категории "location" представляла собой базовую географическую информацию. Поэтому было решено сосредоточиться на других категориях реалий, таких как устойчивые выражения, фильмы, песни и др.
Скрипт для анализа субтитров оказался универсальным и может быть применен к фильмам, сериалам, книгам и подкастам. В результате работы было извлечено более 1000 культурных реалий из сериала "Emily in Paris". Код и результаты доступны на GitHub и в Google-таблице соответственно.
