МЕТОДЫ СНИЖЕНИЯ ОБЪЁМА ЭКСПЕРТНОЙ ВЕРИФИКАЦИИ ПРИ ПОСТРОЕНИИ ЭТАЛОННЫХ КОРПУСОВ АНАЛИТИЧЕСКИЙ ОБЗОР

Abstract

Аннотация.  Формирование  эталонной  (gold-standard)  разметки  корпусов  знаний 
остаётся самым дорогим этапом создания интеллектуальных систем, поскольку каждое решение 
должно  быть  подтверждено  экспертом  предметной  области.  В  статье  систематизированы 
методы, позволяющие сократить объём экспертного подтверждения: активное обучение, слабая 
(программная) разметка, предразметка моделью с выборочной верификацией, краудсорсинг с 
вероятностной  агрегацией  и  использование  больших  языковых  моделей  (LLM)  в  роли 
разметчиков. Для каждого класса методов определены механизм экономии, типичные метрики 
эффективности  и  точки,  в  которых  теряется  качество  эталона.  Показано,  что  существующие 
подходы  оптимизируют  либо  стоимость,  либо  качество  обучаемой  модели,  но  редко  дают 
гарантию  качества  самого  эталона  при  заданном  бюджете  экспертных  проверок. 
Сформулированы  открытые  задачи,  в  том  числе  для  малоресурсных  языков,  к  которым 
относится узбекский.