О методах компьютерной лингвистики в оценке систем искусственного интеллекта

В статье рассматриваются актуальные исследования в области прикладной лингвистики, посвященные оценке систем искусственного интеллекта (ИИ). В качестве основного инструмента для оценки уровня интеллектуальности систем выступают языковые тесты. Они являются самым доступным способом обучения систем ИИ и одновременно обладают высокой вариативностью, необходимой для формулировки интеллектуальных задач. Приводится обзор актуальной методологии обучения и тестирования интеллектуальных систем, рассматриваются золотые стандарты текстовых задач (бенчмарки) в методологии General Language Understanding Evaluation (GLUE). Обсуждаются теоретические основы и конкретные реализации теста для ИИ-систем «Russian SuperGLUE». Дальнейшее сближение практик машинного обучения и науки о языке способно заполнить лакуны как в оценке ИИ-систем, так и в методах их эффективного обучения.