Мультимедийная база данных жестов русского жестового языка в трехмерном формате


2020. №1, 104-123

Ильдар Амирович Кагиров @
Дмитрий Александрович Рюмин
Александр Александрович Аксёнов
Алексей Анатольевич Карпов
Санкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, Россия;
@ kagirov@iias.spb.su

Аннотация:

Настоящая статья посвящена описанию мультимедийной базы данных (БД) “TheRuSLan” русского жестового языка (РЖЯ) и принципов ее фонетической аннотации. Особенностью заявленной БД является трехмерное (3D) представление жестов, что дает новые возможности лексикографического описания лексики и исследования особенностей артикуляции РЖЯ. Трехмерное представление жеста достигается за счет использования камеры Kinect 2.0, записывающей данные в высоком разрешении (FullHD), в режиме карты глубины и в инфракрасном диапазоне. БД представляет собой запись 164 лексических единиц и клауз в исполнении 13 информантов минимум в 5 итерациях. Общий размер файлов составляет 3,8 Тб в оригинальном формате, общая длительность видео — более 8 часов. В статье дается обзор существующих БД по РЖЯ, раскрывается содержание описываемого словаря, обрисовываются принципы лингвистической аннотации жестов и обосновывается набор признаков, используемых при аннотировании настоящей БД. Показано, что некоторые параметры жеста могут существенно варьировать от информанта к информанту, а именно: форма руки и локализация. Однако причины такой вариативности, ее масштабы и значение для описания РЖЯ являются делом дальнейших исследований.

Для цитирования:

Кагиров И. А., Рюмин Д. А., Аксенов А. А., Карпов А. А. Мультимедийная база данных жестов русского жестового языка в трехмерном формате. Вопросы языкознания, 2020, 1: 104–123.

Благодарности:

Данное исследование проводится частично в рамках Соглашения с Минобрнауки России № 075-15-2019-1295 (идентификатор проекта RFMEFI61618X0095).