Везде
Мультимедийная база данных жестов русского жестового языка в трехмерном формате
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Мультимедийная база данных жестов русского жестового языка в трехмерном формате
Аннотация
Код статьи
S0373658X0008302-1-1
DOI
10.31857/S0373658X0008302-1
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Кагиров Ильдар Амирович 
Аффилиация: Санкт-Петербургский институт информатики и автоматизации РАН
Адрес: Российская Федерация, Санкт-Петербург
Рюмин Дмитрий Александрович
Аффилиация: Санкт-Петербургский институт информатики и автоматизации РАН
Адрес: Российская Федерация, Санкт-Петербург
Аксёнов Александр Александрович
Аффилиация: Санкт-Петербургский институт информатики и автоматизации РАН
Адрес: Российская Федерация, Санкт-Петербург
Карпов Алексей Анатольевич
Аффилиация: Санкт-Петербургский институт информатики и автоматизации РАН
Адрес: Российская Федерация, Санкт-Петербург
Выпуск
Номер 1
Страницы
104-123
Аннотация

Настоящая статья посвящена описанию мультимедийной базы данных (БД) “TheRuSLan” русского жестового языка (РЖЯ) и принципов ее фонетической аннотации. Особенностью заявленной БД является трехмерное (3D) представление жестов, что дает новые возможности лексикографического описания лексики и исследования особенностей артикуляции РЖЯ. Трехмерное представление жеста достигается за счет использования камеры Kinect 2.0, записывающей данные в высоком разрешении (FullHD), в режиме карты глубины и в инфракрасном диапазоне. БД представляет собой запись 164 лексических единиц и клауз в исполнении 13 информантов минимум в 5 итерациях. Общий размер файлов составляет 3,8 Тб в оригинальном формате, общая длительность видео — более 8 часов. В статье дается обзор существующих БД по РЖЯ, раскрывается содержание описываемого словаря, обрисовываются принципы лингвистической аннотации жестов и обосновывается набор признаков, используемых при аннотировании настоящей БД. Показано, что некоторые параметры жеста могут существенно варьировать от информанта к информанту, а именно: форма руки и локализация. Однако причины такой вариативности, ее масштабы и значение для описания РЖЯ являются делом дальнейших исследований.

Ключевые слова
базы данных, жестовые языки, компьютерная лингвистика, русский жестовый язык
Источник финансирования
Данное исследование проводится частично в рамках Соглашения с Минобрнауки России № 075-15-2019-1295 (идентификатор проекта RFMEFI61618X0095).
Классификатор
Дата публикации
02.03.2020
Всего подписок
35
Всего просмотров
705
Оценка читателей
0.0 (0 голосов)
Цитировать   Скачать pdf
1

Введение
2 С 2018 г. в лаборатории речевых и многомодальных интерфейсов СПИИРАН ведутся междисциплинарные исследования по созданию многомодального человеко-машинного интерфейса, поддерживающего распознавание как звучащего русского языка1, так и жестового языка. Предполагается, что подобным пользовательским интерфейсом можно будет оснастить роботизированные тележки2 для супермаркетов и продуктовых магазинов, и именно это обстоятельство определяет предметную область словаря подобной робоплатформы. Настоящая статья посвящена описанию электронной лексической базы данных3 русского жестового языка (РЖЯ) по теме «продукты питания», составляющей ядро жестового интерфейса роботизированной тележки; также предложены принципы для ее фонологической аннотации. База данных называется TheRuSLan (Thesaurus Russian Sign Language). Следует подчеркнуть, что работа по созданию базы данных, сбору материала, а также по разработке специального программного обеспечения для внедрения в жестовый пользовательский интерфейс еще не завершена. Тем не менее авторы исследования полагают, что получившаяся база данных уже сейчас может представлять определенный интерес с точки зрения компьютерной лингвистики и лингвистики жестовых языков и использоваться для решения ряда прикладных и теоретических задач, таких как исследования аллофонического варьирования или машинного распознавания РЖЯ.
1. В данной работе речь пойдет исключительно о данных, с которыми работает модуль жестового языка; с принципами распознавания русской речи, применяемыми для создания интерфейса, можно ознакомиться, например, в наших работах [Кипяткова, Карпов 2017; Karpov et. al. 2014], принципы обработки и распознавания изображений описаны в [Ryumin et al. 2019].

2. Имеется в виду роботизированная платформа (тележка для покупок), которая могла бы по запросу пользователя провести его в нужный отдел, следовать за ним и дать справку по ассортименту товаров магазина, см. [Кагиров 2018].

3. Авторы статьи хотели бы искренне поблагодарить сотрудников и студентов Межрегионального центра реабилитации лиц с проблемами слуха города Павловска, любезно согласившихся принять участие в записи БД. Также авторы отдельно выражают свою признательность Кристине Моисеенковой, Валентине Тупикиной и Елене Голубевой за проделанную организационную работу и помощь во время сессий. Все фотоматериалы публикуются с согласия информантов.
3 Статья построена следующим образом: во введении приводятся сведения о РЖЯ и дается краткий обзор лингвистических работ по соответствующей тематике. В следующем разделе перечислены основные базы данных по РЖЯ, существующие на сегодня. Далее описывается база данных, являющаяся предметом настоящей статьи: излагаются сведения об информантах, лексике, принцип ее отбора для словника, а также раскрываются технические характеристики БД: формат и способ записи, показан интерфейс пользователя и режимы съемки (в том числе и 3D). Заключительный раздел статьи посвящен фонологической разметке жестов, вошедших в БД: общим принципам фонологического уровня аннотации жестовых языков, особенностям артикуляции4 записанной лексики РЖЯ и признакам, на основе которых была проведена аннотация представленного материала.
4. Термин «артикуляция» по отношению к мануальным жестам в настоящей статье употребляется вслед за [Sandler 2012]; следует помнить, что в контексте изучения жестовых языков также выделяют артикуляцию как «движения рта, напоминающие произношение слова или его части, при произведении мануальных жестов» [Bauer 2018: 35]. Далее термин «артикуляция» используется исключительно в первом значении.
4 Русский жестовый язык (РЖЯ) — это язык общения глухих и слабослышащих на территории Российской Федерации и ряда стран — бывших советских республик. Согласно данным международного каталога Ethnologue (www.ethnologue.com), число носителей РЖЯ на 2010 г. составляло 122 тыс. человек, при этом 99 % из них проживает на территории РФ [RSL; Карпов 2011]. По некоторым данным, число людей, пользующихся РЖЯ, достигает двух миллионов [Воскресенский 2002]. В 2012 г. РЖЯ был признан языком общения в РФ «при наличии нарушений слуха и (или) речи, в том числе в сферах устного использования государственного языка Российской Федерации» [Правовые основы 2016: 43]. Следует различать жестовый язык как самостоятельную систему коммуникации и спонтанную жестикуляцию, сопровождающую устные коммуникативные акты [Федорова 2018].
5 Научных работ по диалектной вариативности РЖЯ немного. Практически всеми исследователями отмечается, что существуют определенные различия фонологического (т. е. касающегося особенностей жестикуляции) и лексического характера между идиомами РЖЯ, что, в принципе, позволяет предполагать наличие диалектов. Однако в [Буркова, Варинова 2012] показано, что реальный уровень лексических различий в территориальных разновидностях РЖЯ значительно ниже, чем принято полагать. Исследований же по грамматическим различиям в диалектах РЖЯ практически не существует. В качестве исключения можно назвать работу [Kimmelman 2009], в которой, в частности, затрагиваются вопросы вариативности возвратных местоимений в диалектах РЖЯ.
6 Помимо РЖЯ, выделяется еще так называемая «калькирующая жестовая речь» (КЖР) [Зайцева 2000], принципиально отличная от естественной системы жестового общения — РЖЯ. КЖР копирует линейные структуры русского языка, являясь, по сути, жестовыми субтитрами звучащей речи. «Калькирующая жестовая речь — вторичная знаковая система, которая усваивается в процессе изучения глухим ребенком словесной речи. Жесты здесь являются эквивалентами слов, а порядок их следования такой же, как в обычном предложении» [Там же: 14]. Именно КЖР используется для официального перевода звучащего русского языка, при обучении глухих и слабослышащих, и большинство носителей РЖЯ рассматривает эту форму жестового общения как престижную [Grenoble 1992], однако редко пользуются ей в повседневном общении в чистом виде.
7 Дактильная азбука является жестовым представлением букв русского алфавита и используется во вспомогательных целях: для передачи имен собственных, служебных слов, для уточнения, а также в том случае, если не существует общепринятого жеста для какого-либо понятия [Зайцева 2000; Карпов 2013].
8 Несмотря на вторичность калькирующей речи и дактильной азбуки, обе системы в той или иной степени присутствуют при общении на РЖЯ. Пропорции каждой из трех систем определяются множеством факторов: степенью образованности коммуникантов, коммуникативной ситуацией и т. п.
9 Собственно РЖЯ, несмотря на наличие большого количества коррелятов в сфере лексики [Зайцева 2000: 33 и сл.], принципиально отличен от КЖР (и, разумеется, от звучащего русского языка) в сфере грамматики. Одной из особенностей РЖЯ — как, впрочем, и других жестовых языков — является использование пространственных и визуальных средств, недоступных звучащим языкам. С основными особенностями грамматики РЖЯ можно ознакомиться, например, в работах [Зайцева 2000; Давиденко, Комарова 2006; Киммельман 2010; Львовская 2006; Прозорова 2007; Шамаро 2006; Буркова 2012–2015; Kimmelman 2014; Заварицкий 2015: 8–34]. Утверждение о том, что РЖЯ остается малоисследованным языком (в отличие от других жестовых языков, в первую очередь, американского жестового языка), не будет большим преувеличением: несмотря на то что в последнее время наметился определенный интерес как к изучению РЖЯ [Федорова 2012], так и к системам автоматического перевода с РЖЯ [Мануева и др. 2014; Karpov et al. 2016; Сысоев, Гриф 2018], в целом работ по РЖЯ пока что недостаточно.
10

1. Обзор существующих электронных баз данных РЖЯ
11 Как было замечено выше, описание РЖЯ по-прежнему находится на начальной стадии. То же утверждение окажется справедливым и в отношении корпусов и баз данных по РЖЯ. В то время как материал по другим жестовым языкам находится в сфере пристального внимания корпусной лингвистики (см., например, материалы проекта [SLCN]), то едва ли не единственным полноценным корпусом РЖЯ является «Корпус русского жестового языка», созданный Новосибирским государственным техническим университетом (НГТУ) [КРЖЯ]. Корпус содержит свыше 230 текстов от 43 носителей РЖЯ, аннотирован в среде ELAN [Language Archive] и снабжен фильтрами по поиску метаданных. В целом этот корпус представляет собой эффективный инструмент для изучения РЖЯ. Стоит отметить, однако, что бóльшая часть информантов, принявших участие в записи корпуса, является выходцами из Новосибирска и Москвы, что ставит под вопрос применимость этого корпуса для исследований, например, петербургских идиом. На рис. 1 представлен графический пользовательский интерфейс корпуса НГТУ, демонстрирующий разметку, перевод и видеоданные.
12 Кроме корпуса НГТУ, существуют и другие электронные базы данных РЖЯ, например:
  1. «Толковый словарь русского жестового языка — RuSLED». Представляет собой интерактивную оболочку к видеословарю РЖЯ, записанному в 2002 г. в Межрегиональном центре реабилитации лиц с проблемами слуха (МЦР) города Павловска [Воскресенский и др. 2009] (на рис. 2 приведен пример графического интерфейса этого словаря);
  2. видеословарь «Тематический словарь русского жестового языка», созданный на основе словаря [Фрадкина 2001];
  3. электронная обучающая система «Русский жестовый язык. Базовый курс» [РЖЯБК 2001];
  4. интерактивный видеословарь «DigitGestus», созданный в 1996–1997 гг. (Новосибирск) [Digitgestus];
  5. интерактивный видеословарь жестового языка европейского проекта Spreadthesign («Распространим жест») [Spreadthesign];
  6. интерактивный видеословарь проекта «Сурдосервер 2.0» [Сурдосервер], представляющий собой расширенную версию словаря RuSLED.
13

Рис. 1. Пример пользовательского интерфейса корпуса РЖЯ, демонстрирующий аннотацию и перевод [КРЖЯ]
14 Все вышеперечисленные БД (кроме Корпуса РЖЯ от НГТУ) представляют собой видеословари и/или учебники, в которых лексика сгруппирована по темам. Во всех случаях реализована возможность поиска, однако разметка как таковая отсутствует. Использование любого из этих пособий (равно как и Корпуса НГТУ) для автоматического распознавания жеста требует предварительной работы по обработке и аннотации данных.
15

Рис. 2. Пример графического интерфейса словаря RuSLED [Воскресенский и др. 2009]
16

2. Собранная база данных РЖЯ по теме «продукты»
17

2.1. Лексический состав базы данных РЖЯ
18 Представленная в данной статье БД пока не является полноценным корпусом. Под корпусом текстов в современной лингвистике понимается «большой, представленный в электронном виде, унифицированный, структурированный, размеченный, филологически компетентный массив языковых данных, предназначенный для решения конкретных лингвистических задач» [Захаров 2005: 3]. Кроме того, сам термин «корпус текстов» подразумевает, что основной единицей БД является текст, а не лексема. Именно поэтому — ввиду отсутствия грамматической и лексической разметки, протяженных текстов и большого объема — корректным наименованием заявленного массива языковых данных в том виде, в котором он существует сейчас, будет «мультимедийная лексическая база данных», а не «корпус».
19 На настоящий момент БД представляет собой запись 164 лексических единиц и клауз в исполнении 13 информантов минимум в пяти итерациях. Общий размер файлов составляет 3,8 Тб в оригинальном формате, общая длительность видео — более 8 часов. Многократное повторение каждого стимула необходимо для обучения статистических моделей, способных к распознаванию жестов; в то же время многократное воспроизведение жестов создает благоприятные условия для анализа вариативности и разработки принципов аннотирования жестов. 10 информантов являются студентами МЦР (двое мужчин и девять женщин), их средний возраст составляет 20 лет, еще трое информантов — преподаватели МЦР от 30 до 40 лет. Все студенты являются глухими или слабослышащими. Поскольку практически все дикторы5 — выходцы из разных регионов России, во время «пилотных» записей предсказуемо наблюдалась определенная вариативность в показе жестов: «…сегодня некоторые жесты в одной школе-интернате, где дети проводят большую часть времени, могут отличаться от жестов в другой, так как ученики одной школы гораздо чаще и более тесно общаются внутри данной группы. Похожая ситуация складывается и в специализированных высших учебных заведениях для глухих. Таким образом, из десятков близких регионов в одно учебное заведение съезжаются подростки, которые используют “школьные” и “семейные” жесты» [Филимонова, Душкина 2018: 11]. В связи с этим все переводы были предварительно стандартизированы специалистами из МЦР с опорой на словарь [Гейльман 2004]. Применение этого издания показалось авторам статьи удобным потому, что включенная в него лексика понятна большинству образованных носителей РЖЯ. Все жесты сопровождаются устной артикуляцией («проговариваются»), однако запись аудиоданных не велась.
5. В англоязычной литературе используется термин «signer», для которого нет устоявшегося перевода на русский язык; в настоящей статье выбран термин «диктор».
20 Основная тематика лексики БД, как отмечалось выше, посвящена продуктам питания в супермаркете и может быть разбита на разделы «продукты», «отделы», «перемещение в пространстве», «поиск товара в магазине». Первичный список формировался экспортом текстовых файлов из меню навигации интернет-сайтов ряда крупных гипермаркетов Санкт-Петербурга. Формирование конечного словника проводилось путем отсеивания единиц, содержащих конкретные наименования (фирменное название продукта, производитель, состав). Кроме того, в конечный список не вошли товары, не пользующиеся, по личным ощущениям авторов данной работы, большой популярностью у потребителя (например, тигровые креветки или помело). Наконец, из словника были исключены лексические единицы, для которых в РЖЯ применяется дактилирование в силу отсутствия общепринятых жестов (например, фасоль, парное мясо, чебуреки). Одной из причин, побудивших авторов пойти по пути сокращения объема лексики, было стремление экономии вычислительных ресурсов, необходимых для хранения и обработки массива данных в контексте задачи машинного распознавания жеста.
21 Словарь команд включает в себя лексику, связанную с ориентацией (вперед, назад, направо, налево), ряд частотных глаголов перемещения (поехали, пойдем) и их модификаторы (быстро, медленнее), запросы местоположения (где?, покажи мне) и конкретных товаров (мне нужен…, я хочу…). В словарь отделов входят названия отделов магазина; фактически это группы товаров, объединенных по типу сырья, из которого они произведены, или по их назначению. На практике такие группы товаров часто выносятся в отдельные локации. Кроме того, в этот же список включены такие лексемы, как касса, выход, туалет и т. п. 85 % записей относятся к категории «продукты питания и прочие товары», остальные 15 % записей представлены командами пользователя, названием отделов, вопросами и ответами. Некоторые лексемы являются композитами, т. е. состоят из двух (и более) составляющих, способных функционировать как самостоятельные лексемы, например:
  • КЕФИР = КИСЛЫЙ.МОЛОКО
  • ВИНО = СЛАДКИЙ.АЛКОГОЛЬ
  • МЁД = ПЧЕЛА.СЛАДКИЙ
22 Все составляющие дополнительно вносятся в базу данных как отдельные единицы. Всего в нашей БД насчитывается 48 различных одноручных жестов и 116 двуручных. В дальнейшем речь пойдет преимущественно об одноручных жестах6.
6. Машинное распознавание изображения является нетривиальной задачей, и отслеживание двух артикуляторов (рук) серьезно повышает объем работы (разметка данных или снижение размерности, извлечение признаков). На момент написания статьи задача обработки двуручных жестов не была решена в полном объеме, поэтому авторы решили ограничиться одноручными жестами. Будет ли подобное описание актуальным и для двуручных жестов — задача дальнейших исследований.
23

2.2. Технические характеристики собранной базы данных
24 Запись проводилась при помощи разработанной авторами автоматической системы записи 3D видеопотока с использованием сенсора-дальномера Microsoft Kinect 2.07. Стимулы перевода выводились на экран компьютера и демонстрировались информантам по пять раз минимум в целях дальнейшего обучения систем автоматического распознавания элементов жестового языка на основе вероятностных нейросетевых моделей. Камера Kinect 2.0 была установлена на расстоянии 1,5-2 метров от диктора, при этом дикторы записывались на однородном светлом фоне.
7. Возможно и использование других контроллеров, таких как LIPSedge® DL или Azure Kinect
25 Отличительной особенностью представленной базы данных является запись жестов в трехмерном (3D) формате, что делает ее единственным в своем роде ресурсом по материалу РЖЯ. В самом деле, даже наиболее обширные базы данных из перечисленных выше представляют жест в виде двухмерного изображения. Применение карты глубины вводит в описание третье измерение, что позволяет более точно определять положение одного объекта относительно другого, в данном случае — рук относительно друг друга и корпуса говорящего. Расстояние между активной и пассивной рукой, удаленность рук от тела является средством выражения разнообразных лексических значений в жестовых языках мира. Формат 3D получен за счет того, что камера Kinect 2.0 имеет возможность записывать не только видеоданные в оптическом FullHD формате и инфракрасном диапазоне, но и в режиме «карты глубины» (рис. 3).
26

Рис. 3. Примеры записи жестов в цветном формате (слева), в инфракрасном диапазоне (в центре) и в режиме карты глубины (справа)
27 Цветовые обозначения на карте глубины соответствуют диапазонам спектра видимого излучения, иными словами, наиболее удаленные от камеры группы точек окрашены в красный цвет, наиболее приближенные — в фиолетовый. Объекты, находящиеся между этими точками, закрашиваются оттенками зеленого и желтого. Синяя область на рис. 3 соответствует «слепой зоне» камеры: из-за особенностей пространства и освещения (удаленный угол между полом и стеной) сенсор не смог определить глубину этого участка. Режим съемки в инфракрасном диапазоне позволяет проводить записи в затемненных или, наоборот, слишком освещенных местах.
28 Полученные в результате записи данные имеют следующие характеристики:
  1. бинарные видеофайлы, содержащие запись цветной камеры в формате bin без сжатия (с оптическим разрешением 1920x1080 пикселей при 30 кадрах в секунду, цветность — 8 бит на пиксель);
  2. бинарные видеофайлы, содержащие запись карты глубины и инфракрасной камеры в формате bin без сжатия (с оптическим разрешением 512x424 пикселей при 30 кадрах в секунду, цветность — 16 бит на пиксель);
  3. текстовые файлы в формате XML с координатами скелетной модели диктора-носителя, разделенной на 25 суставов (элементов); каждая определенная точка — это пересечение двух осей (x, y) на координатной плоскости и дополнительное значение координаты с двойной точностью, обозначающее глубину точки, которая измеряется расстоянием от сенсора до точки объекта в диапазоне от 0 (1,2 метра) до 1 (3,5 метра).
29 Логическая структура базы данных может быть представлена в виде дерева каталогов, содержащих информацию для каждого показанного отдельным диктором жеста: а) видеозаписи показанного жеста в FullHD формате, в инфракрасном диапазоне и в формате карты глубин; б) данные о положении скелета на видеозаписи; в) изображения в формате jpg, выделенные покадрово из видеозаписей и необходимые для разметки.
30 На рис. 4 представлен общий вид графического пользовательского интерфейса специализированного программного обеспечения для записи жестов. Нижняя часть интерфейса адресована диктору, правая панель и экран с видеоизображением предназначены для записывающего. Внизу отображаются стимул перевода и индикатор записи (зеленый цвет сигнализирует о том, что запись идет, красный — запись приостановлена). Оператор последовательно выводит на экран список стимулов для перевода (словник) и включает / выключает режим записи; цвет индикатора указывает информанту временные интервалы для демонстрации соответствующих переводных эквивалентов на жестовом языке.
31 Панель в правой части экрана предназначена для изменения настроек записи: разрешения, количества кадров в секунду и т. п. «Скелет» на теле информанта построен на основе 25 точек (узлов), автоматически определяющихся сенсором Kinect 2.0 и представляющих собой пересечение двух осей (X, Y) в плоскости артикуляции. Эти координаты необходимы для вычисления глубины точки, которая определяется как расстояние от сенсора до самой точки. Визуализация точек в виде скелета необходима для быстрой оценки работоспособности программы записи жестов и сенсора Kinect 2.0.
32

Рис. 4. Графический пользовательский интерфейс программы записи жестов
33

3. Аннотация жестовой БД
34

3.1. Фонологическая аннотация жестовых языков: общие принципы
35 Аннотация или разметка любого массива языковых данных — это способ представления некоторой информации о данных, выполненный при помощи метаязыка. В принципе, аннотаций одной и той же БД может быть бесконечно много, их количество будет ограничено только количеством языковых уровней и элементов, выделяемых создателями разметки [Ляшевская 2016: 14].
36 Мультимедийная БД РЖЯ, описываемая в этой статье, создавалась как словарь РЖЯ, предназначенный для автоматического распознавания коротких, в одно-два слова, команд пользователя на жестовом языке. Именно по этой причине БД снабжена только фонологической8 разметкой. Во-первых, отсутствие пространных текстов приводит к практически полному отсутствию синтаксических и морфологических явлений в БД, во-вторых, анализ элементов, из которых складывается жест, представляется весьма актуальным именно в контексте машинного распознавания жестовых языков. Обязательным условием аннотации должна быть ее пригодность для задач компьютерного зрения, то есть она должна быть ориентирована не только на специалистов, но и на компьютер. Иными словами, система аннотирования фонетического уровня БД должна основываться на признаках, которые можно было бы использовать не только для собственно лингвистической нотации, но и для компьютерного анализа и распознавания.
8. В жестовых языках по аналогии со звучащими языками выделяется фонологический уровень; фонология жестовых языков занимается анализом элементов, из которых состоит жест [Sandler, Lillo-Martin 2006: 113–119].
37 Особенностью предлагаемой системы аннотации является то, что параметры, заложенные в основу собственно фонологической интерпретации жеста, находят реализацию и в тех классах, которые выделяются для построения вероятностных моделей.
38 В работе [Stokoe 1960] была впервые предложена декомпозиция жеста на три составляющих: 1) форма и ориентация руки; 2) место выполнения жеста; 3) характер движения. Часто этот список расширяется за счет выделения ориентации руки в отдельный параметр и добавления мимического признака. Конкретные формы и ориентация руки, место и характер выполнения являются минимальными элементами жеста, не имея собственного значения, но обладая смыслоразличительной функцией. Набор реализаций этих признаков конечен (например, в [Battison 1978] выделяется 45 форм руки, 25 локализаций и 12 типов выполнения жеста в американском ЖЯ). Форма руки задается «выбранными» пальцами (т. е. пальцами, принимающими активное участие в конфигурации) и их положением (так, пальцы могут быть согнуты, выпрямлены, разведены и т. п.). Если форму руки, ориентацию и движение можно сравнить с фонемами звучащих языков, то выбранные пальцы и операции с ними логично сравнивать с дифференциальными признаками фонем.
39 Впоследствии анализ Стоуки был расширен в духе генеративной фонологии [Chomsky, Halle 1968]. Если модель Стоуки можно отнести к классификационным описаниям, то под влиянием генеративистов свет увидели «динамические» системы, позволяющие объяснить, как функционирует фонология конкретных жестовых языков. Так, в [Liddell, Johnson 1983] жест представлен как последовательность сегментов движения (‘movement’) и остановок (‘hold’). Эта модель известна как Hold-Movement. В [Sandler 1986] конфигурация рассматривается как отдельный автосегментный параметр, т. е. принадлежащий самостоятельному уровню и ставящийся в соответствие сегментным единицам. Кроме того, были предложены подходы, оперирующие структурой слога в жестовых языках [Perlmutter 1992] и геометрией признаков [Brentari 1998]. Хороший обзор актуального положения вещей представлен в [Sandler, Lillo-Martin 2006].
40 Тем не менее принципы записи жеста, предложенные Стоуки, оказываются удобными в том случае, если мы имеем дело с задачей описания отдельных лексем, продиктованных изолированно, а не вычлененных из потока речи. Одной из систем транскрибирования, основанной на нотации Стоуки, является Гамбургская система нотации, или HamNoSys [Prillwitz et al. 1989; Hanke 2004]. HamNoSys хорошо подходит для использования в электронных БД благодаря линейной структуре, проработанности и легкости конвертации в формат Unicode. Существуют работы по интеграции HamNoSys в общую систему аннотации корпусов жестовых языков [Hanke, Storz 2008]; также эта система нотации была применена для аннотирования базы данных австралийского жестового языка [Johnston 2001], создания словарей новозеландского жестового языка [Kennedy et al. 1997] и немецкого жестового языка [AF 1996]. Другая система записи жестовых языков SignWriting [Sutton 1995; Thiessen 2011] достаточно сложна для использования в целях аннотирования из-за вертикальной ориентации строк и большей «идеографичности»: символы SignWriting скомпонованы так, что они отражают синхронность передачи нескольких потоков информации в высказываниях на жестовом языке. Если SignWriting удобен для повседневного бытового применения и по ряду критериев представляет собой систему письма [van der Hulst, Channon 2010], то HamNoSys несравненно более удобен для лингвистических аннотаций. Обзоры систем нотации для жестовых языков см., например, в [Карпов, Кагиров 2011: 130 и сл.; Frischberg et al. 2012: 1045–1054; Garcia, Sallandre 2013]
41 Насколько известно авторам данной статьи, систематического описания лексики РЖЯ с точки зрения артикуляции не существует. В большинстве пособий по РЖЯ и калькирующей речи, таких как [Жесты 1995; Зайцева 2000; Гейльман 2001; 2004; Фрадкина 2001; Заварицкий 2015], жесты представлены фотографиями и рисунками с комментариями общего характера. Например, в [Гейльман 2004, 1: 322] даны следующие пояснения: «Показывается образный жест ДОИТЬ, имитирующий это действие; артикулируется данное слово» (жест МОЛОКО); «кисть правой руки, сложенная как при показе буквы Ч, только обращенная ладонью влево, подносится стороной большого и указательного пальцев ко рту и чуть-чуть опускается; движение повторяется» (жест ЧАЙ) [Там же, 2: 335] и т. п.
42 Особняком в этом списке стоит пособие Л. С. Димскис [2002], в котором предлагается нотация, основанная на принципах, сформулированных Стоуки. Вероятно, это единственная в своем роде попытка аннотирования лексики РЖЯ и калькирующей жестовой речи с четкой фиксацией таких признаков, как конфигурация руки, ориентация, локализация, активная рука и характер движения. Единственным недостатком пособия является ограниченность списка аннотированной лексики.
43

3.2. Фонологические характеристики жестов из БД: case studies
44 Любое различие в артикуляции снижает качество автоматического распознавания жеста; кроме того, несмотря на наличие карты глубины, компьютер работает только с фронтальной двумерной проекцией руки, не имея информации о полной конфигурации кисти. Демонстрация жестов информантами зачастую разнится в деталях: немного отличаются конфигурация кисти, локализация, однако характер выполнения жеста, т. е. движение, чаще всего остается неизменным. Поэтому нотация, позволяющая осуществлять поиск по корпусу и распознавание жеста компьютером, должна учитывать не все гипотетически возможные характеристики жеста, а те и только те, что позволяют отличить один жест от другого.
45 Артикуляция одной и той же лексической единицы у разных дикторов может различаться, например, по следующим параметрам (табл. 1, с. 115).
46 Из табл. 1 видно следующее.
47 1. Различия в конфигурации: все случаи из этой группы могут быть описаны как различия в положении пальцев: как выбранных, так и невыбранных. Выбранные пальцы могут быть загнуты в разной степени, а невыбранные пальцы могут принимать, теоретически, самую разную конфигурацию. 2. Различия в ориентации кисти: угол, формируемый кистью и одной из плоскостей артикуляции, может существенно отличаться. 3. Различия в локализации: в рамках подробной локализации, предлагаемой, в частности, в описаниях HamNoSys, единообразное описание одной и той же лексемы для разных информантов чаще всего невозможно, см. различное положение кисти для колонки 3. 4. Частным случаем локализации является контакт активного органа артикуляции с пассивным. Колонка 4 показывает, что значения этого параметра могут отличаться. 5. Различия в амплитуде движения: если сама по себе траектория движения является достаточно стабильным параметром, то амплитуда движения предсказуемо разнится от информанта к информанту.
48 Вариативность параметров жеста у разных информантов9
9. Транскрипции жестов здесь и далее даны в соответствии с нотацией HamNoSys 4.0.
49 Таблица 1
50

51 Перечисленные выше различия в артикуляции зафиксированы только для изолированных лексем. Специальных исследований по вариативности жеста в потоке речи для записанной БД не проводилось. Все перечисленные отклонения от «словарной формы» не мешают восприятию текстов на РЖЯ человеком-адресатом, однако, очевидно, составляют проблему при машинной обработке. Представляется, что эта задача может быть разрешена двумя способами: максимальным расширением инвентаря визуальных образов, являющихся проявлением конкретного параметра, и, наоборот, подбором таких параметров, которые, с одной стороны, были бы подвержены минимальному изменению в зависимости от особенностей артикуляции носителя РЖЯ и, с другой стороны, все же позволяли бы с уверенностью отличать один жест от другого. Первый способ требует больших вычислительных ресурсов и поэтому кажется менее предпочтительным по сравнению со вторым.
52

3.3. Система признаков конфигурации и локализации
53 При описании жестовых языков мира выделяются десятки конфигураций пальцев и типов локализации. Для настоящего словника далеко не все они оказываются актуальными. Ниже будут приведены только те конфигурации и локализации, которые актуальны для аннотации словника. Для описания конфигурации руки было выделено семь основных форм кисти; остальные формы могут быть описаны как их модификации за счет комбинаций пальцев и дополнительной конфигурации. Можно выделить следующие базовые конфигурации кисти (рис. 510).
10. Изображения конфигураций кисти на рис. 5, 6, 7 взяты из документации HamNoSys 4: >>>>
54

Рис. 5. Базовые конфигурации кисти
55 Форма (ладонь) может быть модифицирована за счет применения следующих операций (рис. 6).
56

Рис. 6. Операции с ладонью
57 В первом случае ладонь полусогнута (), во втором — пальцы разведены. Трактовка последнего случая как ладони, а не комбинации из четырех пальцев выбрана потому, что не всегда можно с точностью определить, демонстрирует ли диктор ладонь или просто недостаточно плотно сводит пальцы.
58 Для базовых форм и возможна дальнейшая модификация за счет операций с пальцами (рис. 7).
59

Рис. 7. Некоторые операции с пальцами
60 В первом случае палец согнут, во втором — большой палец прижат к ладони («спрятан»), в третьем — палец отведен в сторону перпендикулярно плоскости ладони.
61 Отдельной операцией над пальцами выступает контакт. Во всех случаях активным пальцем является большой, а палец или пальцы, с которыми он контактирует, являются пассивными. Нотация требует указания фаланги и номера пассивного пальца, контактирующего с большим. Всего было получено 24 конфигурации; для наглядности они сведены в табл. 2, определяющую каждую форму кисти по параметрам базы и операций, которым она подвергается.
62 Таблица 2
63 Признаки конфигураций кисти руки
64 Поскольку отслеживание положения и формы каждого пальца на руке является нетривиальной технической задачей, все выделенные 24 формы при распознавании трактуются как простейшие. Каждая конфигурация кисти представлена в нескольких проекциях и разных вариантах исполнения; все проекции и варианты соотнесены с конкретной конфигурацией из табл. 2.
65 В компьютерных системах локализация и идентификация формы кисти человека может быть осуществлена при помощи платформы с открытым исходным кодом TensorFlow Object Detection API [Huang et al. 2017], которая упрощает создание, обучение и развертывание моделей обнаружения всевозможных объектов. Фактически в базе данных хранятся изображения выделенных нами конфигураций кисти в различных проекциях (рис. 8), с разной степенью отличий в расположении пальцев.
66

67 Следующий параметр — локализация — отличается нестабильностью. Как было указано выше, локализация жеста у разных информантов выглядит по-разному. Решением этой проблемы, с одной стороны, является «укрупнение» зон Y-плоскости артикуляции. Путем сравнения локализации жестов у разных дикторов были определены границы зон на лице и теле человека, позволяющие снять неоднозначность и непротиворечиво описать все имеющиеся жесты. Интересно, что не все полученные зоны можно описать символами HamNoSys. Например, в оригинальной нотации отсутствуют обозначения для нижней челюсти и подбородка. Ниже приведена карта зон с легендой (рис. 9, табл. 3).
68

Рис. 9. Основные зоны на плоскости артикуляции Y, выделяемые при аннотации жестов
69 Таблица 3
70 Зоны артикуляции одноручных жестов БД
71

72 С другой стороны, подавляющее большинство жестов на практике не обладает абсолютной локализацией; если укрупнение зон артикуляции способно решить проблему локализации по оси X, то точное определение места выполнения жеста по оси Y, по-видимому, невозможно. Так, жест КИСЛЫЙ некоторые информанты начинают у подбородка и завершают у переносицы, другие начинают у рта и заканчивают в районе носа; еще в ряде случаев движение завершается выше уровня глаз (рис. 10).
73

Рис. 10. Смена уровня выполнения жеста при различных начальной и конечных точках движения у разных информантов. В качестве примера используется жест КИСЛЫЙ
74 Однако в подобных случаях конечная локализация всегда находится выше / ниже по оси Y, чем начальная, вне зависимости от абсолютной локализации в каждом конкретном случае. Поэтому для таких жестов имеет смысл ограничиться указанием того, что конечная точка движения находится выше / ниже определенного уровня.
75 Уверенное определение локализации позволяет отслеживать движение рук методом сравнения кадров. Предварительный анализ видеозаписей показывает, что параметр траектории движения обнаруживает стабильность. Совокупно с анализом глубины изображения это позволит в будущем с достаточно высокой уверенностью определять третий параметр жеста — движение и, таким образом, решить задачу распознавания жестов РЖЯ.
76 Заключение
77 В этой статье представлена лексическая мультимедийная база данных русского жестового языка TheRuSLan по предметной теме «продукты». Ценность подобной БД обусловлена двумя факторами: во-первых, исследований и, соответственно, баз данных и корпусов РЖЯ на сегодня достаточно мало. Исследование жестовых языков в России является сравнительно новой дисциплиной, что обуславливает сравнительную скудость источников по РЖЯ. Во-вторых, представленная БД представляет собой запись жестов в трехмерном (3D) формате, что предоставляет значительно больше возможностей для анализа и лексикографической обработки материала РЖЯ по сравнению с уже существующими БД.
78 Следует понимать, что настоящее исследование носит пилотный характер; в фокусе статьи, таким образом, оказывается не подробный анализ собранного языкового материала и сделанные на его основе выводы лингвистического характера, а собственно презентация базы данных лексики РЖЯ. Кроме того, в статье приведена фонетическая аннотация предметной лексики и очерчен круг проблем, с которыми столкнулись и к решению которых предложили подходы создатели настоящей БД. Особенный интерес представляет вариативность жестов у разных носителей. Напомним, что, согласно [Brentari et al. 2010: 284ff], частотность аллофонических чередований в жестовых языках, по-видимому, гораздо ниже таковой в звучащих языках. В чем кроются причины подобной вариативности в представленной БД — с недостаточным знакомством информантов с [Гейльман 2004] или же с иными факторами — можно будет сказать только после специального исследования. Тем не менее авторам БД удалось, даже при столь высоком уровне различий в артикуляции, найти непротиворечивый способ аннотирования материала.
79 Описанная выше база данных на текущем этапе может быть отнесена к мультимедийным словарям РЖЯ, посвященным достаточно узкой предметной области, однако расширение словника и дальнейшая разработка системы аннотации могут привести к появлению еще одной лингвистической базы данных; разработанный инструментарий, как представляется, вполне может быть применен для аннотирования корпусов и баз данных жестовых языков.

Библиография

1. Буркова 2012–2015 — Буркова С. И. Русский жестовый язык: общие сведения. URL: http://rsl.nstu.ru/site/signlang.

2. Буркова, Варинова 2012 — Буркова С. И., Варинова О. А. К вопросу о территориальном и социальном варьировании русского жестового языка. Русский жестовый язык: Первая лингвистическая конференция. Федорова О. В. (ред.). М.: Буки Веди, 2012, 127–143.

3. Воскресенский 2002 — Воскресенский А. Л. Непризнанный язык (Язык жестов глухих и компьютерная лингвистика). Труды Международного семинара по компьютерной лингвистике и интеллектуальным технологиям «Диалог-2002». Т. 2. Протвино, 2002, 100–106.

4. Воскресенский и др. 2009 — Воскресенский А. Л., Гуленко И. Е., Хахалин Г. К. Cловарь RuSLED как инструмент семантических исследований. Материалы Международной конференции «Диалог-2009». Вып. 8(15). М.: РГГУ, 2009, 64–68.

5. Гейльман 2001 — Гейльман И. Ф. Знакомьтесь: ручная речь. М.: Загрей, 2001.

6. Гейльман 2004 — Гейльман И. Ф. Словарь русского жестового языка: в 2-х т. СПб: Прана, 2004.

7. Давиденко, Комарова 2006 — Давиденко Т. П., Комарова А. А. Краткий очерк по лингвистике РЖЯ. Современные аспекты жестового языка. Комарова А. А. (сост.). М.: ВОГ, 2006, 146–161.

8. Димскис 2002 — Димскис Л. С. Изучаем жестовый язык: учебное пособие. М.: Academia, 2002.

9. Жесты 1995 — Жесты: словарь-справочник. М.: Загрей, 1995.

10. Заварицкий 2015 — Заварицкий Д. А. 100 фраз на русском жестовом языке. Разговорник для священнослужителей. М.: Лепта Книга, 2015.

11. Зайцева 2000 — Зайцева Г. Л. Жестовая речь. Дактилология: учеб. для студ. высш. учеб. заведений. М.: Гуманит. изд. центр ВЛАДОС, 2000.

12. Захаров 2005 — Захаров В. П. Корпусная лингвистика: учеб.-метод. пособие. СПб.: СПбГУ, 2005.

13. Кагиров 2018 — Кагиров И. А. Концепция роботизированной продуктовой тележки с поддержкой русскоязычного речевого и жестового интерфейсов пользователя. Региональная информатика и информационная безопасность: сборник трудов. Вып. 5. Советов Б. Я., Юсупов Р. М., Касаткин В. В. (ред.). СПб.: СПОИСУ, 2018, 273–277.

14. Карпов 2011 — Карпов А. А. Компьютерный анализ и синтез русского жестового языка. Вопросы языкознания, 2011, 6: 41–54.

15. Карпов 2013 — Карпов А. А. Машинный синтез русской дактильной речи по тексту. Научно-техническая информация. Серия 2: Информационные процессы и системы, 2013, 1: 20–26.

16. Карпов, Кагиров 2011 — Карпов А. А., Кагиров И. А. Формализация лексикона системы компьютерного синтеза языка жестов. Труды СПИИРАН, 2011, 1(16): 123–140.

17. Киммельман 2010 — Киммельман В. И. Базовый порядок слов в русском жестовом языке. Дипломная работа. М.: РГГУ, 2010.

18. Кипяткова, Карпов 2017 — Кипяткова И. С., Карпов А. А. Исследование нейросетевых моделей русского языка для систем автоматического распознавания слитной речи. Автоматика и телемеханика, 2017, 78(5): 110–122.

19. КРЖЯ — Корпус русского жестового языка. URL: http://rsl.nstu.ru/.

20. Львовская 2006 — Львовская А. Анализ видовой и временной системы глагола русского жестового языка (РЖЯ) на основании работы Ö. Dahl «Tense and Aspect Systems». Курсовая работа. М.: МГУ, 2006.

21. Ляшевская 2016 — Ляшевская О. Н. Корпусные инструменты в грамматических исследованиях русского языка. М.: Издательский дом ЯСК, 2016.

22. Мануева и др. 2014 — Мануева Ю. С., Гриф М. Г., Козлов А. Н. Построение системы компьютерного сурдоперевода русского языка. Труды СПИИРАН, 2014, 37(6): 170–187.

23. Правовые основы 2016 — Правовые основы реализации Конвенции ООН о правах инвалидов в Российской Федерации. Сборник нормативных правовых актов, принятых Российской Федерацией в целях выполнения положений Конвенции о правах инвалидов. Шестаков В. П. и др. (сост.). СПб.: НЦЭПР им. Г. А. Альбрехта Минтруда России, 2016.

24. Прозорова 2007 — Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования. Вопросы языкознания, 2007, 1: 44–61.

25. РЖЯБК 2001 — Русский жестовый язык. Базовый курс. Компьютерная обучающая система. М.: Истина, 2001.

26. Сурдосервер — Проект «Сурдосервер 2.0». URL: http://surdoserver.ru.

27. Сысоев, Гриф 2018 — Сысоев М. Д., Гриф М. Г. Разработка системы удаленного сурдоперевода для глухих. Разработка системы удаленного сурдоперевода для глухих. Инновационные инфокоммуникации XXI века: 19 межвуз. Всерос. студен. науч.-практ. (очно-заоч.) конф. Клепиков С. И. и др. (ред.). Хабаровск: ХИИК, 2018, 97–99.

28. Федорова 2012 — Федорова О. В. (ред.). Русский жестовый язык: Первая лингвистическая конференция. М.: Буки Веди, 2012.

29. Федорова 2018 — Федорова О. В. О русской жестикуляции с лингвистической точки зрения (к выходу монографии Е. А. Гришиной). Вопросы языкознания, 2018, 5: 114–123.

30. Филимонова, Душкина 2018 — Филимонова Е. В., Душкина В. А. Учебно-методическое пособие для изучающих русский жестовый язык. М., 2018. URL: https://www.academia.edu/38047551/Учебно-методическое_пособие_для_изучающих_русский_жестовый_язык.

31. Фрадкина 2001 — Фрадкина Р. Н. Говорящие руки: Тематический словарь жестового языка глухих России. М.: Рефл-бук, 2001.

32. Шамаро 2006 — Шамаро Е. Ю. Некоторые факты видо-временной системы РЖЯ. Современные аспекты жестового языка. Комарова А. А. (сост.). М.: ВОГ, 2006, 180–191.

33. AF 1996 — Arbeitsgruppe Fachgebärdenlexika. Fachgebärdenlexikon Psychologie. Hamburg: Signum, 1996.

34. Battison 1978 — Battison R. Lexical borrowing in American Sign Language. Silver Spring (MD): Linstok Press, 1978.

35. Bauer 2018 — Bauer A. Артикуляция слов в русском жестовом языке (РЖЯ). Deutsche Beiträge zum 16. Internationalet Slavistenkongress. Belgrad, 2018. Kempgen S. et al. (eds.). Wiesbaden: Harrassowitz Verlag, 2018, 35–44.

36. Brentari 1998 — Brentari D. A prosodic model of sign language phonology. Cambridge (MA): MIT Press, 1998.

37. Brentari et al. 2010 — Brentari D. (ed.). Sign languages. Cambridge: Cambridge Univ. Press, 2010.

38. Chomsky, Halle 1968 — Chomsky N., Halle M. The sound pattern of English. New York: Harper & Row, 1968.

39. Garcia, Sallandre 2013 — Garcia B., Sallandre M.-A. Transcription systems for sign languages: A sketch of the different graphical representations of sign language and their characteristics. Body — language — communication. An international handbook on multimodality in human interaction. Vol. 1. Müller C. et al. (eds.). Berlin: De Gruyter Mouton, 2013, 1125–1140.

40. Digitgestus — Digitgestus. URL: http://www.digitgestus.com.

41. Frischberg et al. 2012 — Frischberg N., Hoiting N., Slobin D. I. Transcription. Sign language. An international handbook. Pfau R. et al. (eds.). Berlin: De Gruyter Mouton, 2012, 1045–1075.

42. Grenoble 1992 — Grenoble L. An overview of Russian Sign Language. Sign Language Studies, 1992, 77: 321–338.

43. Hanke 2004 — HamNoSys — Representing sign language data in language. Resources and language processing contexts. URL: https://www.sign-lang.uni-hamburg.de/dgs-korpus/files/inhalt_pdf/HankeLRECSLP2004_05.pdf.

44. Hanke, Storz 2008 — Hanke T., Storz J. Ilex — a database tool for integrating sign language corpus linguistics and sign language lexicography. Proc. of LREC 2008, Sixth International Conf. on Language

45. Resources and Evaluation. Calzolari N. et al. (eds.). Paris: European Language Resources Association, 2008, 64–67.

46. Huang et al. 2017 — Huang J., Rathod V., Sun Ch., Zhu M., Korattikara A., Fathi A., Fischer I., Wojna Z., Song Y., Guadarrama S., Murphy K. Speed/accuracy trade-offs for modern convolutional object detectors. Proc. of 30th IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). Los Alamitos (CA): Institute of Electrical and Electronics Engineers, 2017, 3296–3297.

47. Johnston 2001 — Johnston T. The lexical database of Auslan (Australian Sign Language). Wilbur R. (ed.). Sign Language and Linguistics, 2001, 4(1/2): 145–169.

48. Karpov et al. 2014 — Karpov A., Markov K., Kipyatkova I., Vazhenina D., Ronzhin A. Large vocabulary Russian speech recognition using syntactico-statistical language modeling. Speech Communication, 2014, 56: 213–228.

49. Karpov et al. 2016 — Karpov A., Kipyatkova I., Zelezny M. Automatic technologies for processing spoken sign languages. Procedia Computer Science, 2016, 81: 201–207.

50. Kennedy et al. 1997 — Kennedy G., Arnold R., Dugdale P., Fahey S., Moskovitz D. (eds.). A dictionary of New Zealand Sign Language. Auckland: Auckland Univ. Press; Bridget Willam Books, 1997.

51. Kimmelman 2009 — Kimmelman V. Reflexive pronouns in Russian Sign Language and Sign Language of the Netherlands. MA thesis. Amsterdam: Univ. of Amsterdam, 2009.

52. Kimmelman 2014 — Kimmelman V. Information structure in Russian Sign Language and Sign Language of the Netherlands: Ph.D. diss. Amsterdam: Univ. of Amsterdam, 2014.

53. Language Archive — The Language Archive. URL: https://tla.mpi.nl/forums/software/elan.

54. Liddell, Johnson 1983 — Liddell S., Johnson R. E. American Sign Language: The phonological base. Washington (D.C.): Ms. Gallaudet Univ., 1983.

55. Perlmutter 1992 — Perlmutter D. M. Sonority and syllable structure in American Sign Language. Linguistic Inquiry, 1992, 3(23): 407–442.

56. Prillwitz et al. 1989 — Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages. An introductory guide. Hamburg: Signum Verlag, 1989.

57. Ryumin et al. 2019 — Ryumin D., Kagirov I., Ivanko D., Axyonov A., Karpov A. A. Automatic Detection and Recognition of 3D Manual Gestures for Human-machine Interaction. ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2019, XLII-2/ W12: 179–183.

58. RSL — “Russian Sign Language” at Ethnologue. URL: https://www.ethnologue.com/language/rsl. Sandler 1986 — Sandler W. The spreading hand autosegment of American Sign Language. Sign Language Studies, 1986, 50: 1–28.

59. Sandler 2012 — Sandler W. The Phonological organization of sign languages. Language and Linguistic Compass, 2012, 6(3): 162–182.

60. Sandler, Lillo-Martin 2006 — Sandler W., Lillo-Martin D. Sign language and linguistic universals. Cambridge: Cambridge Univ. Press, 2006.

61. SLCN — Sign Linguistics Corpora Network. URL: https://www.ru.nl/slcn/.

62. Spreadthesign — Spreadthesign. URL: https://www.spreadthesign.com/ru.ru/search.

63. Stokoe 1960 — Stokoe W. C. Sign language structure: An outline of the visual communication systems of the American deaf. Buffalo: Dept. of Anthropology and Linguistics, Univ. of Buffalo, 1960.

64. Sutton 1995 — Sutton V. Lessons in sign writing. Textbook and workbook. La Jolla (CA): Deaf Action Committee for Sign Writing, 1995.

65. Thiessen 2011 — Thiessen S. A grammar of sign writing. MA thesis. Grand Forks (ND): Univ. of North Dakota, 2011.

66. Van der Hulst, Channon 2010 — van der Hulst H., Channon R. Notation systems. Sign languages. (Cambridge Language Surveys.) Brentari D. (ed.). Cambridge: Cambridge Univ. Press, 2010, 151–172.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести