«НЕПРИЗНАННЫЙ ЯЗЫК» (ЯЗЫК ЖЕСТОВ ГЛУХИХ И КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА)

 

 

А. Л. Воскресенский

Специализированная (коррекционная) общеобразовательная

школа-интернат № 101 для детей с нарушениями слуха

avosj@yandex.ru

 

 

Ключевые слова: компьютерная анимация, глухие, диалог, перевод, словарь, сурдоперевод , язык жестов.

 

В докладе внимание лингвистов и ИТ специалистов обращается на жестовый язык глухих. Приводятся данные о распространенности этого языка, его официальном статусе. Указывается, что возможность фиксации и многократной демонстрации динамически меняющихся во времени и пространстве жестов (т.е. письменность) жестовый язык приобрел фактически только при появлении мультимедийных средств. Показано, что создание средств автоматизированного сурдоперевода требует решения и/или использования результатов решения основных задач компьютерной лингвистики: организации ЕЯ-запросов к  полнотекстовым базам данных для различных предметных областей, речевой ввод и вывод, генерация связного текста на основе ключевых слов и выражений, автоматический разбор текста с целью выделения значащих слов.

 

 

1. Жестовый язык глухих: распространенность и статус

 

Есть язык, который обойден вниманием лингвистов (и не только их), но которым пользуются миллионы людей — язык жестов глухих. В среднем в мире число полностью глухих составляет 0,4% от общей численности населения, а учитывая людей с тяжелыми формами потери слуха, число тех, кто постоянно пользуется жестовым языком, достигает примерно 1,5% от общей численности населения. Например, в США по данным ASLTA (Ассоциация преподавателей американского жестового языка) американский жестовый язык (ASL) — третий по распространенности после английского и испанского.

Официальное признание жестовый язык начал получать лишь недавно. Отношение к нему в разных странах со стороны официальных органов (в том числе и образования) до недавнего времени колебалось от игнорирования его существования до активного запрета в использовании, например в образовательных учреждениях для глухих. Это объяснялось необходимостью стимулирования изучения и использования глухими средств коммуникации со слышащими: слухо-зрительного восприятия речи, формирования произношения и развития речи для лучшей адаптации в мире слышащих.

Но постепенно, по мере изменения отношения общества к инвалидам, эта позиция менялась. В Резолюции ООН 48/96 указано: “Следует использовать жестовый язык в образовании глухих детей, в их семьях и сообществе глухих. Для облегчения понимания между глухими и окружающими следует оказывать переводческие услуги на жестовом языке” [1].

В нашей стране русский жестовый язык (РЖЯ) сравнительно недавно официально признан языком межличностного общения [2]. Этот статус ниже, чем статус национального языка, и, возможно, этим объясняется, что, в то время как для изучения языков малых народов организуются научные экспедиции, жестовый язык, которым в России пользуются (по нашим оценкам) не менее 2 млн. человек, не имеет даже достаточно полного описания грамматики.

Зарплата сурдопереводчика ниже, чем зарплата переводчика-синхрониста иностранного языка. Соответственно, низок и престиж профессии. Одним из результатов этого явилось то, что конкурс по набору сурдопереводчиков для телеканала ОРТ в 2001 г. показал отсутствие таких специалистов [3].

Повышение статуса жестового языка глухие рассматривают как одно из направлений борьбы за свои гражданские права. В настоящее время готовятся предложения о повышении статуса жестового языка, о признании права глухих граждан пользоваться РЖЯ во всех областях социальной жизни, по созданию Государственной программы развития лингвистических, социологических и других исследований РЖЯ [4].

 

 

2. Мультимедийные средства как основа “письменности” жестового языка

 

Первые попытки описания жестового языка делались в Европе уже в 17 веке [5]. В России первой книгой об обучении глухих, о русском жестовом языке была [6]. Однако сложность представления с помощью статичных двумерных книжных иллюстраций динамически меняющихся во времени и пространстве жестов оказалась препятствием для создания научного описания РЖЯ. Если в иероглифах (которым, с определенной степенью допущения, можно уподобить жесты), например, японского языка выделяются ключевые элементы, на основании которых строятся словари [7], то в жестах выделения подобных ключевых элементов (или конфигураций) недостаточно. Работы В. Стоку, выполненные в США в 60-е годы XX века, показали, что жест состоит из трех основных компонентов: конфигурации,пространственного положения и движения [8].

Бумажные словари (см., например [9]), при всей их полезности, не могут отразить все особенности выполнения отдельных жестов и помочь в составлении фраз на РЖЯ. Появление мультимедийных средств дало возможность, используя технику видеозаписи, создавать обучающие курсы жестового языка, в которые включаются уже не только отдельные понятия (жесты), но и образцы фраз и диалогов [5].

Таким образом, только с появлением видеотехники и мультимедийных компьютеров жестовый язык получил возможность записи ТЕКСТА, т.е. обрел письменность и, соответственно, возможность фиксации и многократного воспроизведения жестовых высказываний, анализа и углубленного изучения их грамматических и других особенностей.

Однако, жестовые словари, выполненные в виде упорядоченных видеофрагментов, представляющих как отдельные жесты жестового языка, так и их различные комбинации: образцы фраз, диалоги, другие тексты, записанные с помощью демонстраторов (лиц, знающих жестовый язык), имеют тот недостаток, что они могут пополняться только с помощью тех же демонстраторов жестов, которые работали над их первой версией. Такие словари, в отличие от, например, словаря русского языка Ожегова, который продолжал развиваться силами соавторов даже после смерти первого автора, имеют ограниченную возможность развития.

Это утверждение основано на том, что у многих глухих детей, которые нуждаются в изучении и усвоении жестового языка, отсутствие речевой практики, сопровождающей слышащих детей с самого рождения (даже еще не умея говорить, они уже учатся понимать речь), приводит к замедлению развития словесно-логического уровня мышления. При этом мышление на наглядно-образном уровне у них обычно развито вполне удовлетворительно. Вследствие этого мышление у многих глухих весьма конкретно, абстрагирование от того или иного образа к некоему собирательному понятию вызывает у них определенные затруднения. У них в ряде случаев вызывает отторжение наделение каких-либо персонажей несвойственными им в реальной жизни атрибутами, что для слышащих детей вполне приемлемо и допустимо. Так, например, разработчики американского CD-ROM [10] столкнулись с тем, что у американских глухих детей резкое неприятие вызвало предложение выбрать в качестве виртуального демонстратора жестов одного из популярных героев мультфильмов — лягушонка Роско. Глухим детям было непонятно, почему лягушка разговаривает [жестами], хотя, как мы знаем из повседневного опыта, у слышащих детей это не вызывает никаких проблем, наоборот — одушевление различных животных и предметов является непременным элементом любой волшебной сказки.

Таким образом, использование в качестве демонстраторов жестов в пределах одного словаря (или одного текста) разных лиц с высокой степенью вероятности приведет к дополнительным затруднениям для глухого пользователя в работе с этим словарем или жестовым текстом. Поэтому наиболее целесообразно для демонстрации жестов использовать не фрагменты видеозаписи реальных жестикулирующих людей, а программно генерируемые мультипликационные изображения виртуальных персонажей. Существующие пакеты для компьютерной анимации позволяют обеспечить пользователю выбор наиболее приемлемого для него варианта облика (skin) персонажа.

В то же время, проведенные в 1999-2000 гг. Ю.А. Петропавловской эксперименты показали, что использование в качестве виртуального демонстратора жестов абстрактного (упрощенного) изображения человека вызывает у учащихся московской школы для глухих детей вопросы: “Кто это? Это мужчина или женщина?”. До получения удовлетворяющих их ответов ребята отказывались воспринимать демонстрируемые жесты. В то же время (при демонстрации других образцов), если ребята могли однозначно идентифицировать пол персонажа, то для распознания демонстрируемых жестов для них было достаточно, если изображение включало в себя только изображение лица, кистей рук (“летающих” вокруг головы, но занимающих реально допустимые положения, т.е. сами руки могли оставаться невидимыми) и, для ряда жестов, фрагментов контура туловища.

Использование средств компьютерной анимации позволяет не только программно компоновать соответствующий жест в режиме реального времени, но и учитывать при этом предшествующее положение рук, головы и туловища персонажа (а также соответствующую мимику), что позволяет формировать запись “связного текста” жестовой речи произвольной длительности.

Использование компьютерной анимации и результатов описанных выше экспериментов позволило создать прототип многоязычного словаря жестового языка [11, 12]. В нем объединены русско-английский и англо-русский словари.

 

 

3. Методы компьютерной лингвистики при изучении и использовании жестового языка

 

3.1. Нужны ли компьютерные средства представления и обработки жестового языка?

 

Считается, что все глухие (за исключением малых детей) грамотны, и на этом основании задается вопрос: зачем нужны средства представления и обработки жестового языка, почему недостаточно текстовых титров, например, в телевизионных новостях и других передачах? Да, замена сурдопереводчиков на ОРТ текстовыми титрами вызвала положительный отклик у многих глухих. Они не понимали многих жестов, демонстрируемых сурдопереводчиками, т.к. отсутствие нормализованного описания жестового языка и соответствующих учебных пособий приводит к тому, что язык распадается на множество диалектов, которые без дополнительного, хотя бы краткого изучения, лишь частично понятны носителям других диалектов.

Однако, использование только текстовых сообщений и подсказок недостаточно в процессе обучения глухих и слабослышащих учащихся. Для лучшего усвоения материала и ускорения процесса обучения необходимы как специальные технические средства [13], так и сурдопереводчики. При этом, по мере повышения уровня образования и владения речью, глухие постепенно отказываются от услуг сурдопереводчиков (например, по наблюдениям Г.Н. Паршина, слабослышащие студенты МГТУ им. Н. Баумана к третьему курсу практически полностью отказываются от сурдоперевода), но продолжают пользоваться жестовой речью в общении друг с другом.

Почему грамотные слышащие в повседневном общении обмениваются устными сообщениями, а не записками? Ответ очевиден. Жестовая речь заменяет для глухих устную, но, в отличие от слышащих, для которых процесс обучения устной речи происходит практически автоматически в процессе общения с окружающими, усвоение жестовой речи требует от глухих более напряженного процесса обучения. Нередки случаи рождения глухих детей в семьях слышащих родителей, не знакомых с жестовой речью. Для использования жестового языка даже только в качестве средства межличностного общения нужно его знать. А для этого нужны учебные курсы и пособия, для создания которых необходимо использование компьютерных технологий.

 

3.2. Некоторые особенности жестовой речи

 

Жестовая речь имеет две различные речевые системы [8]: РЖЯ, используемый в повседневном общении, обладающий собственной лексикой и грамматикой и калькирующая жестовая речь (КЖР), используемая в официальной обстановке, в которой жесты сопровождают устную речь говорящего. Жесты в КЖР выступают как эквиваленты слов, а порядок их следования такой же, как и слов в соответствующем предложении. КЖР использует жесты РЖЯ и знаки дактильного алфавита для побуквенной передачи слов, для которых нет жестового эквивалента. (Русская дактильная азбука, а также некоторые другие дактильные алфавиты представлены в [14]).

Число жестов РЖЯ значительно меньше числа слов русского языка. При этом одним и тем же жестом могут обозначаться разные денотаты [8].

В РЖЯ нет изменения существительных по падежам, глаголы имеют только одну форму — инфинитив. Для обозначения времени действия используются служебные жесты “было” (“не было”), “будет”, “давно”.

Диалоги на РЖЯ представляют собой обычно обмен отрывочными сообщениями, причем первое высказывание инициатора беседы задает тему, а последующие высказывания участников диалога развивают и уточняют первоначальную мысль. Поэтому новому участнику диалога (не знакомому с высказываниями, открывшими данную часть диалога) иногда бывает трудно понять собеседников. Для включения его в беседу в этом случае приходится заново излагать основную тему.

Также как и при обычных бытовых диалогах, в высказываниях на РЖЯ зачастую опускаются глаголы, вся фраза значительно редуцируется, приобретая иногда мало узнаваемый вид по сравнению со своим аналогом на рафинированном литературном языке (ср., например, wonna, gotta в разговорном английском языке).

Жестовые высказывания обладают весьма сильно выраженной конситуативностью: в жестовых языках нет специальных жестов для обозначения того, “что всегда присутствует в разговоре”, например головы, руки, носа и т.п. [8]. Эти значения выражаются указанием, например, на свою руку. Нужно отметить, что конситуативность жестовой речи облегчает общение глухих из разных стран. При встрече с учащимися из Англии учащиеся нашей школы практически сразу же смогли вести с ними беседы на различные темы при помощи жестовой речи, несмотря на то, что англичане не знали русского языка, а наши учащиеся не были знакомы с британским жестовым языком.

Как указывается в [8], для пояснения причинно-следственных связей в высказывания на РЖЯ включаются служебные жесты “связь”, но в реальных диалогах подобные жесты обычно отсутствуют. Хотя здесь нужно сделать оговорку, что набор используемых жестов во многом зависит от уровня образованности и возраста участников диалогов.

Также как и слышащие, глухие подростки имеют свой молодежный жаргон. К 14 – 15 годам число используемых жестов РЖЯ достигает обычно максимума, в дальнейшем число используемых жестов (и в ряде случаев, к сожалению, число используемых слов русского языка) несколько уменьшается, а их набор стабилизируется.

 

3.3. Основные проблемы сурдоперевода и сопутствующие задачи компьютерной лингвистики

 

Как правило, проблемы возникают при переводе на менее знакомый для переводчика язык (обычно тот язык, носителем которого он не является). В случае с РЖЯ ситуация противоположная: наибольшую сложность вызывает перевод с РЖЯ на русский язык [3], хотя сурдопереводчиками обычно бывают слышащие люди, русский язык для которых является родным. Это можно объяснить тем, что, в связи со значительной редукцией фраз на РЖЯ, сурдопереводчику нужно в ограниченное время построить на основе отдельных, малосвязанных слов, переданных ему жестами, грамотную фразу на русском языке, достаточно полно передающую смысл жестового высказывания, соответствующий данной предметной области.

Таким образом, одной из важнейших задач компьютерной лингвистики в области сурдоперевода является генерация связного текста на основе ключевых слов и выражений, полученных из “подстрочного перевода” жестового высказывания. Учитывая многозначность жестов, необходимо тщательно отслеживать соответствие генерируемого текста текущей предметной области. Это весьма сложная задача, эквивалентная созданию автоматических диалоговых систем на основе организации запросов на естественном языке к полнотекстовым базам данных для различных предметных областей. Появление таких систем дает некоторую надежду на возможность реализации описываемой задачи, что даст слышащим дополнительные возможности понимания своих глухих собратьев.

Но и перевод с русского языка на РЖЯ создает немало проблем. Обычно, с ростом уровня образованности глухой аудитории возрастает число используемых жестов, структура высказываний приближается к нормам русского языка, т.е. место РЖЯ занимает КЖР, где каждому слову (или устойчивой комбинации слов) соответствует свой жест, а последовательность жестов соответствует последовательности слов во фразе. Но при работе с РЖЯ во многих случаях перед началом демонстрации жестов приходится, по словам одного из сурдопереводчиков, предварительно переводить фразу с русского на “глуховский” язык, создавая нужную последовательность жестов.

Исходя из этого, система перевода с русского языка на РЖЯ должна уметь привести фразу на русском языке к виду запроса, обеспечивающего выдачу из базы данных требуемой последовательности анимированных изображений жестов. При формировании этого запроса следует учитывать использование служебных жестов для передачи временных и пространственных отношений объектов, т.е. необходимо создание специализированного парсера, учитывающего особенности грамматики РЖЯ. К сожалению, автор до сих пор не встретил ни одной публикации, где приводилось бы достаточно полное описание этой грамматики.

Очевидно, что на завершающих этапах создания системы автоматизированного сурдоперевода возникнет необходимость подключения к ней подсистем речевого ввода и вывода, без чего функциональность системы будет неполной.

Система перевода с РЖЯ на русский язык не может считаться функционально полной без подсистемы оптического распознавания жестов. По сравнению с OCR эта задача на порядок (если не более) сложнее из-за многомерности и динамики жеста. Некоторые обнадеживающие результаты в этом направлении получены в INT (Франция) в рамках проекта Artemis [15].

Любое здание должно иметь фундамент. В описываемой задаче таким фундаментом, по нашему мнению, должны быть удобные в пользовании мультимедийные средства отображения жестов, не требующие больших затрат ресурсов при передаче по телекоммуникационным каналам. На основе этих средств планируется создание мультимедиа архива русского жестового языка, представленного в сети Интернет, основными функциями которого будут: создание и поддержка попопняемого словаря жестов и фраз; обеспечение преемственности работы по фиксации новых жестов; работа по нормализации жестового языка и описание грамматики русского жестового языка. Результаты этих работ в дальнейшем смогут быть использованы при создании систем автоматического сурдоперевода.

Автор благодарит руководителя слухового центра Е.В. Воробьеву и других сотрудников школы-интерната № 101 за объяснения многих неизвестных ему ранее явлений, полезные советы и рекомендации.

 

 

Литература

 

1. Стандартные правила обеспечения равных возможностей инвалидов // Резолюция ООН 48/96. Раздел II, правило 5, статья 7. — ООН, 20 декабря 1993 г.
2. О социальной защите инвалидов в Российской Федерации // Федеральный Закон № 181-ФЗ от 24.11.1995 г.
3. Овсянникова Л.А. Проблемы жестового перевода на телевидении // Русский жестовый язык и проблемы перевода: Материалы конференции. — М., 2001.
4. Резолюция конференции “Русский жестовый язык и проблемы перевода” // Русский жестовый язык и проблемы перевода: Материалы конференции. — М., 2001.
5. Гуленков Г.А. Электронная обучающая система “Русский жестовый язык” // XI Международная конференция-выставка “Информационные технологии в образовании”: Материалы конференции. Ч. V. — М.: МИФИ, 2001. С. 10 – 12.
6. Флери В.И. Глухонемые, рассматриваемые в отношении к способам образования, самым свойственным их природе. — СПб., 1835.
7. Шевенко С.М. Пособие по переводу японских научно-технических текстов. Начальный курс. — М.: Главная редакция восточной литературы издательства “Наука”, 1973.
8. Зайцева Г.Л. Дактилология. Жестовая речь: Учебное пособие для ВУЗов. — М.: Просвещение, 1991.
9. Фрадкина Р.Н. Говорящие руки: Тематический словарь жестового языка глухих России. — М., 2001.
10. http://signingavatar.com
11. Воскресенский А.Л., Иванова М.В. Представление жестового языка в программе SLEd // Труды Международного семинара “Диалог-2000”. Т. 2. — Протвино, 2000. С. 77 – 79.
12. SLEd, Computer-based sign language education program, Russia / A. Voskressenski // 6^th Conference “Content-Based Multimedia Information Access” — Paris, 2000.
13. Паршин Г.Н., Станевский А.Г. Использование технических средств в технологии образования людей с дефектами слуха // XI Международная конференция-выставка “Информационные технологии в образовании”: Материалы конференции. Ч. V — М.: МИФИ, 2001. С. 19 – 20.
14. http://schools.keldysh.ru/uvk1838/SLDict/daru.htm
15. http://www-sim.int-evry.fr/Artemis

 

«Unacknowledged language» (sing language and computing linguistics)

1. L. Voskressenskij

 

Key words: computer-based animation, deaf, dialogue, translation, dictionary,

gesture-translation, sign language.

 

Sign language is used by millions people but not attends by linguists. In Russian Federation Russian Sign language (RSL) has status “the language for interpersonal communication”. It’s not possible to create the schoolbooks for non written language. The sign language became “written” only with computer aid. The computer animated signs only enable the possibility to create sign language dictionaries not tied with person of sign demonstrator. There is demonstrated that solution of sign language translation problem needs same means that classical computing linguistics — natural language queries to full-text databases for different data domain, verbal input and output, the coherent text generation using keywords and expressions.