СЕГМЕНТАЦИЯ УСТНОГО НАРРАТИВА И ИЗОБРАЗИТЕЛЬНЫЕ ЖЕСТЫ: КИНЕТИЧЕСКИЕ
ПРИЗНАКИ ГРАНИЦ И СВЯЗЕЙ МЕЖДУ СЕГМЕНТАМИ ДИСКУРСА
SEGMENTATION OF ORAL
NARRATIVE DISCOURSE AND ILLUSTRATIVE GESTURES: VISUAL CLUES AS SEGMENT MARKERS
Николаева
Ю.В. (lis_julia@list.ru)
Московский государственный университет им. М.В. Ломоносова
Это исследование изучает взаимосвязь иллюстративных жестов, сопровождающих речь, и структуры дискурса. Задача этой работы - показать, какие отдельные признаки жестов-иллюстраторов указывают на наличие границ сегментов – таких единиц дискурса, которые крупнее, чем ЭДЕ, но меньше, чем весь дискурс.
Введение
Для целей исследования нами был создан корпус устных рассказов. Стимулом для них послужил 6-минутный видеосюжет, т.н. «Фильм о грушах» – «Pear film» (Chafe 1980). Было записано 8 описаний этого фильма, сделанных студентами МГУ, общей продолжительностью около 20 мин. Всего в корпусе было 594 ЭДЕ (элементарных дискурсивных единицы, которые обычно совпадают с простым предложением; подробнее об этом см. Кибрик, Подлесская 2006) и примерно 370 иллюстративных жестов.
При изучении корпуса главным вопросом был следующий: можно ли только на основании жестов построить по каким-то признакам структуру дискурса. Для ответа на этот вопрос были рассмотрены ряд жестовых характеристик, их взаимосвязь, а также некоторые другие дополнительные факторы.
1. Основные понятия.
Сферой данного исследования являются иллюстративные жесты и то, как они используются в процессе коммуникации.
Что такое жесты? Слово интуитивно понятно и очевидно, но тем сложнее дать ему научное определение. Следует учитывать также, что понятие «жест» используется во многих контекстах и для самых разных аналитических и практических целей.
В обычном смысле слово «жест» понимается как телодвижение, преимущественно рукой, сопровождающее речь для усиления ее выразительности или имеющее значение какого-либо сигнала, знака и т.п. (см. Словарь русского языка в 4-х тт. под ред. Шевелевой). Чтобы сузить число рассматриваемых явлений, большинство исследователей (см. напр. McNeill 1992, Goldin-Meadow 2003, Kendon 2004) рассматривают только движения рук, не всегда уточняя это эксплицитно. В нашем исследовании также речь идет только о движениях рук (хотя движения и изменение положения корпуса, головы и ног тоже имеют значение в дискурсе, но основная доля информации, передаваемой в общении, относится к движениям рук (см. Крейдлин 2002)).
Второй важный компонент в этом определении – намерение говорящего, который использует этот жест с целью выделить или сообщить что-то, в дополнение или вместо речи. Большинство авторов работ по данной теме прямо или косвенно выделяют этот аспект, обозначая область своего исследования. Вот какое определение жестам дает Адам Кендон: «Движения, распознаваемые другими как совершенные намеренно с целью выразить что-то в процессе коммуникации» (Kendon 1996: 9). В определении, которое предлагает Г.Е. Крейдлин, понимание жестов как коммуникативного средства отделено от намерения говорящего – жесты понимаются как носители информации, выступая в качестве «знаковых кинетических единиц выражения и передачи информации» (Крейдлин 2002: 10). Движения, не передающие информацию, например, продиктованные физиологическими потребностями (затекли ноги или чешется затылок), таким образом, не входят в сферу интересов исследователей жестов. Проведение границы между коммуникативными движениями и невольными и физиологическими движениями неизбежно сталкивается с некоторыми дополнительными вопросами, поскольку приходится разделять некоторый континуум, приписывая все множество возможных движений к одному из двух полюсов; еще один вопрос – кто наблюдатель, кто оценивает, является ли данное поведение знаковым или нет. В контексте данной работы эта проблема приобретает дополнительную сложность, поскольку дальше мы покажем, что движения, на которые раньше не обращалось внимания, и которые посторонние наблюдатели склонны были бы объяснять субъективными факторами, тесно связаны с потоком речи и даже могут добавлять некоторую новую информацию к передаваемым словам.
В этой же работе Г.Е. Крейдлина описана наиболее распространенная на данный момент классификация жестов. Они подразделяются на три основных семиотических класса: (а) имеющие самостоятельное лексическое значение и способные передавать смысл независимо от вербального контекста, (б) выделяющие какой-то речевой или иной фрагмент коммуникации, и (в) управляющие ходом коммуникативного процесса, то есть устанавливающие, поддерживающие или завершающие коммуникацию. Первый вид - эмблематические жесты, или эмблемы. Второй вид – это иллюстративные жесты, или иллюстраторы, а третий – регулятивные жесты, или регуляторы. Т.о. иллюстраторы понимаются как жесты, которые по своей природе не могут передавать значения независимо от вербального контекста и никогда не употребляются отдельно от него. Наряду со словом иллюстраторы, также используются термины «жестикуляция» (Kendon 1983) и «движения, ориентированные на речь» (Butterworth, Beattie 1979).
2. Характеристики жестов,
связанные со структурой дискурса
Чтобы определить, какие особенности жестов и каким образом связаны с переходом от одной локальной темы, события или эпизода в мире дискурса к другому, мы обращали внимание на следующие признаки кинетических знаков:
- Смена положения рук в нейтральной позиции (в положении покоя).
- Изменение места производства жеста, а также сохранение ментального пространства [1] (для нескольких последовательных или не следующих друг за другом жестов и повторное обращение к предыдущим жестам).
- Изменение числа рук, участвующих в жесте.
- Повторяющиеся жесты или отдельные их характеристики, при изменении других.
- Также учитывались форма, семантика и тип жеста.
В некоторых случаях какие-то характеристики жестов могут служить показателями границ сегментов разного уровня (более и менее крупных), их функций (вступление – основная часть – завершение; комментарии, относящиеся к метатекстовому уровню; второстепенные замечания, сбои, самоповторы и переформулировки) и даже связей сегментов дискурса между собой.
3. Положение рук в нейтральной
позиции (в положении покоя).
Как показывает анализ корпуса устных рассказов, иногда даже
минимальные изменения (говорящий держит руки на коленях ладонями вниз, потом
переворачивает правую руку ладонью вверх, потом снова ладонью вниз) служат явными
показателями границы между сегментами. Однако надо отметить, что в таких тонких
вещах, как кинетические показатели структуры дискурса, рассматриваемые нами,
очень многое определяется индивидуальными стратегиями каждого человека. У
некоторых из 8 изученных человек нейтральное положение рук менялось каждые 2-3
ЭДЕ, у некоторых оно сохранялось неизменным на протяжении всего рассказа.
Однако однозначно можно сказать, что этот фактор является признаком нового
смыслового абзаца в большинстве случаев, что удивительно, если учесть, что
движения могут быть едва заметными даже для внимательного наблюдателя.
Уже достаточно хорошо изучено, что смена позы говорящего, приближение или
отдаление корпуса могут указывать на смену темы разговора или даже на изменение
стиля беседы (например, это может быть переход от обсуждения формальных
вопросов к дружескому общению). Однако если говорящий кладет локоть на стол или
разворачивает руку ладонью вверх, это тоже может говорить о некоторой локальной
границе в дискурсе: например, имеет место появление нового действующего лица
при сохранении места и времени описываемых событий.
Еще один момент, который мог бы служить знаком окончания эпизода – возвращение рук в положение покоя после окончания непрерывной серии жестов, т.н. жестовой фразы (об иерархии жестовых движений, предложенной Кендоном, см. Крейдлин 2002: 73 и McNeill 1992: 82). В нашем корпусе встречались рассказы, в которых говорящая опускала руки на колени после каждого жеста. Можно сделать вывод, что этот признак очень сильно зависит от индивидуальных особенностей жестикулирующего, так что опираться на него при выделении дискурсивных сегментов не всегда возможно. С большой степенью вероятности можно утверждать, что серии непрерывных жестов – жестовые фразы – находятся внутри одного сегмента.
4. Место производства жеста.
Очевидно, что у каждого человека есть некоторое комфортное положение рук, в котором будут производиться все жесты, сопровождающие данный сегмент. Кажется логичным предположение, что по ходу рассказа жестовое пространство будет распределено между разными референтами – действующими лицами, объектами и пр., которые будут располагаться в разных местах, и потом использоваться при следующих упоминаниях. Однако, как следует из примеров в нашем корпусе, такие случаи очень редки. Место производства жеста зависит скорее от темперамента и других индивидуальных или ситуативных характеристик. На это может влиять, например, реакция слушающего, если он демонстрирует непонимание обращенных к нему слов. Так, в одном из рассказов из-за путаного изложения событий (частые возвраты и пояснения к уже рассказанному) слушающая не смогла идентифицировать антецедентов местоимения. Тогда рассказчица вернулась к началу этого эпизода, при этом подняла руки, чтобы жесты были видны адресату (до этого все ее жесты были закрыты от слушающей столом), и жестикулировала гораздо больше, энергичнее и подробнее, чем в первом варианте. При этом ее руки или она сама представляла только того персонажа, о котором она говорила в данный момент, без соотнесения с другими действующими лицами и без присутствия закрепленных за ними точек в пространстве рядом с говорящей.
Однако мы встретили у этой же рассказчицы примеры, когда жест указывал на некую точку в пространстве, где был выполнен один из жестов раньше – таким образом, происходила отсылка к описанным ранее событиям (пример 1, рис. 1 и 2).
(1)
ЭДЕ № 143-145
Мимо проходят мальчики,
которые едят груши. [2]
правая рука у лица,
ладонью к себе, пальцы полусогнуты – «едят груши», см. рис. 1
Эти же груши.
форма руки
сохраняется, на той же высоте движение сначала вперед, к слушающей, затем в ту
же точку у лица – т.о. получается сопоставление «тех» груш, о которых было
рассказано раньше (собранных садовником) и которые должна вспомнить слушающая,
и тех, которые были показаны в жесте у лица одновременно с предыдущей ЭДЕ, см.
рис. 2.
В данном примере в ментальном пространстве у лица помещены не груши, а вся ситуация – мальчишки идут мимо садовника и едят груши. И сопоставление идет не с каким-то другим объектом, а с грушами же, но в других обстоятельствах, т.е. с другой ситуацией.
Рис. 1. «Едят груши».
Рис. 2. «Эти же груши»
5. Число рук, участвующих в жесте
Как отмечалось в работе Quek et al. 2001, «рукость» (handedness) – один из возможных признаков, указывающих на единство некоторого дискурсивного сегмента.
Кроме того, этот признак (одна или две руки участвуют в жесте) может закрепляться за отдельными референтами. Так, в нашем корпусе все участники изображали большую и тяжелую корзину с грушами, как бы держа ее за две ручки. Это уже похоже на эмблематический жест («корзина» – две руки ладонями друг к другу, сжатые в кулаки, как на рис.3). Так, рассказ о том, как мальчик ставит эту корзину себе на велосипед, сопровождается несколькими похожими жестами: говорящий поднимает воображаемую корзину за две ручки и переносит ее в сторону и чуть выше, и один и тот же жест повторяется на протяжении всего сегмента, посвященного этому эпизоду, см. пример 2, рис. 3:
(2)
ЭДЕ №181-188
потом решает,
что нужно украсть | целую= целую корзину.
две руки симметрично сжаты в кулаки,
ладонями друг к другу, с согнутыми под прямым углом локтями – «держит корзину»;
движение справа налево по дуге, немного вверх – «поднимает и ставит корзину на
велосипед»
(.. а 1.0) Он значит ее берет,
с трудом поднимает эту корзину
на велосипед,
жест повторяется, с большей амплитудой
(....1.2) Он поднимает,
ставит эту корзину на
велосипед,
жест повторяется, руки уже более
расслаблены
(...0.8) и уезжает.
(см. рис. 3)
Рис.3. Жест «поднимает корзину»
6. Повторяющиеся жесты или сохранение
отдельных особенностей жестов.
Дэвид МакНил, первым обративший внимание на такой интересный феномен, называет повторяющиеся жесты catchments (McNeill et al. 2000).[3] Д.МакНил описывает это явление так: «Кэтчмент присутствует, когда какие-то характеристики сохраняются в двух или более (не обязательно последовательных) жестах. Смысл этого понятия в том, что повторение визуального представления в мышлении говорящего будет порождать повторяющиеся характеристики жеста. Выявляя кэтчменты, созданные определенным говорящим, мы можем увидеть, что именно этот говорящий объединяет в более крупные фрагменты – какие понятия рассматриваются им как сходные или относящиеся к одной группе, а какие значения помещены в разные кэтчменты или изолированы, и таким образом воспринимаются говорящим как имеющие разные или менее связанные значения.»
Эта тема дает самые большие возможности для обобщений. В примере 3 повторение формы жеста показывает тесную связь между соседними ЭДЕ.
Однако поскольку главным вопросом в нашей работе было построение структуры всего нарратива, то этого фактора, взятого отдельно, оказалось недостаточно. Повторяющиеся жесты – не постоянное явление в процессе речи, сопровождаемой жестикуляцией. Они помогают выделить какие-то отдельные сегменты, связать их друг с другом, как в примере 1, но для построения целостной структуры их решительно недостаточно.
7. Взаимодействие говорящего и
слушающего и его влияние на жестикуляцию говорящего.
Уже достаточно хорошо известно, что далеко не все жесты говорящего ориентированы на слушающего. В нашем эксперименте и говорящий, и слушающий сидели у стола, разделенные его краем, и примерно половина жестов были вне зоны видимости адресата.
В статье Bavelas 2007 было показано, что информация, передаваемая адресату, очень сильно зависит от эмоционального состояния адресата, направления его внимания и отношений между участниками коммуникации. О важности включения микросоциального контекста в анализ дискурса также писали Müller 2007 и Braten 2007. В нашем корпусе было несколько примеров такого взаимодействия. Один из частых случаев – говорящий, чаще всего невербально (интонацией или жестами) запрашивает у слушающего обратную связь. Это может быть выражение неуверенности в точности пересказа фильма, или ожидание подтверждения того, что слушающий внимательно следить за рассказом и понимает, что там собственно происходило. Вот один из примеров такого общения, в котором вопрос задан говорящим, но с помощью невербальных сигналов, и а ответ дан слушающим, но посредством речи.
У одной из студенток, пересказывавших фильм, дважды появился жест, когда она убирала левую руку к лицу: в середине рассказа (пример 3, рис. 4) и в конце (пример 4).
(3)
ЭДЕ №15-23
(...0.6) Он остановился рядом с корзинами,
(...0.5)ии по всей видимости украл одну из них.
(..0.4) То есть он не говоря ни слова,
Жест «метафора
передачи» правой рукой, левая рука у лица.
[- которая была наполнена?]
да, он не говоря {ни слова,
просто (ммм .7) слез с велосипеда,
взял эту корзину,
поставил к себе на велосипед,
и уехал.
Рис. 4. «То есть не
говоря ни слова».
(4)
ЭДЕ №48-50
И он (..мм 0.8) никак в общем не
выразил свое неудовольствие,
просто был в удивлении.
(.... 1.2) Все.
Жест «метафора
передачи» правой рукой, левая рука у лица.
В обоих случаях (в № 17 и 20 и в последней, завершающей ЭДЕ №50) рука у лица сообщает о неуверенности (которая выражена в №16 словами «по всей видимости», а в конце проявляется также в длинной паузе и вопросительном взгляде).
Выводы
В нашей статье поднята пока малоизученная тема о связи структуры устного нарратива и иллюстративных жестов. На примере небольшого корпуса устных рассказов показано, как отдельные признаки жестов и положения рук могут добавлять дополнительную информацию касательно организации дискурса, состояния говорящего и процесса коммуникации. Так, изменение положения покоя рук с большой вероятностью указывает на границу сегмента – «абзаца» устной речи. Повторяющиеся жесты указывают на сохранение некоторой локальной темы или на возвращение референта, упомянутого ранее. Использование жестового пространства для повторной референции, по нашим наблюдениям, имеет свои особенности: в таких случаях жест напоминает не столько об объекте, сколько о целой ситуации из мира дискурса или о моменте в коммуникации.
Литература:
- Кибрик А.А., Подлесская В.И. Проблема сегментации устного дискурса и когнитивная система говорящего // Соловьев В.Д. (ред.) Когнитивные исследования. М.: Институт психологии РАН. 2006. Вып. 1. С. 138-158.
- Крейдлин Г.Е. Невербальная семиотика // М.: Новое литературное обозрение, 2002.
- Николаева Ю.В. Функциональные и семантические особенности иллюстративных жестов в устной речи (на материале русского языка) // «Вопросы языкознания», №4, 2004, с. 48-64
- Bavelas J.. Face-to-Face Dialog as a Micro-Social Context: The Example
of Motor Mimicry
// Gesture and the Dynamic Dimension of Language.
Essays in honor of David McNeill. Eds. S. Duncan, J. Cussell, E.Levy.
Pp.127-146. Amsterdam/Philadelphia, 2007.
- Butterworth B., Beattie G. Gestures
and silence as indicators of planning in speech // R.N. Campbell, P.T.
Smith (eds.) Recent advantages in the psychology of language: Formal and
experimental approaches. NY: Plenum Press, 1978, 347-360.
- Braten E.S. On being
moved: From mirror neurons to empathy. // Gesture and the Dynamic
Dimension of Language. Essays in honor of David McNeill. Eds. S. Duncan,
J. Cussell, E.Levy. Рp. 109-116. Amsterdam/Philadelphia, 2007.
- Chafe W.(ed.) The Pear Stories: Cognitive, Cultural,
and Linguistic Aspects of Narrative Production. //
- Goldin-Meadow, S. Hearing
gesture: How our hands help us thin.
- Kendon A. Gesture and
speech: How they interact. // J.M. Wiemann, R.P. Harrison (eds.) Nonverbal
interaction.
- Kendon A. An Agenda for
Gesture Studies. Semiotic Review of Books. Vol.7 (3) 1996. 8-12.
- Kendon A. Gesture: Visible
action as utterance.
- McNeill D. Hand and mind:
what gestures reveal about thought. //
- McNeill D., Quek F.,
McCullough K.-E., Duncan S., Furuyama N., Brill R,
Ma X.-F., Ansari R. Catchments, prosody and discourse. //
Gesture, 2000.
- Müller C. A Dynamic
View of Metaphor, Gesture and Thought. // Gesture and the Dynamic
Dimension of Language. Essays in honor of David McNeill. Eds. S. Duncan,
J. Cussell, E.Levy. Рp. 109-116. Amsterdam/Philadelphia, 2007.
- Quek F., McNeill D.,
Brill R, Duncan S., Ma X.-F., Kirbas C.,
McCullough K.-E., Ansari R. Gesture and speech multimodal
conversational interaction // VISLab Report-01-01, 2001.
- Turner M.,
Fauconnier G. Conceptual Integration and Formal Expression //
Metaphor and Symbolic Activity. 1995. Vol. 10. № 3.