Proceedings 2002

ВОПРОСЫ СЕМАНТИЧЕСКОГО ПОИСКА В ИНТЕГРИРОВАННЫХ (ВЕРБАЛЬНО-ОБРАЗНЫХ) СИСТЕМАХ, ОРГАНИЗОВАННОГО ПО ПАРАМЕТРУ «ЦВЕТОВАЯ ПАЛИТРА»[1]

 

 

И. В. Галина

Институт проблем информатики Российской академии наук

nl2@mail.ru

 

 

Ключевые слова: семантический поиск, интегрированные системы, цветовая палитра, вербальные и невербальные знаки.

 

Цветовая палитра рассматривается как один из смысловых параметров, имеющий содержательное значение для организации поиска значимых (вербальных и невербальных) компонентов в интегрированных электронных библиотеках.

Анализируются варианты поиска невербальных знаков (изображений) на основе их цветовых атрибутов. Уделено внимание проблеме сопоставления вербальных и невербальных знаков, связанных параметром «цветовая палитра» и сосуществующих в одной семиотической системе, а также возможным принципам организации вербально-образного тезауруса. Исследуются возможные способы нормализации цветовой палитры.

 

 

Исследование проблематики цветообозначений в современной лингвистике ведётся уже давно (например, в известных работах И.М.Кобозевой, Е.В.Рахилиной, Р.М.Фрумкиной и др., имеющих психолингвистический характер). Теперь эта проблема встаёт и перед создателями интегрированных поисковых систем, ориентированных на проведение поиска, основанного не только на традиционных лингвистических механизмах. В таких системах делаются попытки осуществить поиск невербальных знаков (изображений) по их смысловым атрибутам. В фокусе данного сообщения находится проблематика цветообозначений, связанная с решением поисковых задач.

Трудности, возникающие при семантическом исследования цветообозначений в лингвистике, и проблема сопоставления вербальных и невербальных знаков, связанных параметром «цветовая палитра», обоснованы тем, что цветообозначения представляют собой, по терминологии Пирса, "образные иконические знаки", характеризующиеся "фактическим подобием означаемого и означающего" [2]. Лексемы типа "красный", "жёлтый" и т. д. относятся к базовым категориям человеческого мышления [4] и "содержат такое количество информации об объекте или явлении, которого оказывается достаточно для большинства ситуаций, в которых человек с ними встречается"  [2]. При компьютерном решении вопросов поиска, основанного на цветообозначениях, необходимо учитывать проблему различного восприятия цвета человеком и машиной, а также разницу, возникающую при оценке адекватности цветообзначения объекта разными людьми.

Обеспечение доступа к коллекциям изображений долго было сложной проблемой. Наконец, перед разработчиками компьютерных методов поиска изображений встал вопрос о том, уместно ли и дальше продолжать разработку традиционных (основанных на вербальном материале) поисковых решений, для ведения поиска смысловых компонентов, существующих в иной, чем текст, семиотической модальности. При этом они также столкнулись с необходимостью разрешения вопросов понимания когнитивных процессов, участвующих в поиске изображения, включая фундаментальный вопрос подобия в среде визуального восприятия. [6].

В последнее время в ряде поисковых систем цветовая палитра рассматривается как один из смысловых параметров, имеющий содержательное значение для организации поиска значимых (вербальных и невербальных) компонентов в интегрированных электронных библиотеках. На практике в большинстве информационных систем такого рода в качестве фундаментальных атрибутов цветовой палитры изображений были выделены цвет и текстура.

Наиболее распространённым способом поиска изображений по его атрибутам является использование цветных гистограмм. Под цветной гистограммой обычно понимается визуальное представление распределения цвета в изображении [6]. Однако поиск по гистограммам далеко не всегда приводит к нахождению единственного требуемого объекта поиска, поскольку одиночная цветная гистограмма может отображать признаки, присущие  многим различным объектам.

Текстура - вторая основная особенность визуальных объектов, используемая в поиске изображений. Haralick [8] характеризует текстуру как "феномен организации области цвета", имеющий два основных компонента: базовые модули (примитивы), из которых составлена текстура, и распределение примитивов в пространстве цвета. Хотя некоторыми исследователями предпринимались шаги для определения основных "текстонов" текстуры и был предложен ряд её элементов [10], дать определение текстуры до сих пор довольно трудно. Большинство разработчиков моделей анализирующих текстуру изображений определяет её как двумерное распределение вариаций полутонов [3].

Существуют различные варианты решения задачи поиска изображений на основе их цветовых атрибутов, притом, что цветовая палитра этих знаков несет семантическую нагрузку в представлении научных знаний.

Например, в некоторых информационных системах используется комплексный подход к разработке методики семантического поиска как по вербальным, так и по невербальным содержательным компонентам документа, при котором для проведения поиска по текстовой части применяются традиционные лингвистические методики, а для проведения поиска по графической части используются характерные признаки изображений в виде набора типовых текстур с учетом цветовой палитры ( в проекте NSF IRI-9704785, который выполняется в университете Калифорнии (Санта-Барбара) [12]); или в виде типов изо-объектов и их пространственного расположения [6, 9, 11].

Другая методика поиска изображений опирается на создание визуального пиктографического языка, описывающего цветовую палитру запрашиваемого объекта в соответствии с моделью цветовых сочетаний [7]. 

В системе QBIC (первоначально разрабатывалась в Исследовательском центре IBM) применяется поиск, базовыми элементами которого являются цвет, текстура, форма, пространственное расположение характеристик или их комбинации. Поиск ведётся с использованием нескольких методик. Атрибуты типа цвета и текстуры могут быть выбраны из существующих визуальных палитр, в то время как формы могут быть введены пользователем [9]. Пользователь задаёт запросы, основанные на примерах изображений, и система ищет другие изображения с подобным цветом и текстурой. Пользователь может также использовать графические инструментальные средства, чтобы определить произвольные характеристики типа цветной гистограммы: 20 % определенного оттенка синих, 30 % оттенка зеленых. Результатом поиска является выдача изображений, размещаемых в порядке по убыванию соответствия к запросу пользователя. Для ограничения области поиска могут также использоваться вербальные атрибуты ("имя художника"). В последующей версии сети QBIC (http://libra.ucdavis.edu; http://wwwqbic.almaden.ibm.com/) добавляется новая функция размещения цветов, которая позволяет использовать при поиске определенное  расположение цветов.

Система Chabot [13] также представляет собой пример возможных подходов к организации двойного поиска: по вербальным и невербальным характеристикам. Запросы в этой системе могут быть основаны на использовании лексических описаний и/или типовых изображений. Эта система поддерживает описания типа "главным образом красный" или "отчасти желтый", определяющие поиск изображений в пределах конкретного цветового диапазона [11, 13].

Известно, что при организации поиска на основе цветовых атрибутов изображения разработчики сталкиваются с проблемой нормализации цветовой палитры. Системы типа Chabot, использующие нечёткие лингвистические описания в сопоставлении с цветовыми атрибутами, могут служить возможным вариантом решения этой проблемы.

Пока ещё надёжное и непротиворечивое применение различных методик поиска изображений остается делом будущего. Наиболее вероятно, что гораздо более интересные и полезные результаты представления и поиска изображений ждут нас на пути развития методов, комбинирующих запросы, базирующиеся на обработке основных атрибутов изображений (цвет, форма и т.д.), с традиционными текстовыми запросами. [5, 6,11, 14].

На основе указанных подходов представляется возможным создание вербально-образного тезауруса, который должен стать ядром семантического поиска по вербальным и невербальным компонентам. В работах Jorgensen и Martini [6, 11] рассмотрен ряд информационных систем изображений, использующих тезаурус и ограниченный поиск по ключевым словам. Подобные методики позволяют добавить к изображениям описательный комментарий, в то время как хранитель коллекции может редактировать комментарий и использовать его для выбора ключевых слов, ограничивающих поиск изображения. "В настоящее время имеется опыт построения тезаурусов и для графических материалов и изображений… Эти тезаурусы содержат вербальные дескрипторы и алфавитно-цифровые коды, соответствующие цветовой гамме и/или текстуре изображений. Однако эти тезаурусы не имеют образных дескрипторов и не охватывают ту сферу знаний, которые достаточно адекватно могут быть представлены только в невербальной форме" [1].

Несмотря на то, что разработка концепции такого тезауруса является актуальной задачей, эта задача, к сожалению, до сих пор остаётся нерешённой.

 

 

Литература

 

1. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках (часть 1). / Научно-техническая информация, сер. 2, №10, 2001.
2. Кобозева И.М. Лингвистическая семантика. // Москва, 2000.
3. Ahuja N. Texture analysis. // Encyclopedia of Artificial Intelligence. Ed. S. C. Shapiro, New York: Wiley, 1992, pp. 1101-1115.
4. Berlin B. and P. Kay. Basic Color Terms. // Berkeley, University of California Press, 1969.
5. Chang S.F. and J.R. Smith. Visual Information Retrieval from Large Distributed Online Repositories.// Communications of theACM 1997, 40(12) (1997), 63-71.
6. Corinne Jorgensen. Access to Pictorial Material: A Review of Current Research and Future Prosp. // School of Information and Library Studies 534 Baldy Hall University at Buffalo Buffalo, NY 14260-1020, USA (E-mail: cjorgens@acsu.buffalo.edu).
7. Corridoni Jacopo M., Del Bimbo Alberto, Vicario Enrico. Image retrieval by color semantics with incomplete  knowledge.// J.Amer. Soc. Inf. Sci., 1998, №3.
8. Haralick R.M. Statistical and Structural Approaches to Texture. // Proceedings IEEE 67 (1979), 786-804.
9. Holt B. and K. Weiss. Proceedings of the 60th ASIS Annual Meeting. // ASIS '97, Washington, D.C., Information Today, Inc., 1997.
10. Julesz B. Textons, the Elements of Texture Perception and Their Interactions. // Nature 290 (1981), 9-97.
11. Martini Kirk. Digital archives of engineering images: lessons from the arts. // Advances in Engineering Software, Vol. 29, No. 10, pp. 833-837. 1998
12. Ma Wei-Jing, Manjunath B.S. A texture thesaurus for browsing larg aerial photographs. // J. Amer. Soc. Inf. Sci., 1998, №7.
13. Ogle V. E. and Stonebraker M. Chabot: retrieval from a relational database of images. // IEEE Computer, 1995, 28(9), 40-48.
14. Romer D. M. Keyword is Worth 1000. // Images.Getty Information Institute Online Conference on Digitizing Technologies, 1995.

 

 

Questions of semantic retrieval in the integrated (verbal - pictorial) systems, organized on parameter "a color palette"

Galina Irina Vladimirovna

 

Key words: semantic retrieval, integrated systems, a color palette, verbal and nonverbal components.

 

The color palette is examined as one of the semantic parameters, having substantial value for the organization of search significant (verbal and nonverbal) components in the integrated digital libraries.

Variants of retrieval of nonverbal signs (images) are analyzed on the basis of their color attributes, that the color palette of these signs carries semantic loading in performance of scientific knowledge. The attention is given to a problem of comparison of the verbal and nonverbal sings connected in parameter " a color palette " and coexisting in one semiotics system; and also to possible principles of the organization of the verbal - pictorial thesaurus being a nucleus of semantic retrieval in verbal and nonverbal components. Possible ways of normalization of the color palette, directed to the organization of semantic retrieval of the nonverbal scientific information with use of this parameter in electronic collections and libraries are investigated.

 

 

[1] Работа выполнена при поддержке РФФИ, № проекта 01-06-80332