В настоящее время в мире уже накоплены значительные объемы оцифрованной графической, фото- и видеоинформации, и эти данные активно используются в самых различных предметных областях. Все активнее осуществляется работа с изображениями и видеоинформацией в Интернет. Актуальная проблема - обеспечение эффективного содержательного поиска в электронных коллекциях изображений. При очевидном значении традиционного поиска изображений по ассоциированным с ними метаданным, такой подход представляется недостаточным. Неоднозначность соответствия между визуальным содержанием и текстовым описанием снижает показатели точности и полноты поиска; кроме того, подготовка описаний человеком - дорогостоящий и трудоемкий процесс.

Доклад посвящен вопросам организации доступа к электронным коллекциям изображений с использованием характеристик визуального содержания разного уровня абстракции. Он представит используемые для этого методы анализа, индексирования и поиска изображений, в том числе и видеофильмов.

Будут рассмотрены следующие вопросы:

• Индексирование изображений с помощью автоматически вычисляемых визуальных примитивов (характеристик цвета, формы, текстуры, а для видео еще и параметров движения сцены и объектов) - эффективное решение в условиях нерешенной проблемы автоматического понимания сцены и распознавания произвольных образов.
• Механизмы поиска по спецификации значений визуальных примитивов и по образцу, определение количественной оценки подобия изображений по значениям примитивов.
• Конкретные методы индексирования и поиска изображений, использующие: цветовые характеристики; измерения текстуры; характеристики форм объектов; параметры движения камеры/сцены и объектов (для видео).
• Метод индексирования изображения с помощью так называемых «ключевых блоков», набор которых определяется в результате кластеризации блоков обучающего множества изображений.
• Обеспечение доступа к изображениям с использованием комплекса средств - как текстовых описаний, так и характеристик визуального содержания, от простейших типа цветовой гаммы до высокоуровневых, связанных с распознаванием отдельных образов, характерных для предметной области.
• Способы представления результатов поиска и механизмы их улучшения на основании обратной связи с пользователем и другие специальные вопросы организации управления базой визуальных данных.
• Особенности организации системы индексирования и поиска видеофильмов, в том числе методы временного сегментирования видеопотока, способы задания запроса и представления информации для быстрого просмотра.
• Характеристики некоторых конкретных систем (QBIC, Virage, NeTra, JACOB, VisualSEEk, Berkeley Blobworld, CANDID, Informedia, MARS, SIMPLIcity, iFind) и их сравнительный анализ.
• Представление проводимых в секторе информационных технологий ИПМ им. М.В.Келдыша РАН работ, связанных с индексированием и поиском изображений и видеоданных на основании визуальных атрибутов, а также с распознаванием некоторых объектов с помощью нейронной сети.

Литература:

1. Ardizzone, E., La Cascia, M., and Molinelli, D., Motion and Color Based Video Indexing and Retrieval, Proc. Int. Conf. on Pattern Recognition, (ICPR-96), Wien, Austria, Aug. 1996.
   http://www.cs.bu.edu/associates/marco/publications.html
2. Байгарова Н.С., Бухштаб Ю.А. и др., Методы индексирования и поиска изображений и видеоданных на основании визуального содержания, Вторая Всероссийская научная конференция "Электронные библиотеки: перспективные методы и технологии, электронные коллекции", Протвино, 26-28 сентября 2000г. стр. 263-273.
3. Carson, C. and Ogle, V.E., Storage and Retrieval of Feature Data for a Very Large Online Image Collection. 1996.
   http://elib.cs.berkeley.edu/papers/
4. Chrictel, M., Stevens, S., Kanade, T., Mauldin, M.,  Reddy, R., and Wactlar, H., Techniques for the Creation  and Exploration of Digital Video Libraries,  Multimedia  Tools and Applications, Boston: Kluwer, 1996, vol. 2.
5. Jain, R. and Gupta, A., Visual Information Retrieval,  Communications of the ACM, 1997, vol. 40, no. 5
   .http://www.virage.com/vim/vimsreport95.html
6. Smith, J.R. and Shih-Fu Chang.  Tools and Techniques for Color Image Retrieval. 1996.
   http://www.ctr.columbia.edu/~jrsmith/html/pubs/
7. Wei-Ying Ma, NETRA: A Toolbox for Navigating Large Image Databases. 1997.
   http://vivaldi.ece.ucsb.edu/Netra/
8. Workshop Papers: 10th DELOS Workshop on Audio-Visual Digital Libraries, Greece, June 1999
9. WorkshopPapers: 8th ACM International Conference on Multimedia, 30 Oct. - 04 Nov., 2000, California