Нейросетевой подход к ИИ в последнее десятилетие получил широкое распространение, искусственные нейронные сети активно используются для решения широкого спектра задач обработки информации (особенно, слабоструктурированной – видео, аудио, тексты). Одним из значительных недостатков нейросетевого подхода к ИИ при принятии решений является то, что результат работы нейронной сети не всегда является легко интерпретируемым и объяснимым. Это, в частности, ограничивает доверие экспертов к результатам работы нейронных сетей и сдерживает их применение в ответственных областях.

Нехватка интерпретируемости, в частности, очень сильно сказывается в сценариях, где необходима совместная работа человека и ИИ в том или ином виде. Совместная работа и взаимодействие требуют использования символьной системы, что делает востребованным работу в направлении синтеза символьного и нейросетевого подходов.

В докладе рассматривается одно из направлений такого синтеза, в котором символьные знания представлены как онтология предметной области. Актуальность использования онтологий как основы коммуникативной системы при коллаборативной поддержке принятия решений обусловлена двумя факторами:

1. Онтология представляет собой формализованное представление терминологии предметной области, а значит и непротиворечивый язык, который понятен эксперту и может обрабатываться программно.
2. К настоящему моменту разработано большое количество онтологий для многих предметных областей. Эти знания описаны с использованием стандартизованных языков (Semantic Web) и потенциально могут быть использованы в широком спектре приложений.

Ключевыми являются два вопроса:

1. Как знания предметной области, представленные в виде онтологии, могут быть интегрированы в нейронную сеть для повышения точности ее предсказаний.
2. Как онтологии могут быть использованы для повышения объяснимости нейронных сетей?

В докладе представлен обзор основных методов использования онтологий предметной области для повышения объяснимости глубоких нейронных сетей и точности предсказаний, получаемых с их помощью [1, 2]. Представлен также ряд оригинальных результатов, касающихся ретроспективного онтолого-ориентированного объяснения нейронных сетей [3-6], построения самообъяснимых архитектур нейронных сетей, а также исследования влияния онтолого-ориентированного объяснения на эффективность работы пользователя интеллектуальной системы [7]. Обсуждаются ограничения текущих решений и возможные направления исследований в данной области.

Репозиторий: RevelioNN (https://github.com/cais-lab/revelionn)

Слайды доклада

Видео доклада.

Литература:

1. Шилов, Н. Г., Пономарев, А. В., Смирнов, А. В. Анализ методов онтолого-ориентированного нейро-символического интеллекта при коллаборативной поддержке принятия решений // Информатика и автоматизация, 2023, 22(3), 576-615. DOI: 10.15622/ia.22.3.4
2. Smirnov A., Ponomarev A. Ontology-based Explanations of Neural Networks for Collaborative Human-AI Decision Support Systems // IITI 2023, LNNS 776, pp. 353–362, 2023. DOI: 10.1007/978-3-031-43789-2_33
3. Ponomarev A., Agafonov A. Ontology-Based Post-Hoc Explanations via Simultaneous Concept Extraction // 21st IEEE International Conference on Machine Learning and Applications (ICMLA), 2022, pp. 887-890. DOI: 10.1109/ICMLA55696.2022.00147
4. Agafonov A., Ponomarev A. RevelioNN: Retrospective Extraction of Visual and Logical Insights for Ontology-Based Interpretation of Neural Networks // 34th Conference of Open Innovations Association (FRUCT), 2023, pp. 3-9. DOI: 10.23919/FRUCT60429.2023.10328156
5. Agafonov A., Ponomarev A. An Experiment on Localization of Ontology Concepts in Deep Convolutional Neural Networks // In The 11th International Symposium on Information and Communication Technology (SoICT 2022). ACM, New York, USA, 82–87. DOI: 10.1145/3568562.3568602
6. Ponomarev A., Agafonov A. Ontology Concept Extraction Algorithm for Deep Neural Networks // Proceedings of the 32nd Conference of Open Innovations Association FRUCT, 2022, pp. 221-226. DOI: 10.23919/FRUCT56874.2022.9953838
7. A. Ponomarev, A. Agafonov Ontology-Based Explanations of Neural Networks: A User Perspective // HCI International 2024, LNAI 14734, DOI: 10.1007/978-3-031-60606-9_15