1. Greybox XAI: нейронно-символическая система обучения для создания интерпретируемых прогнозов для классификации изображений (arXiv)
Автор: Адриен Беннетот, Джанни Франки, Хавьер Дель Сер, Раджа Чатила, Наталья Диас-Родригес.
Аннотация: хотя глубокие нейронные сети (DNN) обладают большими возможностями обобщения и прогнозирования, их функционирование не позволяет подробно объяснить их поведение. Непрозрачные модели глубокого обучения все чаще используются для важных прогнозов в критических средах, и опасность заключается в том, что они делают и используют прогнозы, которые нельзя оправдать или узаконить. Появилось несколько методов объяснимого искусственного интеллекта (XAI), которые отделяют объяснения от моделей машинного обучения, но имеют недостатки в отношении верности фактическому функционированию и надежности модели. В результате существует широко распространенное мнение о важности наделения моделей глубокого обучения объяснительными возможностями, чтобы они сами могли дать ответ на вопрос, почему был сделан конкретный прогноз. Во-первых, мы решаем проблему отсутствия универсальных критериев XAI, формализуя, что такое объяснение. Мы также представили набор аксиом и определений, чтобы прояснить XAI с математической точки зрения. Наконец, мы представляем Greybox XAI, структуру, которая составляет DNN и прозрачную модель благодаря использованию символической базы знаний (KB). Мы извлекаем базу знаний из набора данных и используем ее для обучения прозрачной модели (то есть логистической регрессии). Архитектура кодер-декодер обучается на изображениях RGB для получения выходных данных, аналогичных КБ, используемых прозрачной моделью. После независимого обучения двух моделей они композиционно используются для формирования объяснимой прогностической модели. Мы показываем, насколько эта новая архитектура точна и объяснима на нескольких наборах данных.
2.На пути к XAI, совместимому с человеком: объяснение различий данных с помощью индукции понятий по сравнению с фоновыми знаниями (arXiv)
Автор: Кара Видмер, Мэд Камруцзаман Саркер, Шрикант Наделла, Джошуа Фихтер, Ион Джувина, Брэндон Миннери, Паскаль Хитцлер, Джошуа Шварц, Майкл Реймер
Аннотация: индукция понятий, основанная на формальных логических рассуждениях поверх логики описания, использовалась в разработке онтологий для создания аксиом онтологий (TBox) из графа базовых данных (ABox). В этой статье мы показываем, что его также можно использовать для объяснения различий в данных, например, в контексте объяснимого ИИ (XAI), и мы показываем, что на самом деле это можно сделать так, чтобы это было понятно наблюдателю-человеку. Наш подход использует большую иерархию классов, созданную на основе иерархии категорий Википедии, в качестве базовых знаний.
3. Объяснение моделей машинного обучения в естественных диалогах: на пути к диалоговому агенту XAIAgent(arXiv)
Автор:Ван Бах Нгуен, Йорг Шлоттерер, Кристин Зайферт
Аннотация. Целью объяснимого ИИ (XAI) является разработка методов, позволяющих получить представление о процессе рассуждений в моделях черного ящика, таких как глубокие нейронные сети, чтобы объяснить их людям. Исследования в области социальных наук утверждают, что такие объяснения должны быть разговорными, похожими на объяснения от человека к человеку. В этой работе мы покажем, как включить XAI в диалоговый агент, используя стандартный дизайн для агента, включающий компоненты понимания и генерации естественного языка. Мы основываемся на банке вопросов XAI, который мы расширяем перефразированием с контролем качества, чтобы понять информационные потребности пользователя. Далее мы систематически изучаем литературу в поисках подходящих методов объяснения, которые предоставляют информацию для ответов на эти вопросы, и представляем исчерпывающий список предложений. Наша работа — это первый шаг к действительно естественным разговорам о моделях машинного обучения с агентом объяснения. Полный список вопросов XAI и соответствующие методы объяснения могут помочь другим исследователям в предоставлении необходимой информации для удовлетворения потребностей пользователей.
