Улучшение объяснений, основанных на возмущениях, путем понимания роли калибровки неопределенности
Опубликовано в: 39-я конференция по системам обработки нейронной информации (NeurIPS 2025)
Томас Декер¹ ²³, Фолькер Тресп²³, Флориан Бюттнер
(¹ Siemens ², LMU в Мюнхене, ³ Мюнхенский центр машинного обучения (MCML), Франкфуртский университет имени Гете, Немецкий центр онкологических исследований, Немецкий онкологический консорциум)
Объяснения, основанные на возмущениях, повышают прозрачность машинного обучения, но неизвестное поведение модели в условиях возмущений снижает ее надежность. Мы доказываем, что модели дают ненадежные оценки вероятностей при таких возмущениях, что напрямую снижает качество локальных и глобальных объяснений. Мы предлагаем ReCalX перекалибровать модели для получения более точных объяснений без изменения исходных прогнозов и повышения надежности.
Смотреть на странице издателя
Поэтапный мониторинг производительности с учетом неопределенностей с активным вмешательством в маркировку
Опубликовано в: Материалы 28-й Международной конференции по искусственному интеллекту и статистике, PMLR 258:2188‑2196, 2025
Александр Кеблер, Томас Декер, Инго Тон, Фолькер Тресп, Флориан Бюттнер
Мы изучаем модели мониторинга машинного обучения в условиях постепенных изменений распределения, которые медленно и незаметно снижают точность. Мы предлагаем инкрементный мониторинг производительности с учетом неопределенности (IUPM) — метод без маркировки, позволяющий оценивать изменения производительности с использованием оптимальной транспортировки. IUPM количественно оценивает неопределенность прогнозов и использует активную маркировку в условиях ограниченного бюджета для восстановления оценок, что превосходит исходные показатели в сценариях смен.
Смотреть на странице издателя
Wiki-tabner: интеграция распознавания именованных сущностей в таблицы Википедии
Опубликовано в: Международная конференция ACM SIGIR 2025 по исследованиям и разработкам в области поиска информации
Анета Колева, Мартин Рингсквандл, Ахмед Хатем, Томас Ранклер, Фолькер Тресп
Существующие тесты интерпретации таблиц часто чрезмерно упрощают реальные данные. Чтобы решить эту проблему, мы представляем Wiki-tabner — сложный набор данных, содержащий сложные таблицы Википедии с несколькими объектами в ячейке, аннотированные классами DBpedia. Разработанный для распознавания именованных сущностей в таблице (NER) и связывания сущностей, мы подробно описываем его функции, маркировку и систему оценки LLM, а затем проводим качественный анализ производительности модели и ограничений набора данных.
Смотреть на странице издателя
Lightning UQ Box: количественная оценка неопределенности для нейронных сетей
Опубликовано в: Журнал исследований машинного обучения 26 (2025)
Нильс Леманн, Нина Мария Готчлинг, Якоб Гавликовски, Адам Дж. Стюарт, Стефан Депевег, Эрик Налисник
Несмотря на успех глубокого обучения, его «черный ящик» и ошибочные оценки достоверности вызывают скептицизм в таких важных областях, как медицина. Чтобы сделать количественную оценку неопределенности (UQ) более доступной и многоразовой, мы представляем Lightning UQ Box, библиотеку на основе PyTorch, работающую на базе PyTorch Lightning. Он поддерживает классификацию, регрессию и сегментацию различных методов UQ, предоставляя практикующим специалистам масштабируемые и готовые к использованию инструменты.
Смотреть на странице издателя
Мелкозернистая декомпозиция неопределенностей в больших языковых моделях: спектральный подход
Опубликовано в: Материалы конференции AAAI по искусственному интеллекту (AAAI26)
Нассим Вальха, Себастьян Г. Грубер, Томас Декер, Иньчун Янг, Алиреза Джаванмарди, Эйке Хюллермайер, Флориан Бюттнер,
(¹ Немецкий онкологический исследовательский центр (DKFZ) ², Немецкий онкологический консорциум (DKTK) ³ Франкфуртский институт рака, Германия, Университет Гете во Франкфурте, Германия, ESAT-PSI, Лёвенский университет, Бельгия, Siemens AG, LMU Мюнхен, Мюнхенский центр машинного обучения (MCML), Немецкий центр искусственного интеллекта (DFKI), Кайзерслаутерн, Германия)
Поскольку LLM интегрируются в различные приложения, получение надежных показателей прогнозной неопределенности имеет решающее значение. Различие между случайной неоднозначностью данных и ограничениями эпистемической модели необходимо для рассмотрения каждого источника. Мы вводим спектральную неопределенность — подход, использующий энтропию фон Неймана из теории квантовой информации для строгого разделения полной неопределенности на алеаторические и эпистемические компоненты. Используя семантическое сходство, оно превосходит самые современные методы в различных моделях и тестах.
Смотреть на странице издателя
