Удосконалення пояснень на основі збурень шляхом розуміння ролі калібрування невизначеності
Опубліковано в: 39-а конференція з систем обробки нейронної інформації (NeurIPS 2025)
Томас Деккер¹²³, Фолкер Тресп²³, Флоріан Бюттнер5
(¹ Siemens, ² LMU Мюнхен, ³ Мюнхенський центр машинного навчання (MCML), ⁴ Університет Гете Франкфурт, ⁄ Німецький центр досліджень раку, Німецький онкологічний консорціум)
Пояснення на основі збурень підвищують прозорість ML, але невідома поведінка моделі під час збурень ставить під загрозу їх надійність. Ми доведено, що моделі дають ненадійні оцінки ймовірностей за цих збурень, безпосередньо погіршуючи якість локальних та глобальних пояснень. Ми пропонуємо RecalX перекалібрувати моделі для кращих пояснень, не змінюючи оригінальних прогнозів, покращуючи надійність.
Переглянути на сторінці видавця
Інкрементальний моніторинг продуктивності з урахуванням невизначеності з активним втручанням у маркування
Опубліковано в: Матеріали 28-ї Міжнародної конференції зі штучного інтелекту та статистики, PMLR 258:2188‑2196, 2025
Олександр Кеблер, Томас Декер, Інго Тон, Волкер Тресп, Флоріан Бюттнер
Ми вивчаємо моніторингові моделі ML за поступових зрушень розподілу, які повільно погіршують точність, непоміченою. Ми пропонуємо поступовий моніторинг продуктивності з урахуванням невизначеності (IUPM), метод без етикеток, який оцінює зміни продуктивності за допомогою оптимального транспорту. IUPM кількісно оцінює невизначеність прогнозування та використовує активне маркування в рамках обмеженого бюджету для відновлення оцінок, перевершуючи базові показники у сценаріях змін.
Переглянути на сторінці видавця
Wiki-Tabner: Інтеграція розпізнавання іменованих сутностей у таблиці Вікіпедії
Опубліковано в: 2025 Міжнародна конференція ACM SIGIR з досліджень та розробок у пошуку інформації
Анета Колева, Мартін Рінгсквандл, Ахмед Хатем, Томас Рунклер, Волкер Тресп
Існуючі орієнтири інтерпретації таблиць часто надто спрощують реальні дані. Щоб вирішити це, ми представляємо Wiki-Tabner, складний набір даних із складними таблицями Вікіпедії з кількома сутностями на клітинку, анотований за допомогою класів DBpedia. Розроблений для розпізнавання названих сутностей у таблиці (NER) та зв'язування суб'єктів, ми детально описуємо його особливості, маркування та структуру оцінки LLM, а потім якісний аналіз продуктивності моделі та обмежень набору даних.
Переглянути на сторінці видавця
Lightning UQ Box: кількісне визначення невизначеності для нейронних мереж
Опубліковано в: Журнал досліджень машинного навчання 26 (2025)
Нілс Леманн, Ніна Марія Готшлінг, Якоб Гавліковський, Адам Дж. Стюарт, Стефан Депевег, Ерік Наліснік
Незважаючи на успіх глибокого навчання, його чорна скринька та відсутність оцінок впевненості викликають скептицизм у таких критичних сферах, як медицина. Щоб зробити кількісне визначення невизначеності (UQ) більш доступним та багаторазовим, ми представляємо Lightning UQ Box, бібліотеку на базі PyTorch, що працює на базі PyTorch Lightning. Він підтримує класифікацію, регресію та сегментацію за різними методами UQ, надаючи практикам масштабовані, готові до використання інструменти.
Переглянути на сторінці видавця
Дрібнозерниста декомпозиція невизначеності у великих мовних моделях: спектральний підхід
Опубліковано в: Матеріали конференції AAAI зі штучного інтелекту (AAAI26)
Нассім Вальха¹², Себастьян Г. Грубер5, Томас Деккер, Іньчун Янг, Аліреза Джаванмарді, Флоріан Бюттнер¹²³⁴
(¹ Німецький центр досліджень раку (DKFZ), ² Німецький консорціум раку (DKTK), ³ Франкфуртський інститут раку, Німеччина, ⁴ Університет Гете Франкфурт, Німеччина, ⇓ ESAT-PSI, KU Левен, Бельгія, Siemens AG, LMU Мюнхен, Мюнхенський центр машинного навчання (MCML), Німецький центр штучного інтелекту (DFKI), Кайзерслаутерн, Німеччина)
Оскільки LLM інтегруються в різноманітні програми, отримання надійних показників прогнозної невизначеності має вирішальне значення. Розрізнення неоднозначності випадкових даних та обмежень епістемічної моделі має важливе значення для вирішення кожного джерела. Ми вводимо спектральну невизначеність, підхід, який використовує ентропію Фон Ноймана квантової теорії інформації для суворого розділення повної невизначеності на алеаторні та епістемічні компоненти. Використовуючи семантичну схожість, він перевершує найсучасніші методи для різних моделей та орієнтирів.
Переглянути на сторінці видавця