Подобряване на обясненията, базирани на смущения, чрез разбиране на ролята на калибрирането на несигурността
Публикувано в: 39-та конференция по невронни системи за обработка на информация (NeuRIPS 2025)
Томас Декър¹²³, Фолкер Тресп²³, Флориан Бютнер
(¹ Siemens, ² LMU Мюнхен, ³ Мюнхенски център за машинно обучение (MCML), Гьоте университет Франкфурт, Германски център за изследване на рака, Германски консорциум за рак)
Обясненията, базирани на смущения, подобряват прозрачността на ML, но неизвестното поведение на модела при смущения компрометира тяхната надеждност. Доказваме, че моделите произвеждат ненадеждни оценки на вероятността при тези смущения, което директно влошава качеството на локалното и глобалното обяснение. Предлагаме RecalX да прекалибрира моделите за по-добри обяснения, без да променя оригиналните прогнози, подобрявайки здравината.
Виж на страницата на издателя
Нарастващ мониторинг на ефективността, съобразен с несигурността, с активна интервенция за етикет
Публикувано в: Сборници от 28-ата международна конференция по изкуствен интелект и статистика, PMLR 258:2188‑2196, 2025
Александър Кьоблер, Томас Декер, Инго Тон, Фолкер Тресп, Флориан Бютнер
Ние изучаваме мониторинга на ML модели при постепенни смени на разпределението, които бавно влошават точността незабелязана. Предлагаме постепенно наблюдение на производителността, съобразено с несигурността (IUPM), метод без етикети, който оценява промените в производителността, използвайки оптимален транспорт. IUPM количествено определя несигурността на прогнозите и използва активно етикетиране при ограничен бюджет за възстановяване на оценките, превъзхождайки базовите линии при сценарии за смяна.
Виж на страницата на издателя
Wiki-Tabner: Интегриране на разпознаване на име в таблиците на Уикипедия
Публикувано в: 2025 Международна конференция ACM SIGIR за научноизследователска и развойна дейност в извличането на информация
Анета Колева, Мартин Рингскундл, Ахмед Хатем, Томас Рунклер, Фолкер Тресп
Съществуващите показатели за интерпретация на таблици често прекалено опростяват данните от реалния свят. За да се справим с това, ние представяме Wiki-Tabner, предизвикателен набор от данни, включващ сложни таблици на Wikipedia с множество обекти на клетка, анотирани с помощта на класове DBpedia. Проектиран за разпознаване на обекти в таблицата (NER) и свързване на обекти, ние подробно описваме неговите характеристики, етикетиране и рамка за оценка на LLM, последвана от качествен анализ на ефективността на модела и ограниченията на набора от данни.
Виж на страницата на издателя
Lightning UQ Box: Количествено определяне на несигурността за невронни мрежи
Публикувано в: Списание за изследване на машинното обучение 26 (2025)
Нилс Леман, Нина Мария Готшлинг, Якоб Гауликовски, Адам Джей Стюарт, Стефан Депевег, Ерик Налисник
Въпреки успеха на дълбокото обучение, неговата черна кутия и липсващите оценки на доверието предизвикват скептицизъм в критични области като медицината. За да направим количественото определяне на несигурността (UQ) по-достъпно и многократно използвано, ние представяме Lightning UQ Box, базирана на PyTorch библиотека, powered by PyTorch Lightning. Той поддържа класификация, регресия и сегментиране в различни методи на UQ, предоставяйки на практикуващите мащабируеми, готови за употреба инструменти.
Виж на страницата на издателя
Финозърнесто разлагане на несигурността в големи езикови модели: Спектрален подход
Публикувано в: Сборници от конференцията AAAI по изкуствен интелект (AAAI26)
Насим Уолха¹², Себастиан Г. Грубер, Томас Декър, Йинчонг Янг, Алиреза Яванмарди, Айке Хюлермейер, Флориан Бютнер¹²³
(¹ Германски център за изследване на рака (DKFZ), ² Германски консорциум за рак (DKTK), ³ Франкфуртски раков институт, Германия, Гьоте университет Франкфурт, Германия, ESAT-PSI, KU Льовен, Белгия, Siemens AG, LMU Мюнхен, Мюнхенски център за машинно обучение (MCML), Германски център за изкуствен интелект (DFKI), Кайзерслаутерн, Германия)
Тъй като LLM се интегрират в различни приложения, получаването на надеждни мерки за прогнозна несигурност е от решаващо значение. Разграничаването между неяснотата на алеаторните данни и ограниченията на епистемичния модел е от съществено значение за адресиране на всеки източник. Въвеждаме спектрална несигурност, подход, използващ ентропията на Фон Нойман на квантовата информация за строго разделяне на общата несигурност на алеаторни и епистемични компоненти. Използвайки семантичното сходство, той превъзхожда най-съвременните методи в различни модели и показатели.
Виж на страницата на издателя