Förbättra störningsbaserade förklaringar genom att förstå osäkerhetskalibreringens roll
Publicerad i: 39: e konferensen om neurala informationsbehandlingssystem (NeurIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner5
(¹ Siemens, ² LMU München, ³ Münchens centrum för maskininlärning (MCML), ⁴ Goethe University Frankfurt, ⁄ Tyska cancerforskningscentret, Tyska cancerkonsortiet)
Störningsbaserade förklaringar förbättrar ML-transparensen, men okänt modellbeteende under störningar äventyrar deras tillförlitlighet. Vi bevisar att modeller producerar opålitliga sannolikhetsuppskattningar under dessa störningar, vilket direkt försämrar lokal och global förklaringskvalitet. Vi föreslår RecalX att kalibrera om modeller för bättre förklaringar utan att ändra ursprungliga förutsägelser, vilket förbättrar robustheten.
Visa på förlagets sida
Inkrementell osäkerhetsmedveten prestandaövervakning med aktiv märkningsinsats
Publicerad i: Förhandlingar från den 28:e internationella konferensen om artificiell intelligens och statistik, PMLR 258:2188‑2196, 2025
Alexander Köbler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Büttner
Vi studerar övervakning av ML-modeller under gradvisa distributionsskift, som långsamt försämrar noggrannheten oupptäckt. Vi föreslår stegvis osäkerhetsmedveten prestandaövervakning (IUPM), en etikettfri metod som uppskattar prestandaförändringar med optimal transport. IUPM kvantifierar förutsägelseosäkerhet och använder aktiv märkning under en begränsad budget för att återställa uppskattningar, vilket överträffar baslinjerna i skiftscenarier.
Visa på förlagets sida
Wiki-Tabner: Integrera namngiven entitetsigenkänning i Wikipedia-tabeller
Publicerad i: 2025 Internationell ACM SIGIR-konferens om forskning och utveckling inom informationssökning
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Befintliga riktmärken för tabelltolkning förenklar ofta verkliga data. För att ta itu med detta introducerar vi Wiki-Tabner, en utmanande dataset med komplexa Wikipedia-tabeller med flera enheter per cell, kommenterade med DBpedia-klasser. Designad för namngiven entitetsigenkänning (NER) i tabellen och enhetslänkning, beskriver vi dess funktioner, märkning och ett LLM-utvärderingsramverk, följt av kvalitativ analys av modellprestanda och datauppsättningsbegränsningar.
Visa på förlagets sida
Lightning UQ Box: Osäkerhetskvantifiering för neurala nätverk
Publicerad i: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jacob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Trots djupinlärningens framgång orsakar dess svarta lådans natur och saknade förtroendeuppskattningar skepsis inom kritiska områden som medicin. För att göra osäkerhetskvantifiering (UQ) mer tillgänglig och återanvändbar introducerar vi Lightning UQ Box, ett PyTorch-baserat bibliotek som drivs av PyTorch Lightning. Det stöder klassificering, regression och segmentering över olika UQ-metoder, vilket ger utövare skalbara, färdiga verktyg.
Visa på förlagets sida
Finkornig osäkerhetsnedbrytning i stora språkmodeller: Ett spektralt tillvägagångssätt
Publicerad i: Proceedings of the AAAI Conference on Artificial Intelligence (AAAI26)
Nassim Walha¹², Sebastian G. Gruber5, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³⁴
(¹ Tyska cancerforskningscentret (DKFZ), ² Tyska cancerkonsortiet (DKTK), ³ Frankfurt Cancer Institute, Tyskland, ⁴ Goethe University Frankfurt, Tyskland, ⇓ ESAT-PSI, KU Leuven, Belgien, Siemens AG, LMU München, Münchens centrum för maskininlärning (MCML), Tyska centret för artificiell intelligens (DFKI), Kaiserslautern, Tyskland)
Eftersom LLM integreras i olika applikationer är det avgörande att få tillförlitliga förutsägbara osäkerhetsmått. Att skilja mellan aleatorisk datatetydighet och epistemiska modellbegränsningar är avgörande för att ta itu med varje källa. Vi introducerar spektral osäkerhet, ett tillvägagångssätt som använder kvantinformationsteorins Von Neumann-entropi för att strikt separera total osäkerhet i aleatoriska och epistemiska komponenter. Genom att utnyttja semantisk likhet överträffar den toppmoderna metoder över olika modeller och riktmärken.
Visa på förlagets sida