Verklaringen op basis van verstoringen verbeteren door inzicht te krijgen in de rol van onzekerheidskalibratie
Gepubliceerd in: 39e conferentie over neurale informatieverwerkingssystemen (NeurIPS 2025)
Thomas Decker, Volker Tresp², Florian Büttner, Volker Tresp²,
(¹ Siemens, ² LMU München, ³ München Center for Machine Learning (MCML), 4 Goethe Universiteit Frankfurt, ¤ Duits kankeronderzoekscentrum, 2 Duits kankerconsortium)
Verklaringen op basis van verstoringen vergroten de transparantie van ML, maar onbekend modelgedrag bij verstoringen brengt de betrouwbaarheid ervan in gevaar. We bewijzen dat modellen bij deze verstoringen onbetrouwbare waarschijnlijkheidsschattingen opleveren, waardoor de kwaliteit van de lokale en globale uitleg rechtstreeks afneemt. We stellen ReCalX voor om modellen opnieuw te kalibreren voor betere verklaringen zonder de oorspronkelijke voorspellingen te wijzigen, waardoor de robuustheid wordt verbeterd.
Bekijk op de pagina van de uitgever
Incrementele, onzekerheidsbewuste prestatiebewaking met actieve etiketteringsinterventie
Gepubliceerd in: Proceedings van de 28e internationale conferentie over kunstmatige intelligentie en statistiek, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
We bestuderen de monitoring van ML-modellen onder geleidelijke distributieverschuivingen, waardoor de nauwkeurigheid langzaam afneemt zonder dat het wordt opgemerkt. We stellen incrementele onzekerheidsbewuste prestatiemonitoring (IUPM) voor, een methode zonder labels die prestatieveranderingen inschat met behulp van optimaal transport. De IUPM kwantificeert de onzekerheid in de voorspelling en maakt gebruik van actieve etikettering met een beperkt budget om schattingen te herstellen, waarbij het beter presteert dan de basislijnen in verschuivingsscenario's.
Bekijk op de pagina van de uitgever
Wiki-tabner: Integratie van de herkenning van entiteiten met een naam in Wikipedia-tabellen
Gepubliceerd in: 2025 Internationale ACM SIGIR-conferentie over onderzoek en ontwikkeling op het gebied van het ophalen van informatie
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Bestaande benchmarks voor tabelinterpretatie maken gegevens uit de echte wereld vaak te eenvoudig. Om dit aan te pakken introduceren we Wiki-Tabner, een uitdagende dataset met complexe Wikipedia-tabellen met meerdere entiteiten per cel, geannoteerd met behulp van DBpedia-klassen. Ontworpen voor de herkenning van benoemde entiteiten (NER) in de tabel en het koppelen van entiteiten, geven we gedetailleerde informatie over de kenmerken, de etikettering en een LLM-evaluatiekader, gevolgd door een kwalitatieve analyse van de prestaties van modellen en de beperkingen van de datasets.
Bekijk op de pagina van de uitgever
Lightning UQ Box: Kwantificering van de onzekerheid voor neurale netwerken
Gepubliceerd in: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Ondanks het succes van deep learning, veroorzaken het black box-karakter en de ontbrekende vertrouwensschattingen scepsis op kritieke gebieden, zoals de geneeskunde. Om onzekerheidskwantificering (UQ) toegankelijker en herbruikbaar te maken, introduceren we Lightning UQ Box, een bibliotheek gebaseerd op PyTorch, powered by PyTorch Lightning. Het ondersteunt classificatie, regressie en segmentatie in verschillende UQ-methoden, waardoor professionals schaalbare, gebruiksklare tools krijgen.
Bekijk op de pagina van de uitgever
Fijnkorrelige decompositie van onzekerheden in grote taalmodellen: een spectrale benadering
Gepubliceerd in: Proceedings of the AAAI Conference on Artificial Intelligence (AAAI26)
Nassim Walha, Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner, Florian Buettner,
(¹ Duits centrum voor kankeronderzoek (DKFZ), ² Duits kankerconsortium (DKTK), ³ Kankerinstituut van Frankfurt, Duitsland, 4 Goethe-universiteit Frankfurt, Duitsland, ESAT-PSI, KU Leuven, België, a2 Siemens AG, LMU München, Munich Center for Machine Learning (MCML), Duits centrum voor kunstmatige intelligentie (DFKI), Kaiserslautern, Duitsland)
Aangezien LLM's in diverse toepassingen kunnen worden geïntegreerd, is het van cruciaal belang om betrouwbare, voorspellende onzekerheidsmetingen te verkrijgen. Om elke bron aan te pakken, is het essentieel om onderscheid te maken tussen de ambiguïteit van aleatorische gegevens en de beperkingen van het epistemische model. We introduceren spectrale onzekerheid, een benadering waarbij gebruik wordt gemaakt van de Von Neumann-entropie van de kwantuminformatietheorie om totale onzekerheid rigoureus te scheiden in aleatorische en epistemische componenten. Door gebruik te maken van semantische overeenkomsten presteert het beter dan de modernste methoden in verschillende modellen en benchmarks.
Bekijk op de pagina van de uitgever