Zlepšenie vysvetlení založených na poruchách pochopením úlohy kalibrácie neistoty
Publikované v: 39. konferencia o systémoch spracovania neurálnych informácií (NeuroIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU Mníchov, ³ Mníchovské centrum pre strojové učenie (MCML), Goetheho univerzita vo Frankfurte, Nemecké centrum výskumu rakoviny, Nemecké konzorcium pre rakovinu)
Vysvetlenia založené na poruchách zvyšujú transparentnosť ML, ale neznáme správanie modelu pri poruchách ohrozuje ich spoľahlivosť. Dokazujeme, že modely pri týchto poruchách vytvárajú nespoľahlivé odhady pravdepodobnosti, čo priamo zhoršuje miestnu a globálnu kvalitu vysvetlenia. Navrhujeme RecalX, aby prekalibroval modely pre lepšie vysvetlenia bez zmeny pôvodných predpovedí, čím sa zlepšila robustnosť.
Zobraziť na stránke vydavateľa
Prírastkové monitorovanie výkonnosti uvedomujúce si neistotu s aktívnym zásahom označovania
Publikované v: Zborník z 28. medzinárodnej konferencie o umelej inteligencii a štatistike, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Študujeme monitorovanie modelov ML pri postupných distribučných posunoch, ktoré pomaly nezistené zhoršujú presnosť. Navrhujeme postupné monitorovanie výkonnosti s neistotou (IUPM), metódu bez štítkov, ktorá odhaduje zmeny výkonu pomocou optimálnej prepravy. IUPM kvantifikuje neistotu predikcie a používa aktívne označovanie v rámci obmedzeného rozpočtu na obnovenie odhadov, čím prekonáva základné čiary v scenároch posunu.
Zobraziť na stránke vydavateľa
Wiki-tabner: Integrácia rozpoznávania pomenovaných entít do tabuliek Wikipédie
Publikované v: 2025 Medzinárodná konferencia ACM SIGIR o výskume a vývoji v oblasti získavania informácií
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Existujúce referenčné hodnoty interpretácie tabuliek často príliš zjednodušujú údaje v reálnom svete. Aby sme to vyriešili, predstavujeme Wiki-tabner, náročný súbor údajov obsahujúci zložité tabuľky Wikipedia s viacerými entitami na bunku, anotované pomocou tried DBpedia. Navrhnuté pre rozpoznávanie entity s názvom v tabuľke (NER) a prepojenie entít, podrobne popisujeme jeho vlastnosti, označovanie a rámec hodnotenia LLM, po ktorom nasleduje kvalitatívna analýza výkonnosti modelu a obmedzení súboru údajov.
Zobraziť na stránke vydavateľa
Lightning UQ Box: Kvantifikácia neistoty pre neurónové siete
Publikované v: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschlingová, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Napriek úspechu hlbokého učenia, jeho povaha čiernej skrinky a chýbajúce odhady dôvery spôsobujú skepticizmus v kritických oblastiach, ako je medicína. Aby bola kvantifikácia neistoty (UQ) prístupnejšia a opakovane použiteľnejšia, predstavujeme Lightning UQ Box, knižnicu založenú na PyTorch poháňanú PyTorch Lightning. Podporuje klasifikáciu, regresiu a segmentáciu naprieč rôznymi metódami UQ a poskytuje odborníkom škálovateľné nástroje pripravené na použitie.
Zobraziť na stránke vydavateľa
Jemnozrnný rozklad neistoty vo veľkých jazykových modeloch: spektrálny prístup
Publikované v: Zborník z konferencie AAAI o umelej inteligencii (AAAI26)
Nassim Walha¹², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³
(¹ Nemecké centrum pre výskum rakoviny (DKFZ), ² Nemecké konzorcium pre rakovinu (DKTK), ³ Frankfurtský onkologický inštitút, Nemecko, Goetheho univerzita vo Frankfurte, Nemecko, ESAT-PSI, KU Leuven, Belgicko, Siemens AG, LMU Mníchov, Mníchovské centrum strojového učenia (MCML), Nemecké centrum pre umelú inteligenciu (DFKI), Kaiserslautern, Nemecko)
Keďže sa LLM integrujú do rôznych aplikácií, získanie spoľahlivých prediktívnych opatrení neistoty je rozhodujúce. Rozlišovanie medzi nejednoznačnosťou aleatorických údajov a obmedzeniami epistemického modelu je nevyhnutné na riešenie každého zdroja. Zavádzame spektrálnu neistotu, prístup využívajúci Von Neumannovu entropiu teórie kvantových informácií na prísne oddelenie celkovej neistoty na aleatorické a epistemické zložky. Využívaním sémantickej podobnosti prekonáva najmodernejšie metódy v rôznych modeloch a referenčných hodnotách.
Zobraziť na stránke vydavateľa
