Zlepšení vysvětlení založených na poruchách pochopením role kalibrace nejistoty
Publikováno v: 39. konference o systémech zpracování neuronových informací (NeurIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner5
(¹ Siemens, ² LMU Mnichov, ³ Mnichovské centrum pro strojové učení (MCML), ⁴ Goethe University Frankfurt, ⁄ Německé centrum pro výzkum rakoviny, Německé konsorcium pro rakovinu)
Vysvětlení založená na poruchách zvyšují průhlednost ML, ale neznámé chování modelu při poruchách ohrožuje jejich spolehlivost. Dokazujeme, že modely vytvářejí nespolehlivé odhady pravděpodobnosti za těchto poruch, což přímo zhoršuje místní a globální kvalitu vysvětlení. Navrhujeme RecalX rekalibrovat modely pro lepší vysvětlení bez změny původních předpovědí a zlepšení robustnosti.
Zobrazit na stránce vydavatele
Inkrementální monitorování výkonu s ohledem na nejistotu s aktivním zásahem značení
Publikováno v: Sborník z 28. mezinárodní konference o umělé inteligenci a statistice, PMLR 258:2188‑2196, 2025
Alexander Köbler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Büttner
Studujeme monitorování ML modelů za postupných distribučních posunů, které pomalu zhoršují přesnost nezjištěnou. Navrhujeme přírůstkové monitorování výkonu s vědomím nejistoty (IUPM), metodu bez štítků, která odhaduje změny výkonu pomocí optimálního transportu. IUPM kvantifikuje nejistotu predikce a používá aktivní označování v rámci omezeného rozpočtu k obnovení odhadů, což překonává základní hodnoty ve scénářích směn.
Zobrazit na stránce vydavatele
Wiki-Tabner: Integrace rozpoznávání pojmenovaných entit do tabulek Wikipedie
Publikováno v: 2025 Mezinárodní konference ACM SIGIR o výzkumu a vývoji v oblasti vyhledávání informací
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Stávající benchmarky interpretace tabulek často příliš zjednodušují data z reálného světa. Abychom to vyřešili, představujeme Wiki-Tabner, náročnou datovou sadu obsahující složité tabulky Wikipedie s více entitami na buňku, anotované pomocí tříd DBpedia. Navrženo pro rozpoznávání pojmenovaných entit v tabulce (NER) a propojení entit, podrobně popisujeme jeho vlastnosti, značení a rámec hodnocení LLM, následovaný kvalitativní analýzou výkonu modelu a omezení datové sady.
Zobrazit na stránce vydavatele
Lightning UQ Box: Kvantifikace nejistoty pro neuronové sítě
Publikováno v: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschlingová, Jakob Gawlikowski, Adam J Stewart, Stefan Depeweg, Eric Nalisnick
Navzdory úspěchu hlubokého učení způsobuje jeho černá skříňka a chybějící odhady důvěry skepticismus v kritických oblastech, jako je medicína. Aby byla kvantifikace nejistoty (UQ) přístupnější a opakovaně použitelnější, představujeme Lightning UQ Box, knihovnu založenou na PyTorch poháněné PyTorch Lightning. Podporuje klasifikaci, regresi a segmentaci napříč různými metodami UQ, což odborníkům poskytuje škálovatelné nástroje připravené k použití.
Zobrazit na stránce vydavatele
Jemnozrnný rozklad nejistoty ve velkých jazykových modelech: Spektrální přístup
Publikováno v: Sborník z konference AAAI o umělé inteligenci (AAAI26)
Nassim Walha¹², Sebastian G.Gruber5, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³⁴
(¹ Německé centrum pro výzkum rakoviny (DKFZ), ² Německé konsorcium pro rakovinu (DKTK), ³ Frankfurtský onkologický institut, Německo, ⁴ Goethe University Frankfurt, Německo, ⁄ ESAT-PSI, KU Leuven, Belgie, Siemens AG, LMU Mnichov, Mnichovské centrum pro strojové učení (MCML), Německé centrum pro umělou inteligenci (DFKI), Kaiserslautern, Německo)
Vzhledem k tomu, že LLM se integrují do různých aplikací, je zásadní získat spolehlivá prediktivní opatření nejistoty. Rozlišování mezi nejednoznačností náhodných dat a omezeními epistemického modelu je nezbytné pro řešení každého zdroje. Představujeme spektrální nejistotu, přístup využívající Von Neumannova entropii kvantové teorie informace k důslednému oddělení celkové nejistoty na aleatorické a epistemické složky. Využíváním sémantické podobnosti překonává nejmodernější metody napříč různými modely a benchmarky.
Zobrazit na stránce vydavatele