Izboljšanje razlag, ki temeljijo na motnjah, z razumevanjem vloge kalibracije negotovosti
Objavljeno v: 39. konferenca o sistemih za obdelavo nevronskih informacij (NeuRIPS 2025)
Thomas Decker¹²²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU München, ³ Münchenski center za strojno učenje (MCML), Goethejeva univerza v Frankfurtu, Nemški center za raziskave raka, Nemški konzorcij za raka)
Razlage, ki temeljijo na motnjah, povečujejo preglednost ML, vendar neznano vedenje modela pod motnjami ogroža njihovo zanesljivost. Dokazujemo, da modeli pod temi motnjami proizvajajo nezanesljive ocene verjetnosti, kar neposredno poslabša lokalno in globalno kakovost razlag. Predlagamo, da RecalX ponovno kalibrira modele za boljše razlage, ne da bi spremenil prvotne napovedi in izboljšal robustnost.
Oglejte si na strani založnika
Dodatno spremljanje učinkovitosti, ki se zaveda negotovosti, z aktivnim posegom označevanja
Objavljeno v: Zbornik 28. mednarodne konference o umetni inteligenci in statistiki, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Preučujemo spremljanje modelov ML pod postopnimi premiki porazdelitve, ki počasi poslabšajo natančnost, nezaznana. Predlagamo postopno spremljanje uspešnosti glede negotovosti (IUPM), metodo brez oznak, ki ocenjuje spremembe uspešnosti z optimalnim transportom. IUPM količinsko opredeljuje negotovost napovedi in uporablja aktivno označevanje v okviru omejenega proračuna za obnovitev ocen, pri čemer presega izhodiščne črte v scenarijih premikov.
Oglejte si na strani založnika
Wiki-tabner: Vključevanje prepoznavanja imenovanih entitet v tabele Wikipedije
Objavljeno leta: 2025 Mednarodna konferenca ACM SIGIR o raziskavah in razvoju pri iskanju informacij
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Obstoječa merila za interpretacijo tabel pogosto preveč poenostavljajo podatke iz resničnega sveta. Da bi to rešili, predstavljamo Wiki-tabner, zahteven nabor podatkov, ki vsebuje zapletene tabele Wikipedije z več entitetami na celico, označene z uporabo razredov DBpedia. Zasnovan za prepoznavanje entitet (NER) v tabeli in povezovanje entitet, podrobno opisujemo njegove značilnosti, označevanje in okvir za ocenjevanje LLM, čemur sledi kvalitativna analiza uspešnosti modela in omejitev nabora podatkov.
Oglejte si na strani založnika
Lightning UQ Box: Kvantifikacija negotovosti za nevronske mreže
Objavljeno v: Revija za raziskave strojnega učenja 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Kljub uspehu globokega učenja njegova narava črne škatle in manjkajoče ocene zaupanja povzročata skepticizem na kritičnih področjih, kot je medicina. Da bi bila kvantifikacija negotovosti (UQ) bolj dostopna in večkratna, predstavljamo Lightning UQ Box, knjižnico, ki temelji na PyTorchu, ki jo powered by PyTorch Lightning. Podpira klasifikacijo, regresijo in segmentacijo po različnih metodah UQ, pri čemer praktikom ponuja razširljiva orodja, pripravljena za uporabo.
Oglejte si na strani založnika
Drobnozrnata razgradnja negotovosti v velikih jezikovnih modelih: spektralni pristop
Objavljeno v: Zbornik konference AAAI o umetni inteligenci (AAAI26)
Nassim Walha¹², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³
(¹ Nemški center za raziskave raka (DKFZ), ² Nemški konzorcij za raka (DKTK), ³ Frankfurtski inštitut za raka, Nemčija, Goethejeva univerza v Frankfurtu, Nemčija, ESAT-PSI, KU Leuven, Belgija, Siemens AG, LMU München, Münchenski center za strojno učenje (MCML), Nemški center za umetno inteligenco (DFKI), Kaiserslautern, Nemčija)
Ker se LLM integrirajo v različne aplikacije, je pridobitev zanesljivih ukrepov za napovedovanje negotovosti ključnega pomena. Razlikovanje med dvoumnostjo aleatoričnih podatkov in omejitvami epistemičnega modela je bistvenega pomena za obravnavo vsakega vira. Uvajamo spektralno negotovost, pristop, ki uporablja Von Neumannovo entropijo kvantne teorije informacij za strogo ločevanje popolne negotovosti na aleatorične in epistemične komponente. Z uporabo pomenske podobnosti presega najsodobnejše metode v različnih modelih in merilih.
Oglejte si na strani založnika