Poboljšanje objašnjenja zasnovanih na smetnjama razumijevanjem uloge kalibracije nesigurnosti
Objavljeno u: 39. konferencija o sustavima za obradu neuronskih informacija (NeuRIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU München, ³ Münchenski centar za strojno učenje (MCML), Sveučilište Goethe u Frankfurtu, Njemački centar za istraživanje raka, Njemački konzorcij za rak)
Objašnjenja zasnovana na smetnjama poboljšavaju transparentnost ML -a, ali nepoznato ponašanje modela pod poremećajima ugrožava njihovu pouzdanost. Dokazujemo da modeli proizvode nepouzdane procjene vjerojatnosti pod tim poremećajima, izravno narušavajući lokalnu i globalnu kvalitetu objašnjenja. Predlažemo RecalX da ponovno kalibrira modele za bolja objašnjenja bez promjene izvornih predviđanja, poboljšavajući robusnost.
Pogledaj na stranici izdavača
Inkrementalno praćenje performansi svjesno neizvjesnosti uz aktivnu intervenciju označavanja
Objavljeno u: Zbornik radova 28. međunarodne konferencije o umjetnoj inteligenciji i statistici, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Proučavamo praćenje ML modela pod postupnim pomacima distribucije, koji polako pogoršavaju točnost neotkrivenu. Predlažemo inkrementalno praćenje performansi svjesno neizvjesnosti (IUPM), metodu bez oznaka koja procjenjuje promjene performansi pomoću optimalnog transporta. IUPM kvantificira nesigurnost predviđanja i koristi aktivno označavanje pod ograničenim proračunom za vraćanje procjena, nadmašujući osnovne crte u scenarijima smjene.
Pogledaj na stranici izdavača
Wiki-tabner: Integriranje prepoznavanja imenovanih entiteta u Wikipedia tablice
Objavljeno u: 2025 Međunarodna ACM SIGIR konferencija o istraživanju i razvoju u pronalaženju informacija
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Postojeća mjerila za tumačenje tablica često pretjerano pojednostavljuju podatke iz stvarnog svijeta. Da bismo to riješili, predstavljamo Wiki-Tabner, izazovan skup podataka koji sadrži složene Wikipedia tablice s više entiteta po ćeliji, označene pomoću klasa DBpedia. Dizajniran za prepoznavanje entiteta u tablici (NER) i povezivanje entiteta, detaljno opisujemo njegove značajke, označavanje i okvir za procjenu LLM-a, nakon čega slijedi kvalitativna analiza performansi modela i ograničenja skupa podataka.
Pogledaj na stranici izdavača
Lightning UQ Box: Kvantifikacija nesigurnosti za neuronske mreže
Objavljeno u: Časopis za istraživanje strojnog učenja 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Unatoč uspjehu dubokog učenja, njegova priroda crne kutije i nedostajuće procjene povjerenja izazivaju skepticizam u kritičnim područjima poput medicine. Kako bismo kvantifikaciju nesigurnosti (UQ) učinili dostupnijom i višekratnom upotrebom, predstavljamo Lightning UQ Box, biblioteku temeljenu na PyTorchu koju powered by PyTorch Lightning. Podržava klasifikaciju, regresiju i segmentaciju kroz različite UQ metode, pružajući praktičarima skalabilne alate spremne za upotrebu.
Pogledajte na stranici izdavača
Finozrnata dekompozicija nesigurnosti u velikim jezičnim modelima: spektralni pristup
Objavljeno u: Zbornik radova AAAI konferencije o umjetnoj inteligenciji (AAAI26)
Nassim Walha¹², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi8, Eyke Hüllermeier, Florian Buettner¹²³
(¹ Njemački centar za istraživanje raka (DKFZ), ² Njemački konzorcij za rak (DKTK), ³ Frankfurtski institut za rak, Njemačka, Goethe Sveučilište u Frankfurtu, Njemačka, ESAT-PSI, KU Leuven, Belgija, Siemens AG, LMU München, Münchenski centar za strojno učenje (MCML), Njemački centar za umjetnu inteligenciju (DFKI), Kaiserslautern, Njemačka)
Kako se LLM-ovi integriraju u različite aplikacije, presudno je dobivanje pouzdanih mjera predviđanja nesigurnosti. Razlikovanje dvosmislenosti aleatoričnih podataka i ograničenja epistemičkog modela bitno je za rješavanje svakog izvora. Uvodimo spektralnu nesigurnost, pristup koji koristi Von Neumannovu entropiju kvantne teorije informacija za rigorozno odvajanje ukupne nesigurnosti na aleatorične i epistemičke komponente. Koristeći semantičku sličnost, nadmašuje najsuvremenije metode u različitim modelima i mjerilima.
Pogledaj na stranici izdavača