Migliorare le spiegazioni basate sulle perturbazioni comprendendo il ruolo della calibrazione dell'incertezza
Pubblicato in: 39a conferenza sui sistemi di elaborazione delle informazioni neurali (NeurIPS 2025)
Thomas Decker¹ ²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU Munich, ³ Munich Center for Machine Learning (MCML), ◊ Goethe University di Francoforte, German Cancer Research Center, German Cancer Consortium)
Le spiegazioni basate sulle perturbazioni migliorano la trasparenza del machine learning, ma il comportamento sconosciuto del modello in caso di perturbazioni ne compromette l'affidabilità. Dimostriamo che i modelli producono stime di probabilità inaffidabili in queste perturbazioni, degradando direttamente la qualità delle spiegazioni locali e globali. Proponiamo RecalX per ricalibrare i modelli per spiegazioni migliori senza alterare le previsioni originali, migliorando la robustezza.
Visualizza sulla pagina dell'editore
Monitoraggio incrementale delle prestazioni consapevole dell'incertezza con intervento di etichettatura attivo
Pubblicato in: Atti della 28a conferenza internazionale sull'intelligenza artificiale e la statistica, PMLR 258:2188-2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Studiamo il monitoraggio dei modelli ML in base a cambiamenti di distribuzione graduali, che degradano lentamente la precisione senza essere rilevati. Proponiamo il monitoraggio incrementale delle prestazioni consapevole dell'incertezza (IUPM), un metodo senza etichetta che stima le variazioni delle prestazioni utilizzando un trasporto ottimale. L'IUPM quantifica l'incertezza delle previsioni e utilizza l'etichettatura attiva con un budget limitato per ripristinare le stime, superando le linee di base negli scenari a turni.
Visualizza sulla pagina dell'editore
Wiki-tabner: Integrazione del riconoscimento delle entità denominate nelle tabelle di Wikipedia
Pubblicato in: Conferenza internazionale ACM SIGIR 2025 sulla ricerca e sviluppo nel recupero delle informazioni
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
I benchmark di interpretazione delle tabelle esistenti spesso semplificano eccessivamente i dati del mondo reale. Per risolvere questo problema, introduciamo Wiki-Tabner, un set di dati impegnativo con tabelle Wikipedia complesse con più entità per cella, annotate utilizzando le classi DBpedia. Progettato per il riconoscimento delle entità denominate in tabella (NER) e il collegamento delle entità, ne descriviamo in dettaglio le caratteristiche, l'etichettatura e un framework di valutazione LLM, seguito da un'analisi qualitativa delle prestazioni del modello e delle limitazioni dei set di dati.
Visualizza sulla pagina dell'editore
Lightning UQ Box: quantificazione dell'incertezza per le reti neurali
Pubblicato in: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Nonostante il successo del deep learning, la sua natura a scatola nera e le stime di fiducia mancanti causano scetticismo in campi critici come la medicina. Per rendere la quantificazione dell'incertezza (UQ) più accessibile e riutilizzabile, introduciamo Lightning UQ Box, una libreria basata su PyTorch powered by PyTorch Lightning. Supporta la classificazione, la regressione e la segmentazione tra diversi metodi di UQ, offrendo ai professionisti strumenti scalabili e pronti all'uso.
Visualizza sulla pagina dell'editore
Decomposizione dell'incertezza a grana fine in modelli linguistici di grandi dimensioni: un approccio spettrale
Pubblicato in: Atti della conferenza AAAI sull'intelligenza artificiale (AAAI26)
Nassim Walha¶, Sebastian G. Gruber‡, Thomas Decker, Yinchong Yangin, Alireza Javanmardi, Eyke Hüllermeier, Eyke Hüllermeier, Florian Buettner¹
(¹ Centro tedesco per la ricerca sul cancro (DKFZ), ² German Cancer Consortium (DKTK), ³ Frankfurt Cancer Institute, Germania, ◊ Goethe University di Francoforte, Germania, ESAT-PSI, KU Leuven, Belgio, Siemens AG, LMU Munich, Centro di Monaco per l'apprendimento automatico (MCML), Centro tedesco per l'intelligenza artificiale (DFKI), Kaiserslautern, Germania)
Poiché gli LLM si integrano in diverse applicazioni, è fondamentale ottenere misure di incertezza predittiva affidabili. Distinguere tra ambiguità aleatoria dei dati e limitazioni del modello epistemico è essenziale per affrontare ciascuna fonte. Introduciamo l'incertezza spettrale, un approccio che utilizza l'entropia di Von Neumann della teoria dell'informazione quantistica per separare rigorosamente l'incertezza totale in componenti aleatorie ed epistemiche. Sfruttando la somiglianza semantica, supera i metodi all'avanguardia in diversi modelli e benchmark.
Visualizza sulla pagina dell'editore