Améliorer les explications basées sur les perturbations en comprenant le rôle de l'étalonnage des incertitudes
Publié dans : 39e Conférence sur les systèmes de traitement de l'information neuronale (NeuriPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner³
(¹ Siemens, ² LMU Munich, ³ Centre de Munich pour l'apprentissage automatique (MCML), ⁴ Université Goethe de Francfort, ⁴ Centre allemand de recherche sur le cancer, ¹ Consortium allemand sur le cancer)
Les explications basées sur les perturbations améliorent la transparence du ML, mais le comportement inconnu des modèles sous perturbations compromet leur fiabilité. Nous prouvons que les modèles produisent des estimations de probabilité peu fiables sous ces perturbations, dégradant directement la qualité des explications locales et globales. Nous proposons RecalX pour recalibrer les modèles pour de meilleures explications sans altérer les prédictions originales, améliorant la robustesse.
Voir sur la page de l'éditeur
Surveillance des performances incrémentielle tenant compte de l'incertitude avec intervention active en matière d'étiquetage
Publié dans : Actes de la 28e Conférence internationale sur l'intelligence artificielle et les statistiques, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Nous étudions la surveillance des modèles ML sous des changements de distribution graduels, qui dégradent lentement la précision sans être détectés. Nous proposons la surveillance incrémentielle des performances consciente de l'incertitude (IUPM), une méthode sans étiquette qui estime les changements de performance en utilisant un transport optimal. L'IUPM quantifie l'incertitude de prédiction et utilise l'étiquetage actif sous un budget limité pour rétablir les estimations, surperformant les lignes de base dans les scénarios de quarts de travail.
Voir sur la page de l'éditeur
Wiki-tabner : Intégration de la reconnaissance d'entités nommées dans les tables Wikipédia
Publié dans : Conférence internationale ACM SIGIR 2025 sur la recherche et le développement en recherche d'informations
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Les benchmarks d'interprétation de table existants simplifient souvent à l'excès les données du monde réel. Pour résoudre ce problème, nous présentons Wiki-Tabner, un ensemble de données stimulant comprenant des tables Wikipédia complexes avec plusieurs entités par cellule, annotées à l'aide de classes DBpedia. Conçu pour la reconnaissance d'entités nommées (NER) dans le tableau et la liaison d'entités, nous détaillons ses fonctionnalités, son étiquetage et un cadre d'évaluation LLM, suivis d'une analyse qualitative des performances du modèle et des limites des ensembles de données.
Voir sur la page de l'éditeur
Lightning UQ Box : Quantification de l'incertitude pour les réseaux de neurones
Publié dans : Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Malgré le succès de l'apprentissage profond, sa nature de boîte noire et l'absence d'estimations de confiance suscite le scepticisme dans des domaines critiques comme la médecine. Pour rendre la quantification de l'incertitude (UQ) plus accessible et réutilisable, nous présentons Lightning UQ Box, une bibliothèque basée sur PyTorch powered by PyTorch Lightning. Il prend en charge la classification, la régression et la segmentation à travers diverses méthodes UQ, donnant aux praticiens des outils évolutifs et prêts à l'emploi.
Voir sur la page de l'éditeur
Décomposition de l'incertitude à grain fin dans les grands modèles linguistiques : Une approche spectrale
Publié dans : Actes de la Conférence de l'AAAI sur l'intelligence artificielle (AAAI26)
Nassim Walha¹²⁴, Sebastian G. Gruber⁴, Thomas Decker*, Yinchong Yang¹, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³⁴
(¹ Centre allemand de recherche sur le cancer (DKFZ), ² Consortium allemand sur le cancer (DKTK), ³ Institut du cancer de Francfort, Allemagne, ⁴ Université Goethe de Francfort, Allemagne, ⁵ ESAT-PSI, KU Leuven, Belgique, ¹ Siemens AG, LMU Munich, Centre d'apprentissage automatique de Munich (MCML), Centre allemand d'intelligence artificielle (DFKI), Kaiserslautern, Allemagne)
Alors que les LLM s'intègrent dans diverses applications, il est essentiel d'obtenir des mesures d'incertitude prédictives fiables. La distinction entre l'ambiguïté aléatoire des données et les limites du modèle épistémique est essentielle pour traiter chaque source. Nous introduisons l'incertitude spectrale, une approche utilisant l'entropie de Von Neumann de la théorie de l'information quantique pour séparer rigoureusement l'incertitude totale en composantes aléatoires et épistémiques. En tirant parti de la similarité sémantique, il surpasse les méthodes de pointe sur divers modèles et benchmarks.
Voir sur la page de l'éditeur