Améliorer les explications basées sur les perturbations en comprenant le rôle de l'étalonnage des incertitudes
Publié dans : 39e Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS 2025)
Thomas Decker¹ ²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU Munich, ³ Centre d'apprentissage automatique de Munich (MCML), 4 Université Goethe de Francfort, 5 Centre allemand de recherche sur le cancer, 6 Consortium allemand sur le cancer)
Les explications basées sur les perturbations améliorent la transparence du machine learning, mais le comportement inconnu des modèles en cas de perturbations compromet leur fiabilité. Nous prouvons que les modèles produisent des estimations de probabilité peu fiables en cas de telles perturbations, dégradant ainsi directement la qualité des explications locales et globales. Nous proposons RecalX pour recalibrer les modèles pour de meilleures explications sans modifier les prévisions initiales, afin d'améliorer la robustesse.
Afficher sur la page de l'éditeur
Surveillance progressive des performances en tenant compte des incertitudes grâce à une intervention active en matière d'étiquetage
Publié dans : Actes de la 28e Conférence internationale sur l'intelligence artificielle et les statistiques, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Nous étudions la surveillance des modèles ML selon des changements de distribution progressifs, qui dégradent lentement la précision sans être détectés. Nous proposons la surveillance incrémentale des performances consciente des incertitudes (IUPM), une méthode sans étiquette qui estime les changements de performances en utilisant un transport optimal. L'IUPM quantifie l'incertitude des prévisions et utilise un étiquetage actif dans le cadre d'un budget limité pour rétablir les estimations, surpassant ainsi les niveaux de référence dans les scénarios de changement.
Afficher sur la page de l'éditeur
Wiki-tabner : Intégrer la reconnaissance des entités nommées dans les tableaux Wikipédia
Publié dans : Conférence internationale ACM SIGIR 2025 sur la recherche et le développement dans le domaine de la recherche d'informations
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Les benchmarks d'interprétation des tableaux existants simplifient souvent à l'excès les données du monde réel. Pour y remédier, nous présentons Wiki-Tabner, un jeu de données complexe contenant des tableaux Wikipédia complexes contenant plusieurs entités par cellule, annotés à l'aide des classes DBpedia. Conçu pour la reconnaissance d'entités nommées (NER) dans le tableau et la mise en relation d'entités, nous détaillons ses fonctionnalités, son étiquetage et un cadre d'évaluation LLM, suivis d'une analyse qualitative des performances du modèle et des limites des ensembles de données.
Afficher sur la page de l'éditeur
Lightning UQ Box : quantification de l'incertitude pour les réseaux de neurones
Publié dans : Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Malgré le succès du deep learning, sa nature de boîte noire et l'absence d'estimations de confiance suscitent le scepticisme dans des domaines critiques tels que la médecine. Pour rendre la quantification des incertitudes (UQ) plus accessible et réutilisable, nous présentons Lightning UQ Box, une bibliothèque basée sur PyTorch, powered by PyTorch Lightning. Il prend en charge la classification, la régression et la segmentation selon diverses méthodes UQ, offrant ainsi aux praticiens des outils évolutifs et prêts à l'emploi.
Afficher sur la page de l'éditeur
Décomposition fine des incertitudes dans les grands modèles linguistiques : une approche spectrale
Publié dans : Actes de la conférence de l'AAAI sur l'intelligence artificielle (AAAI26)
Nassim Walha¹ ², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³³
(¹ Centre allemand de recherche sur le cancer (DKFZ) ², Consortium allemand contre le cancer (DKTK), ³ Institut du cancer de Francfort, Allemagne,,, ESAT-PSI, KU Leuven, Belgique, Siemens AG, LMU Munich, Centre d'apprentissage automatique de Munich (MCML), Centre allemand d'intelligence artificielle (DFKI), Kaiserslautern, Allemagne)
Les LLM étant intégrés à diverses applications, il est essentiel d'obtenir des mesures d'incertitude prédictive fiables. Il est essentiel de faire la distinction entre l'ambiguïté aléatoire des données et les limites du modèle épistémique pour aborder chaque source. Nous introduisons l'incertitude spectrale, une approche utilisant l'entropie de Von Neumann de la théorie de l'information quantique pour séparer rigoureusement l'incertitude totale en composantes aléatoires et épistémiques. En tirant parti de la similitude sémantique, elle surpasse les méthodes les plus modernes sur divers modèles et benchmarks.
Afficher sur la page de l'éditeur