Mejorar las explicaciones basadas en perturbaciones mediante la comprensión del papel de la calibración de incertidumbre
Publicado en: 39a Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeuIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU Munich, ³ Centro de Aprendizaje Automático de Múnich (MCML), 4 Universidad Goethe de Frankfurt, 5 Centro Alemán de Investigación del Cáncer, 6 Consorcio Alemán del Cáncer)
Las explicaciones basadas en perturbaciones mejoran la transparencia del aprendizaje automático, pero el comportamiento desconocido del modelo bajo perturbaciones compromete su confiabilidad. Demostramos que los modelos producen estimaciones de probabilidad poco confiables bajo estas perturbaciones, degradando directamente la calidad de las explicaciones locales y globales. Proponemos RecalX para recalibrar modelos para obtener mejores explicaciones sin alterar las predicciones originales, mejorando la robustez.
Ver en la página del editor
Monitoreo incremental del rendimiento consciente de la incertidumbre con intervención activa de etiquetado
Publicado en: Actas de la 28ª Conferencia Internacional sobre Inteligencia Artificial y Estadísticas, PMLR 258:2188-2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Estudiamos el monitoreo de modelos ML bajo cambios de distribución graduales, que degradan lentamente la precisión sin ser detectados. Proponemos la supervisión incremental del rendimiento consciente de la incertidumbre (IUPM), un método sin etiquetas que estima los cambios en el rendimiento utilizando un transporte óptimo. IUPM cuantifica la incertidumbre de predicción y utiliza etiquetado activo bajo un presupuesto limitado para restaurar las estimaciones, superando las líneas de base en escenarios de turnos.
Ver en la página del editor
Wiki-tabner: Integración del reconocimiento de entidades nombradas en las tablas de Wikipedia
Publicado en: Conferencia Internacional ACM SIGIR 2025 sobre Investigación y Desarrollo en Recuperación de Información
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Los puntos de referencia de interpretación de tablas existentes a menudo simplifican demasiado los datos del mundo real. Para abordar esto, presentamos Wiki-tabner, un conjunto de datos desafiante que presenta tablas complejas de Wikipedia con múltiples entidades por celda, anotadas usando clases de DBpedia. Diseñado para el reconocimiento de entidades nombradas (NER) en la tabla y la vinculación de entidades, detallamos sus características, etiquetado y un marco de evaluación LLM, seguido de un análisis cualitativo del rendimiento del modelo y las limitaciones del conjunto de datos.
Ver en la página del editor
Lightning UQ Box: Cuantificación de incertidumbre para redes neuronales
Publicado en: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina María Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
A pesar del éxito del aprendizaje profundo, su naturaleza de caja negra y las estimaciones de falta de confianza causan escepticismo en campos críticos como la medicina. Para que la cuantificación de incertidumbre (UQ) sea más accesible y reutilizable, presentamos Lightning UQ Box, una biblioteca basada en PyTorch powered by PyTorch Lightning. Admite clasificación, regresión y segmentación a través de diversos métodos de UQ, lo que brinda a los profesionales herramientas escalables y listas para usar.
Ver en la página del editor
Descomposición de incertidumbre de grano fino en modelos lingüísticos grandes: un enfoque espectral
Publicado en: Actas de la Conferencia AAAI sobre Inteligencia Artificial (AAAI26)
Nassim Walha¹²4, Sebastian G. Gruber5, Thomas Decker', 'Yinchong Yang', Alireza Javanmardi', Eyke Hüllermeier', Florian Buettner¹²³
(¹ Centro Alemán de Investigación del Cáncer (DKFZ), ² Consorcio Alemán del Cáncer (DKTK), ³ Instituto del Cáncer de Frankfurt, Alemania, 4 Universidad Goethe Frankfurt, Alemania, 5 ESAT-PSI, KU Leuven, Bélgica, 6 Siemens AG, 7 LMU Munich, Centro de Aprendizaje Automático de Múnich (MCML), Centro Alemán de Inteligencia Artificial (DFKI), Kaiserslautern, Alemania)
A medida que los LLM se integran en diversas aplicaciones, es fundamental obtener medidas de incertidumbre predictivas confiables. Distinguir entre la ambigüedad de datos aleatorios y las limitaciones del modelo epistémico es esencial para abordar cada fuente. Introdujimos la incertidumbre espectral, un enfoque que utiliza la entropía de Von Neumann de la teoría cuántica de la información para separar rigurosamente la incertidumbre total en componentes aleatorios y epistémicos. Al aprovechar la similitud semántica, supera a los métodos de vanguardia en diversos modelos y puntos de referencia.
Ver en la página del editor