Mejorar las explicaciones basadas en las perturbaciones mediante la comprensión del papel de la calibración de la incertidumbre
Publicado en: 39a Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeuRIPS 2025)
Thomas Decker²³, Volker Tresp³, Florian Büttner
(¹ Siemens, ² LMU Múnich, ³ Centro de Aprendizaje Automático (MCML) de Múnich, Universidad Goethe de Fráncfort, Centro Alemán de Investigación del Cáncer, Consorcio Alemán del Cáncer)
Las explicaciones basadas en perturbaciones mejoran la transparencia del aprendizaje automático, pero el comportamiento desconocido del modelo ante las perturbaciones compromete su fiabilidad. Demostramos que los modelos producen estimaciones probabilísticas poco fiables en estas perturbaciones, lo que degrada directamente la calidad de la explicación local y mundial. Proponemos RecalX para recalibrar los modelos y obtener mejores explicaciones sin alterar las predicciones originales, lo que mejora la solidez.
Ver en la página del editor
Monitorización incremental del rendimiento en función de la incertidumbre con intervención activa de etiquetado
Publicado en: Actas de la 28ª Conferencia Internacional sobre Inteligencia Artificial y Estadística, PMLR 258:2188-2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Estudiamos la monitorización de los modelos de aprendizaje automático con cambios de distribución graduales, que degradan lentamente la precisión sin ser detectados. Proponemos la monitorización incremental del rendimiento en función de la incertidumbre (IUPM), un método sin etiquetas que estima los cambios de rendimiento mediante un transporte óptimo. La IUPM cuantifica la incertidumbre de las predicciones y utiliza el etiquetado activo con un presupuesto limitado para restablecer las estimaciones, superando las líneas de base en los escenarios de turnos.
Ver en la página del editor
Wiki-tabner: Integrar el reconocimiento de entidades con nombre en las tablas de Wikipedia
Publicado en: Conferencia internacional ACM SIGIR de 2025 sobre investigación y desarrollo en la recuperación de información
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Los puntos de referencia de interpretación de tablas existentes suelen simplificar en exceso los datos del mundo real. Para solucionar este problema, presentamos Wiki-Tabner, un complejo conjunto de datos que incluye tablas complejas de Wikipedia con varias entidades por celda, anotadas mediante clases de DBpedia. Diseñado para el reconocimiento de entidades con nombre (NER) y la vinculación de entidades en la tabla, detallamos sus características, su etiquetado y un marco de evaluación de LLM, seguido de un análisis cualitativo del rendimiento del modelo y las limitaciones de los conjuntos de datos.
Ver en la página del editor
Lightning UQ Box: Cuantificación de la incertidumbre para redes neuronales
Publicado en: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
A pesar del éxito del aprendizaje profundo, su naturaleza de caja negra y la falta de estimaciones de confianza provocan escepticismo en campos críticos como la medicina. Para que la cuantificación de la incertidumbre (UQ) sea más accesible y reutilizable, presentamos Lightning UQ Box, una biblioteca basada en PyTorch impulsada por PyTorch Lightning. Soporta la clasificación, la regresión y la segmentación en diversos métodos de la UQ, lo que proporciona a los profesionales herramientas escalables y listas para usar.
Ver en la página del editor
La descomposición minuciosa de la incertidumbre en los grandes modelos lingüísticos: un enfoque espectral
Publicado en: Actas de la Conferencia de la AAAI sobre Inteligencia Artificial (AAAI26)
Nassim Walha²², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner
(¹ Centro Alemán de Investigación del Cáncer (DKFZ), ² Consorcio Alemán del Cáncer (DKTK), ³ Instituto del Cáncer de Fráncfort (Alemania), Universidad Goethe de Fráncfort, Alemania, ESAT-PSI, KU Leuven, Bélgica, Siemens AG, LMU Múnich, Centro de Aprendizaje Automático de Múnich (MCML), Centro Alemán de Inteligencia Artificial (DFKI), Kaiserslautern, Alemania)
A medida que los LLM se integran en diversas aplicaciones, es fundamental obtener medidas de incertidumbre predictivas fiables. Distinguir entre la ambigüedad de los datos aleatorios y las limitaciones del modelo epistémico es esencial para abordar cada fuente. Introducimos la incertidumbre espectral, un enfoque que utiliza la entropía de Von Neumann de la teoría de la información cuántica para separar rigurosamente la incertidumbre total en componentes aleatorios y epistémicos. Al aprovechar la similitud semántica, supera a los métodos más modernos en diversos modelos y puntos de referencia.
Ver en la página del editor