Melhorar as explicações baseadas em perturbações através da compreensão do papel da calibração da incerteza
Publicado em: 39ª Conferência sobre Sistemas de Processamento de Informação Neural (NeuRIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner,
(¹ Siemens, ² LMU Munique, ³ Centro de Munique para Machine Learning (MCML), Goethe University Frankfurt, Centro Alemão de Investigação do Cancro, Consórcio Alemão do Cancro)
As explicações baseadas em perturbações aumentam a transparência do ML, mas o comportamento desconhecido do modelo sob perturbações compromete a sua fiabilidade. Provamos que os modelos produzem estimativas de probabilidade não fiáveis sob estas perturbações, degradando diretamente a qualidade da explicação local e global. Propomos ao ReCalX recalibrar modelos para melhores explicações sem alterar as previsões originais, melhorando a robustez.
Ver na página do editor
Monitorização incremental do desempenho consciente da incerteza com intervenção de rotulagem ativa
Publicado em: Anais da 28ª Conferência Internacional de Inteligência Artificial e Estatística, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Estudamos a monitorização de modelos de ML sob mudanças graduais de distribuição, que degradam lentamente a precisão sem serem detectados. Propomos monitorização incremental do desempenho consciente da incerteza (IUPM), um método sem rótulos que estima as alterações de desempenho utilizando o transporte ideal. A IUPM quantifica a incerteza de previsão e usa a rotulagem ativa sob um orçamento limitado para restaurar as estimativas, superando as linhas de base em cenários de turno.
Ver na página do editor
Wiki-tabner: Integração do reconhecimento de entidades nomeadas nas tabelas da Wikipédia
Publicado em: Conferência Internacional ACM SIGIR 2025 sobre Investigação e Desenvolvimento em Recuperação de Informação
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Os benchmarks de interpretação de tabelas existentes muitas vezes simplificam excessivamente os dados do mundo real. Para resolver isso, apresentamos o Wiki-Tabner, um conjunto de dados desafiador com tabelas complexas da Wikipédia com várias entidades por célula, anotadas usando classes DBpedia. Projetado para reconhecimento de entidade nomeada (NER) na tabela e vinculação de entidade, detalhamos suas características, rotulagem e uma estrutura de avaliação LLM, seguida por uma análise qualitativa do desempenho do modelo e limitações do conjunto de dados.
Ver na página do editor
Lightning UQ Box: Quantificação da incerteza para redes neurais
Publicado em: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Apesar do sucesso da aprendizagem profunda, a sua natureza de caixa preta e a falta de estimativas de confiança causam ceticismo em campos críticos como a medicina. Para tornar a quantificação da incerteza (UQ) mais acessível e reutilizável, apresentamos o Lightning UQ Box, uma biblioteca baseada em PyTorch powered by PyTorch Lightning. Suporta classificação, regressão e segmentação em diversos métodos de UQ, dando aos profissionais ferramentas escaláveis e prontas a usar.
Ver na página do editor
Decomposição de incertezas refinadas em grandes modelos de linguagem: Uma abordagem espectral
Publicado em: Atas da Conferência AAAI sobre Inteligência Artificial (AAAI26)
Nassim Walha¹²304, Sebastian G. Gruber◄, Thomas Decker, Yinchong Yang, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³
(¹ Centro Alemão de Investigação do Cancro (DKFZ), ² Consórcio Alemão do Cancro (DKTK), ³ Frankfurt Cancer Institute, Alemanha, Goethe University Frankfurt, Alemanha, ESAT-PSI, KU Leuven, Bélgica, Siemens AG, LMU Munique, Centro de Munique para Aprendizagem de Máquina (MCML), Centro Alemão de Inteligência Artificial (DFKI), Kaiserslautern, Alemanha)
À medida que os LLMs se integram em diversas aplicações, obter medidas de incerteza preditiva confiáveis é fundamental. Distinguir entre ambiguidade de dados aleatórios e limitações do modelo epistémico é essencial para abordar cada fonte. Introduzimos a incerteza espectral, uma abordagem que utiliza a entropia de Von Neumann da teoria da informação quântica para separar rigorosamente a incerteza total em componentes aleatórios e epistémicos. Ao alavancar a similaridade semântica, supera os métodos de última geração em diversos modelos e benchmarks.
Ver na página do editor