Melhorando as explicações baseadas em perturbações ao compreender o papel da calibração de incertezas
Publicado em: 39ª Conferência sobre Sistemas de Processamento de Informações Neurais (NeuRIPS 2025)
Thomas Decker†²³, Volker Tresp²³, Florian Büttner․
(¹ Siemens, ² LMU de Munique, ³ Centro de Aprendizado de Máquina de Munique (MCML), ⁴ Universidade Goethe de Frankfurt, ․ Centro Alemão de Pesquisa do Câncer, ․ Consórcio Alemão do Câncer)
As explicações baseadas em perturbações aumentam a transparência do ML, mas o comportamento desconhecido do modelo sob perturbações compromete sua confiabilidade. Provamos que os modelos produzem estimativas de probabilidade não confiáveis sob essas perturbações, degradando diretamente a qualidade da explicação local e global. Propomos que o RecalX recalibre modelos para melhores explicações sem alterar as previsões originais, melhorando a robustez.
Veja na página do editor
Monitoramento incremental de desempenho com reconhecimento de incertezas com intervenção ativa de rotulagem
Publicado em: Anais da 28ª Conferência Internacional sobre Inteligência Artificial e Estatística, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Büttner
Estudamos o monitoramento de modelos de ML sob mudanças graduais de distribuição, que lentamente degradam a precisão sem serem detectadas. Propomos o monitoramento incremental de desempenho com reconhecimento de incerteza (IUPM), um método sem rótulo que estima as mudanças de desempenho usando o transporte ideal. O IUPM quantifica a incerteza da previsão e usa a rotulagem ativa com um orçamento limitado para restaurar as estimativas, superando as linhas de base em cenários de turnos.
Veja na página do editor
Wiki-tabner: Integrando o reconhecimento de entidades nomeadas nas tabelas da Wikipedia
Publicado em: Conferência Internacional ACM SIGIR de 2025 sobre Pesquisa e Desenvolvimento em Recuperação de Informação
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Os benchmarks de interpretação de tabelas existentes geralmente simplificam demais os dados do mundo real. Para resolver isso, apresentamos o Wiki-tabner, um conjunto de dados desafiador com tabelas complexas da Wikipedia com várias entidades por célula, anotadas usando classes DBpedia. Projetado para reconhecimento de entidades nomeadas (NER) na tabela e vinculação de entidades, detalhamos suas características, rotulagem e uma estrutura de avaliação LLM, seguida por uma análise qualitativa do desempenho do modelo e das limitações do conjunto de dados.
Veja na página do editor
Lightning UQ Box: quantificação de incertezas para redes neurais
Publicado em: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Apesar do sucesso do aprendizado profundo, sua natureza de caixa preta e a falta de estimativas de confiança causam ceticismo em áreas críticas como a medicina. Para tornar a quantificação de incertezas (UQ) mais acessível e reutilizável, apresentamos a Lightning UQ Box, uma biblioteca baseada em PyTorch e alimentada pelo PyTorch Lightning. Ele suporta classificação, regressão e segmentação em diversos métodos de UQ, oferecendo aos profissionais ferramentas escaláveis e prontas para uso.
Veja na página do editor
Decomposição refinada de incertezas em grandes modelos de linguagem: uma abordagem espectral
Publicado em: Anais da Conferência AAAI sobre Inteligência Artificial (AAAI26)
Nassim Walha¹ ²⁴, Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner, Florian Buettner
(¹ Centro Alemão de Pesquisa do Câncer (DKFZ), ² Consórcio Alemão do Câncer (DKTK), ³ Instituto do Câncer de Frankfurt, Alemanha, ⁴ Universidade Goethe de Frankfurt, Alemanha, ․ ESAT-PSI, KU Leuven, Bélgica, ․ Siemens AG, ․ LMU Munique, Centro de Aprendizado de Máquina de Munique (MCML), Centro Alemão de Inteligência Artificial (DFKI), Tern, Alemanha)
À medida que os LLMs se integram a diversas aplicações, é fundamental obter medidas de incerteza preditiva confiáveis. Distinguir entre ambigüidade de dados aleatórios e limitações do modelo epistêmico é essencial para abordar cada fonte. Apresentamos a incerteza espectral, uma abordagem que usa a entropia de Von Neumann da teoria da informação quântica para separar rigorosamente a incerteza total em componentes aleatórios e epistêmicos. Ao alavancar a similaridade semântica, ele supera os métodos de última geração em diversos modelos e benchmarks.
Veja na página do editor