Verbesserung der auf Störungen beruhenden Erklärungen durch ein Verständnis der Rolle der Unsicherheitskalibrierung
Veröffentlicht in: 39. Konferenz über neuronale Informationsverarbeitungssysteme (NeurIPS 2025)
Thomas Decker¹ ²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU München, ³ Munich Center for Machine Learning (MCML), 4 Goethe-Universität Frankfurt, 5 Deutsches Krebsforschungszentrum, 5 Deutsches Krebskonsortium)
Auf Störungen beruhende Erklärungen erhöhen die ML-Transparenz, aber unbekanntes Modellverhalten unter Störungen beeinträchtigt deren Zuverlässigkeit. Wir beweisen, dass Modelle unter diesen Störungen unzuverlässige Wahrscheinlichkeitsschätzungen liefern, was die lokale und globale Erklärungsqualität direkt beeinträchtigt. Wir schlagen RecalX vor, um Modelle für bessere Erklärungen neu zu kalibrieren, ohne die ursprünglichen Vorhersagen zu ändern, wodurch die Robustheit verbessert wird.
Auf der Verlagsseite ansehen
Inkrementelle unsicherheitsbewusste Leistungsüberwachung mit aktiver Kennzeichnungsintervention
Veröffentlicht in: Tagungsband der 28. Internationalen Konferenz über künstliche Intelligenz und Statistik, PMLR 258:2188‑2196, 2025
Alexander Köbler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Büttner
Wir untersuchen Monitoring-ML-Modelle unter allmählichen Verteilungsverschiebungen, die die Genauigkeit langsam und unentdeckt verschlechtern. Wir schlagen eine inkrementelle unsicherheitsbewusste Leistungsüberwachung (IUPM) vor, eine kennzeichnungsfreie Methode, die Leistungsänderungen unter Verwendung optimaler Transportwege schätzt. Die IUPM quantifiziert die Prognoseunsicherheit und verwendet aktive Etikettierung unter einem begrenzten Budget, um Schätzungen wiederherzustellen, wodurch die Ausgangswerte in Schicht-Szenarien übertroffen werden.
Auf der Verlagsseite ansehen
Wiki-Tabner: Integration der Erkennung benannter Entitäten in Wikipedia-Tabellen
Veröffentlicht in: Internationale ACM SIGIR-Konferenz 2025 über Forschung und Entwicklung im Bereich Informationsabruf
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Bestehende Benchmarks zur Tabelleninterpretation vereinfachen reale Daten oft zu sehr. Um dem zu begegnen, führen wir Wiki-Tabner ein, einen anspruchsvollen Datensatz mit komplexen Wikipedia-Tabellen mit mehreren Entitäten pro Zelle, kommentiert mit DBpedia-Klassen. Konzipiert für Named Entity Recognition (NER) in der Tabelle und Entitätsverknüpfung, beschreiben wir die Funktionen, die Kennzeichnung und einen LLM-Bewertungsrahmen, gefolgt von einer qualitativen Analyse der Modellleistung und der Datensatzbeschränkungen.
Auf der Verlagsseite ansehen
Lightning UQ Box: Quantifizierung von Unsicherheiten für neuronale Netzwerke
Veröffentlicht in: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Trotz des Erfolgs von Deep Learning sorgen sein Blackbox-Charakter und fehlende Vertrauensschätzungen in kritischen Bereichen wie der Medizin für Skepsis. Um Unsicherheitsquantifizierung (UQ) zugänglicher und wiederverwendbarer zu machen, führen wir Lightning UQ Box ein, eine auf PyTorch basierende Bibliothek, die von PyTorch Lightning unterstützt wird. Es unterstützt Klassifikation, Regression und Segmentierung über verschiedene UQ-Methoden hinweg und bietet Praktikern skalierbare, sofort einsatzbereite Tools.
Auf der Verlagsseite ansehen
Feinkörnige Unsicherheitszerlegung in großen Sprachmodellen: Ein spektraler Ansatz
Veröffentlicht in: Tagungsband der AAAI-Konferenz über künstliche Intelligenz (AAAI26)
Nassim Walha, Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, H. Gruber, Thomas Decker, Yke Hüllermeier, Yke Hüllermeier, Florian Büttner, Florian Büttner,
(¹ Deutsches Krebsforschungszentrum (DKFZ), ² Deutsches Krebskonsortium (DKTK), ³ Frankfurter Krebsinstitut, Deutschland, ³ Goethe-Universität Frankfurt, Deutschland, ⁵ ESAT-PSI, KU Löwen, Belgien, Siemens AG, LMU München, Munich Center for Machine Learning (MCML), Deutsches Zentrum für Künstliche Intelligenz (DFKI), Kaiserslautern, Deutschland)
Da sich LLMs in verschiedene Anwendungen integrieren lassen, ist es entscheidend, zuverlässige prädiktive Unsicherheitsmaße zu erhalten. Es ist wichtig, zwischen aleatorischer Datenmehrdeutigkeit und epistemischen Modelleinschränkungen zu unterscheiden, um jede Quelle zu berücksichtigen. Wir führen spektrale Unsicherheit ein, einen Ansatz, der die Von-Neumann-Entropie der Quanteninformationstheorie nutzt, um die totale Unsicherheit strikt in aleatorische und epistemische Komponenten zu unterteilen. Durch die Nutzung semantischer Ähnlichkeit übertrifft es modernste Methoden in verschiedenen Modellen und Benchmarks.
Auf der Verlagsseite ansehen