Poprawa wyjaśnień opartych na zaburzeniach poprzez zrozumienie roli kalibracji niepewności
Opublikowano w: 39. Konferencja Neuronowych Systemów Przetwarzania Informacji (NeuroIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU Monachium, ³ Monachium Centrum Uczenia Maszynowego (MCML), Uniwersytet Goethego we Frankfurcie, Niemieckie Centrum Badań nad Rakiem, Niemieckie Konsorcjum Onkologiczne)
Wyjaśnienia oparte na perturbacjach zwiększają przejrzystość ML, ale nieznane zachowanie modelu pod wpływem zaburzeń zagraża ich niezawodności. Udowodniamy, że modele wytwarzają niewiarygodne szacunki prawdopodobieństwa w tych zaburzeniach, bezpośrednio obniżając lokalną i globalną jakość wyjaśnień. Proponujemy RecalX do ponownej kalibracji modeli w celu lepszych wyjaśnień bez zmiany oryginalnych przewidywań, poprawiając solidność.
Zobacz na stronie wydawcy
Przyrostowe monitorowanie wydajności świadome niepewności z aktywną interwencją etykietowania
Opublikowano w: Materiały z 28. Międzynarodowej Konferencji Sztucznej Inteligencji i Statystyki, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Badamy monitorowanie modeli ML pod stopniowymi przesunięciami rozkładu, które powoli obniżają dokładność niewykrytą. Proponujemy monitorowanie wydajności z uwzględnieniem przyrostowej niepewności (IUPM), metodę bez etykiet, która szacuje zmiany wydajności przy użyciu optymalnego transportu. IUPM określa ilościowo niepewność przewidywania i wykorzystuje aktywne etykietowanie w ramach ograniczonego budżetu w celu przywrócenia szacunków, przewyższając linie bazowe w scenariuszach zmianowych.
Zobacz na stronie wydawcy
Wiki-Tabner: Integracja rozpoznawania nazwanych jednostek z tabelami Wikipedii
Opublikowano w: 2025 Międzynarodowa Konferencja ACM SIGIR poświęcona badaniom i rozwojowi w wyszukiwaniu informacji
Aneta Koleva, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
Istniejące testy porównawcze interpretacji tabel często nadmiernie upraszczają dane ze świata rzeczywistego. Aby rozwiązać ten problem, przedstawiamy Wiki-Tabner, wymagający zestaw danych zawierający złożone tabele Wikipedii z wieloma elementami na komórkę, opisane przy użyciu klas DBpedia. Zaprojektowany do rozpoznawania jednostek w tabeli (NER) i łączenia jednostek, szczegółowo opisujemy jego cechy, etykietowanie i ramy oceny LLM, a następnie jakościową analizę wydajności modelu i ograniczeń zbioru danych.
Zobacz na stronie wydawcy
Lightning UQ Box: kwantyfikacja niepewności dla sieci neuronowych
Opublikowano w: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
Pomimo sukcesu głębokiego uczenia, jego charakter czarnej skrzynki i brakujące szacunki zaufania powodują sceptycyzm w krytycznych dziedzinach, takich jak medycyna. Aby uczynić kwantyfikację niepewności (UQ) bardziej dostępną i wielokrotnego użytku, wprowadzamy Lightning UQ Box, bibliotekę opartą na PyTorch powered by PyTorch Lightning. Obsługuje klasyfikację, regresję i segmentację w różnych metodach UQ, dając praktykom skalowalne, gotowe do użycia narzędzia.
Zobacz na stronie wydawcy
Drobnoziarnisty rozkład niepewności w dużych modelach językowych: podejście spektralne
Opublikowano w: Materiały konferencji AAAI na temat sztucznej inteligencji (AAAI26)
Nassim Walha¹², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi, Eyke Hüllermeier, Florian Buettner¹²³
(¹ Niemieckie Centrum Badań nad Rakiem (DKFZ), ² Niemieckie Konsorcjum Onkologiczne (DKTK), ³ Frankfurcki Instytut Onkologiczny, Niemcy, Uniwersytet Goethego we Frankfurcie, Niemcy, ESAT-PSI, KU Leuven, Belgia, Siemens AG, LMU Monachium, Monachium Center for Machine Learning (MCML), Niemieckie Centrum Sztucznej Inteligencji (DFKI), Kaiserslautern, Niemcy)
Ponieważ LLM integrują się z różnymi aplikacjami, uzyskanie wiarygodnych pomiarów niepewności predykcyjnej ma kluczowe znaczenie. Rozróżnienie niejednoznaczności danych aleatorycznych a ograniczeniami modelu epistemicznego jest niezbędne, aby zająć się każdym źródłem. Wprowadzamy niepewność spektralną, podejście wykorzystujące entropię Von Neumanna z teorii informacji kwantowej do rygorystycznego oddzielenia całkowitej niepewności na komponenty aleatoryczne i epistemiczne. Wykorzystując podobieństwo semantyczne, przewyższa najnowocześniejsze metody w różnych modelach i testach porównawczych.
Zobacz na stronie wydawcy
