A zavarokon alapuló magyarázatok javítása a bizonytalanság kalibrálása szerepének megértésével
Megjelent: 39. konferencia az idegi információfeldolgozó rendszerekről (NeuRIPS 2025)
Thomas Decker¹²³, Volker Tresp²³, Florian Büttner
(¹ Siemens, ² LMU München, ³ Müncheni Gépi Tanulási Központ (MCML), Frankfurti Goethe Egyetem, Német Rákkutató Központ, Német Rákkonzorcium)
A zavarokon alapuló magyarázatok javítják az ML átláthatóságát, de az ismeretlen modell viselkedése zavarok alatt veszélyezteti megbízhatóságukat. Bizonyítjuk, hogy a modellek megbízhatatlan valószínűségi becsléseket hoznak létre ezen zavarok alatt, közvetlenül rontva a helyi és globális magyarázat minőségét. Javasoljuk a RecalX-et, hogy a jobb magyarázatok érdekében újrakalibrálja a modelleket az eredeti előrejelzések megváltoztatása nélkül, javítva a robusztusságot.
Megtekintés a kiadó oldalán
Inkrementális bizonytalansággal kapcsolatos teljesítménymonitorozás aktív címkézési beavatkozással
Megjelent: A 28. Nemzetközi Mesterséges Intelligencia és Statisztika Konferencia közleményei, PMLR 258:2188‑2196, 2025
Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner
Az ML modellek monitorozását fokozatos eloszlási eltolódások alatt tanulmányozzuk, amelyek lassan észrevétlenül rontják a pontosságot. Javasoljuk az inkrementális bizonytalansággal kapcsolatos teljesítménymonitorozást (IUPM), egy címkementes módszert, amely optimális szállítás segítségével becsüli a teljesítményváltozásokat. Az IUPM számszerűsíti az előrejelzési bizonytalanságot, és korlátozott költségvetés alatt aktív címkézést használ a becslések helyreállításához, felülmúlva az alapvonalakat a váltási forgatókönyvekben.
Megtekintés a kiadó oldalán
Wiki-Tabner: A megnevezett entitásfelismerés integrálása a Wikipédia táblákba
Megjelent: 2025 Nemzetközi ACM SIGIR konferencia az információvisszakeresés kutatásáról és fejlesztésről
Koleva Aneta, Martin Ringsquandl, Ahmed Hatem, Thomas Runkler, Volker Tresp
A meglévő táblázatértelmezési referenciaértékek gyakran túlságosan leegyszerűsítik a valós adatokat. Ennek megoldására bemutatjuk a Wiki-Tabner-t, egy kihívást jelentő adatkészletet, amely összetett Wikipédia-táblákat tartalmaz, amelyek celláenként több entitással rendelkeznek, és amelyek DBpedia osztályok segítségével vannak feliratozva. A táblázaton belüli entitás-felismerésre (NER) és az entitás összekapcsolására tervezve részletezzük annak jellemzőit, címkézését és egy LLM értékelési keretrendszert, amelyet a modell teljesítményének és az adatkészlet korlátainak kvalitatív elemzése követ.
Megtekintés a kiadó oldalán
Lightning UQ Box: A neurális hálózatok bizonytalanságának számszerűsítése
Megjelent: Journal of Machine Learning Research 26 (2025)
Nils Lehmann, Nina Maria Gottschling, Jakob Gawlikowski, Adam J. Stewart, Stefan Depeweg, Eric Nalisnick
A mély tanulás sikere ellenére a fekete doboz jellege és a hiányzó bizalmi becslések szkepticizmust okoznak olyan kritikus területeken, mint az orvostudomány. Annak érdekében, hogy a bizonytalanság számszerűsítését (UQ) hozzáférhetőbbé és újrafelhasználhatóbbá tegyük, bemutatjuk a Lightning UQ Box nevű PyTorch alapú könyvtárat, powered by a PyTorch Lightning működtet. Támogatja a különböző UQ módszerek osztályozását, regresszióját és szegmentálását, így a gyakorlóknak skálázható, használatra kész eszközöket biztosít.
Megtekintés a kiadó oldalán
Finomszemcsés bizonytalanság bomlása nagy nyelvi modellekben: Spektrális megközelítés
Közzétéve: Az AAAI mesterséges intelligencia konferencia folyóiratai (AAAI26)
Nassim Walha¹², Sebastian G. Gruber, Thomas Decker, Yinchong Yang, Alireza Javanmardi8, Eyke Hüllermeier, Florian Buettner¹²³
(¹ Német Rákkutató Központ (DKFZ), ² Német Rákkonzorcium (DKTK), ³ Frankfurti Rákkutató Intézet, Németország, Goethe Egyetem Frankfurti, Németország, ESAT-PSI, KU Leuven, Belgium, Siemens AG, LMU München, München Center for Machine Learning (MCML), Német Mesterséges Intelligencia Központ (DFKI), Kaiserslautern, Németország)
Mivel az LLM-ek különféle alkalmazásokba integrálódnak, kritikus fontosságú a megbízható prediktív bizonytalansági mérések megszerzése. Az egyes források kezeléséhez elengedhetetlen az aleatórikus adatok kétértelműsége és az episztemikus modell korlátai közötti különbségtétel. Bevezetjük a spektrális bizonytalanságot, egy olyan megközelítést, amely a kvantuminformációelmélet Von Neumann entrópiáját használja a teljes bizonytalanság szigorúan elválasztására aleatorikus és episztemikus komponensekre. A szemantikai hasonlóság kihasználásával felülmúlja a legmodernebb módszereket a különböző modellek és referenciaértékek között.
Megtekintés a kiadó oldalán