A K-Monitor korrupciós, közpénzes adatbázisa már közel két évtizede fontos eszközként szolgál a magyarországi korrupciós ügyek és problémás közpénzköltésekről szóló cikkek kereshetővé tételére. A cikkek feldolgozását mindeddig lelkes önkéntesek végezték, akik a különböző magyar hírportálok tartalmát szigorú módszertan szerint monitorozták és címkézték fel. Ez a mára több mint ötvenezer cikkből álló adatbázis most hatalmas segítség volt az új, mesterséges intelligenciára épülő sajtófigyelő rendszerünk tanításához. Önkéntes közösségünkre természetesen továbbra is számítunk, az automatizált felület fejlesztésével az ő munkájukat könnyítettünk meg.

A K-Monitor adatbázis különlegessége, hogy következetes címkézéssel segíti a felhasználókat abban, hogy gyorsan rátaláljanak egy-egy közpénzes, korrupciós történethez kapcsolódó információra, legyen szó konkrét személyekről, intézményekről, témákról vagy helyszínekről. A manuális adatbevitel időigényes, így időszerűvé vált egy automatizált megoldás kialakítása - ez az igény táplálta kísérletünket, hogy nyelvi modell alapú fejlesztéssel támogassuk meg a folyamatot.

Az új, innovatív rendszer első működő verziója az online lapok RSS csatornáiból értesül új cikkekről, az URL alapján pedig azok tartalmát is kinyeri. További algoritmusaink egységesítik a kinyert adatokat, némi hibaszűrést végeznek és ezt követően egy klasszifikációra tanított BERT nyelvi modell dönt arról, az adott cikk illik-e a sajtóadatbázis módszertanába. Amennyiben igen, jóváhagyásra kínálja sajtófigyelő önkénteseink számára.

Jelenleg közel 100 online magyar hírforrást figyelünk, naponta mintegy 3000 cikket vizsgál át a rendszerünk.

Az automatizálás nem áll meg a cikkek felismerésénél és módszertanunk szerinti klasszifikálásánál: a cikkek szövegében szereplő személyek, intézmények és helyszínek felismerésére is fordítottunk figyelmet. Az algoritmus azonosítja a szövegben található entitásokat, és (valamilyen szinten) képes felismerni, hogy ezek aktív szereplői a leírt cselekményeknek, vagy csupán egy történet passzív szereplői, esetleg narrátorai. Amennyiben valamelyik személy vagy intézmény releváns kontextusban jelenik meg a szövegben, az új rendszer az adott entitást címkézésre javasolja a cikket rögzítő sajtófigyelőink számára. Ez a megoldás nagyban segíti a cikkezés precizitását és hatékonyságát.

A fejlesztés során kihívásokkal is szembesültünk, amelyek közül kiemelhető a nyelvi modellek finomhangolása a magyar nyelvi sajátosságokhoz, valamint a szövegkörnyezet, kontextus automatikus felismerésének pontossága, vagy az egymástól átvett vagy hírügynökségi cikkek felismerése. Az eddigi eredményes fejlesztésen túl, még sok lehetőség rejlik a rendszer továbbfejlesztésében. Terveink között szerepel a mesterséges intelligencia szerepének további növelésével a cikkek körülményeit leíró címkék és az ügycsoportokat gyűjtő akták felismerése, a szerzőkre vonatkozó adatok tárolása, vagy épp a hasonló cikkek csoportosítása.

Az automatizálás egy hosszú távú projekt, amely nemcsak a jelenlegi önkéntesek munkáját könnyíti meg, hanem a felhasználók számára is megbízhatóbb és széleskörű tartalmat biztosít. Amennyiben szívesen segítenéd munkánkat sajtófigyelő önkéntesként, jelentkezz csapatunkba! Ha a besegítenél a fejlesztésbe, vedd fel velünk a kapcsolatot!

 A 2024-ben végzett fejlesztés a K-Monitor munkatársainak munkája mellett a Spreadmonitortól kapott probono informatikai segítség is hozzájárult. Nekik és az adatbázison dolgozó önkénteseinknek és munkatársaknak is rendkívül hálásak vagyunk.