háló

Közpénz nem vész el, csak átalakul. A K-blog ezt a különös fizikai jelenséget vizsgálja.

EU hírek

EU hírek

ms-kitek.png

Infografika

Átláthatóság

Agrártámogatások

English materials

Hírlevél

Legfrissebb tanulmányainkról, fejlesztéseinkről értesülj havi beszámolónkból!

 


Hírek

Nincs megjeleníthető elem

Címkék

1% (4) 2014 (1) 2018 (1) adat (3) adatigénylés (89) adatok (98) adatozz okosan (23) adatsprint (3) adatvédelem (6) adatvédelmi (1) Áder János (1) adócsalás (1) afganisztán (1) afrika (3) agrártámogatások (17) ajándék (1) algoritmusok (3) alkotmánybíróság (6) alkotmányozás (1) állami szféra (4) állás (10) amsterdam (1) antikorrupció (70) anti korrupció (44) asp (3) ÁSZ (5) átlátható (1) átláthatóság (245) atomenergia (1) atomerőmű (2) ausztria (1) Azerbajdzsán (2) a szomszéd kertje (2) Bahrein (1) balaton (2) balkán (1) ballmer (1) bánkitó (1) bell and partners (1) berlusconi (1) bethlen gábor alap (1) bíróság (12) bizottság (4) biztos (1) bkk (1) bolívia (1) bosznia hercegovina (1) bővítés (1) btk (1) budapest (14) bulgária (1) bunda (1) c4hu (2) (1) cégek (4) cenzúra (3) cerv (3) chile (1) chilecracia (1) ciklusértékelő (1) civilek (18) civilzseb (3) civil kapocs (1) CÖF (2) compr (4) conspiracy for democracy (2) Corvinus Zrt. (1) covid (1) crowdfunding (4) crowdsourcing (3) csalás (2) csányi (9) csatorna (1) Csehország (1) daimler (1) databoom (1) dél-korea (1) demokrácia (4) direkt36 (1) dk (3) drón (3) e-government (2) egészségügy (19) egyesült (2) egyesült királyság (2) egyiptom (1) együtt (1) együtt2014 (1) ekd (3) elnökség (1) energiaválság (2) english (66) ensz (2) eötvös károly közpolitikai intézet (1) építőipar (10) érdekérvényesítés (3) erzsébet (2) esemény (3) esettanulmány (2) észtország (1) eu (79) eurobarometer (2) európai (3) EU conditionality (17) eu elnökség (1) évvégi (11) exszabi (1) ezaminimum (25) e governance (1) facebook (2) fehér könyv (1) felcsút (3) felejtéshez való jog (1) fidesz (7) fizetések (1) flier (3) földbérlet (1) forgóajtó (1) fotó (1) franciaország (1) futball (1) garancsi istván (1) geodézia (1) goldenblog (1) görögország (2) GRECO (1) gruevszki (1) Grúzia (3) gyógyszergyártás (1) gysev (1) hackathon (5) hacks hackers (1) hálapénz (12) hamburg (2) helsinki bizottság (1) HET (3) heves (1) hillary clinton (1) hirdetés (3) hírlevél (2) hódmezővásárhely (1) hök (1) honlap (1) honvédelmi (3) Horváth András (1) horvátország (1) Hungary (1) idege (1) idegenforgalom (5) igazságszolgáltatás (5) igazságügyi minisztérium (1) ígyszültem (6) infografika (84) információszabadság (75) ingatlan (5) integritás (2) integritás hatóság (5) international (3) internet (4) internetpenetráció (1) IPI (1) iskola (2) ITM (1) izland (3) játék (3) javaslat (7) jobbik (2) jog (2) jogalkotás (52) jogállamiság (13) jordánia (1) k-monitor (40) k-teszt (4) kalifornia (1) kampány (27) kampányfinanszírozás (44) kamupártok (8) kdnp (1) kegyelem (1) KEHI (2) kekva (9) kemcs (5) kenőpénz (1) képviselő (3) képzés (1) kerényi imre (1) kincstár (2) királyság (2) költségvetés (16) koncesszió (1) konzultáció (3) kormányzati adatok (4) koronavírus (9) korrupció (38) korrupciófigyelő (7) korrupciós séta (2) koszovó (1) közadatok (5) közbeszerzés (55) közérdekű (3) közérdekű bejelentő (6) közgép (10) Közgép (2) közigazgatás (3) közösértékeink (2) közpénz (38) külföld (61) kultúra (3) külügyminisztérium (4) k monitor (72) Lázár János (5) légifotó (1) leisztinger (7) lengyelország (7) libéria (1) liget (2) lmp (2) lobb (1) lobbi (8) macedónia (2) magánszektor (2) magyarország (89) mahir (2) MÁK (6) máv (3) mbvk (1) media (2) média (9) meetup (3) mentelmi bizottság (1) mesterséges intelligencia (1) mészáros lőrinc (13) mezőgazdaság (13) microsoft (1) miniszterelnökség (4) minisztérium (6) mnb (2) MNV (4) mobilapp (3) modern városok (10) moldávia (2) monitoring (1) montenegró (1) mozgaskorlatozott (1) mszp (2) mtva (1) munkaerőpiac (1) mvh (2) naffa (1) NAIH (14) naih (1) NAV (4) navalnij (3) NCTA (3) németország (6) nemzetbiztonság (1) nepotizmus (1) népszavazás (1) nerhotel (9) new york (1) ngm (1) nhit (1) NIF (1) nkoh (3) nyerges (6) nyílt adat (4) nyílt kormányzás (20) nyitott önkormányzat (2) obama (2) OGP (22) OGP16 (1) OHÜ (2) OKFN (5) oktatás (6) olaszország (2) olimpia (1) oltás (1) önkéntes (3) önkormányzat (70) opencorporates (1) Open Knowledge (3) Orbán Ráhel (1) orbán viktor (10) oroszország (11) országgyűlés (4) összeférhetetlenség (3) ösztöndíj (1) pakisztán (1) paks (2) PallasAthene (1) panoráma (3) párbeszéd magyarországért (1) parlament (11) pártfinanszírozás (17) partimap (8) pártok (10) pénzmosás (4) pénzügyminisztérium (7) per (19) plakát (1) politika (2) politikusok (1) porto alegre (1) portugália (1) posta (1) prestige media (1) privacy (1) privatizáció (2) program (2) psi (2) publimont (1) putyin (1) rágalmazás (1) red flags (4) RekonstrukceStatu (1) rendelet (1) replicationsprint (1) részvétel (43) revolving door (1) right to know (1) rogán cecília (2) rokonok (3) rólunk (1) románia (4) rospil (1) RRF (9) sajtóadatbázis (1) sajtószabadság (5) sarka kata (1) Schadl György (2) school of data (2) siemens (1) simicska (20) Simon Gábor (1) smart city (3) sopot (1) spanyolország (3) sport (9) strabag (1) sunlight (1) századvég (2) szerbia (2) szerzői jog (1) Szijjártó Péter (2) szlovénia (1) szólásszabadság (2) szponzoráció (1) sztfh (1) Tactical Technology Collective (1) takarítás (1) támogatás (21) társadalmi egyeztetés (3) tasz (14) tényleges tulajdonos (1) tényleges tulajdonosi nyilvántartás (1) térkép (17) teszt (1) thales (1) theengineroom (1) tihany (1) timeline (1) titkosszolgálat (1) törvényhozás (5) trafikmutyi (2) transparency (5) trócsányi (1) TTIP (1) tulajdonos (2) tunézia (1) UBO (1) ügyészség (3) új nemzedék központ (1) ukrajna (2) uncac (2) unió (2) usa (18) usaid (1) utalvány (1) utazás (12) vagyonnyilatkozat (39) Vagyonnyilatkozatok Hajnala (8) választások (28) vám (1) várhegyi (2) varsó (2) vasút (2) végrehajtói kar (2) vesztegetés (6) vietnam (1) vitorlázás (2) vizes vébé (2) vizuális (4) Voksmonitor (12) Völner Pál (1) whistleblowing (15) wikileaks (4) workshop (3) young and partners (1) zambia (1) zmne (1)

Mikor veszik át a közigazgatást az algoritmusok?

orsivin // 2021.04.13.

Címkék: lengyelország koszovó macedónia információszabadság algoritmusok k monitor adatigénylés

Ma már nem kapjuk fel a fejünket, ha arról hallunk, hogy bizonyos döntéseket számítógépek segítségével hoznak meg. Természetesnek tartjuk, hogy az információtechnológiai eszközök visszavonhatatlanul beszivárogtak az életünkbe, a mindennapjaink részévé váltak. Az sem újszerű, hogy a közigazgatásban, a közhatalmi szférában algoritmusokat használnak – ezek az elmúlt években egyre nagyobb teret nyertek, egyre bonyolultabb számításokat végeznek és egyre több feladatot vesznek át a hús-vér emberektől. A COVID-19 járvány ráirányította a figyelmet az elektronikus, távoli elérésű eszközök fontosságára, az ezzel kapcsolatos technológiák lényegében berobbantak az életünkbe. De vajon ki kontrollálja ezeket az eszközöket? Ki biztosítja, hogy pontosak, méltányosak és igazságosak legyenek? Az, aki használja őket? Vagy netán a fejlesztő, külsős cég? Lehet-e beleszólásunk abba, hogy az állam milyen szoftvereket használ velünk kapcsolatban, a mi ügyeinkben?

Talán megdöbbentő, de számos algoritmus esetén gyakran még az azokat használó vagy működtető közszervek sincsenek pontosan tisztában ezekkel a kérdésekkel. Miközben örülünk, hogy a közigazgatási algoritmusok használata kényelmesebbé, pontosabbá és gyorsabbá teheti ügyeink elintézését, fontos, hogy tisztában legyünk ezen technológiák korlátaival is. A K-Monitor 2018 után már másodjára vesz részt az ‘alGOVrithms – alGOVritmusok’ kutatásban, amely a közép-kelet-európai régióban vizsgálja a közigazgatásban, illetve a közhatalmi szférában használt algoritmusokat. A kutatás legújabb szakaszában lengyel és cseh partnereink mellett koszovói és észak-macedón szervezetek is részt vettek, így még átfogóbb képet nyerhettünk a témáról.

 

algovrithms_facebook_1_2.jpg

 

Mit is értünk közigazgatási algoritmusok alatt?

Megpróbáltuk szűkebben meghatározni a “közigazgatási algoritmusokat”, azaz – a kutatás szóhasználatával élve – alGOVritmusok körét, éppen annak érdekében, hogy világosan elkülönítsük mondjuk az egyszerű, akár bármely számítógép által elvégezhető kalkulációktól.  Mivel a terület maga is alakulóban van, és nincs általánosan elfogadott definició, a kutatáshoz a következő meghatározást alkalmaztuk: azokat az automatikus szelekciós, szűrési vagy adatelemzési eljárásokat keressük, amelyeket kormányzati vagy más közhatalmi szervek alkalmaznak, segíthetik a döntéshozatalt és amelyek közvetve vagy közvetlenül befolyásolhatják az állampolgárok jólétét. Azért, hogy megértsük, hogyan működnek ezek az algoritmusok, ki felügyeli és ellenőrzi őket, hogyan zajlik egy ilyen algoritmus beszerzése, elhatároztuk, hogy megpróbálunk minél több információt megszerezni ezekről a közszférában használt ilyen eszközökről.

Csak Magyarországon több mint 20 adatigénylést küldtünk el különböző közhatalmi szervezeteknek, ugyanakkor érdemi választ így is keveset kaptunk, annak ellenére, hogy minden esetben felajánlottuk a telefonos interjú lehetőségét is. Néhány szerv azzal indokolta a válaszmegtagadást, hogy a szerveztüknél nem léteznek teljesen automatikus döntéshozatali eljárások (ez utóbbi alkalmazása valóban ritka), azonban fontos, hogy kutatásunk nem csak ezekre az algoritmusokra volt kíváncsi. Ugyanígy nehezítette Magyarországon a kutatást, hogy a COVID-19 járvány következtében egyrészt szűkültek a személyes kapcsolatfelvételi lehetőségek, másrészt egy Kormányrendelet a vészhelyzetre tekintettel módot nyújtott a megkeresett szerveknek arra, hogy 30 nappal meghosszabbítsák a közérdekű adatigénylések megválaszolására nyitva álló határidőt – így sok esetben már nem volt lehetőségünk esetleges tisztázó kérdések feltevésére. Éppen ezért az adatigénylések mellett sok esetben támaszkodtunk az elérhető újságcikkekre és sajtóanyagokra, illetve a közbeszerzési dokumentációra – azonban még így is kevés esetben kaptunk teljes képet a közigazgatási algoritmusok működéséről. Hasonló tapasztalatokról számoltak be a projektben résztvevő külföldi kutatók is: szinte kivételszámba ment, ha egy-egy hatóság részletes információt szolgáltatott.

 

Szabályozás és stratégiák Magyarországon és a régióban 

Amióta bürokrácia létezik, egyre erősebb igény jelentkezik az állampolgárok részéről arra, hogy minél kevesbé bonyolultan, a lehető legkevesebb papírmunkával intézhessük ügyeiket – ez pedig, az információtechnológia fejlődésével egyre inkább egybeesik kormány azon szándékával, hogy maga is leegyszerűsítse a közigazgatási folyamatokat, és ezzel humán és pénzügyi erőforrásokat takarítson meg, másrészt, hogy kiküszöbölje az esetleges emberi hibákat, gyarlóságokat és az ezzel kapcsolatos korrupciós lehetőségeket érdemben csökkentse. 2016-ban jutott el az e-közigazgatás arra a szintre, hogy az általános közigazgatási rendtartás a legegyszerűbben elbírálható ügyekben megteremtette az automatikus döntéshozatali eljárást, amely már valóban hús-vér ügyintézők nélküli, pusztán számítógép általi döntések meghozatalára nyújt lehetőséget. Bár ma még viszonylag szűk azon ügyek száma, ahol ez, a teljesen automatikus döntéshozatali eljárás alkalmazható, azért jó néhány olyan közigazgatási eljárás létezik, amely hasonlóan számítógépes algoritmusokra épül: épp csak az utolsó lépésnél történik emberi beavatkozás. 

A legutóbbi nagy, közigazgatási IT-fejlesztési projektek (például az EESZT bevezetése) elsősorban a papír alapú adminisztráció kiváltását szolgálták – mondhatjuk, hogy a dokumentáció digitalizálása így vagy úgy, de mindenképp egyfajta 0. lépését jelentik a komplexebb, szofisztikáltabb algoritmusok kidolgozásának – mára már a személyes adataink, fényképeink, teljes egészségügyi, társadalombiztosítási és adó adataink összekapcsolhatóak és online formában is elérhetőek. 

1_1.pngMás forrásokból is úgy értesültünk, hogy a jövőben az elektronikus adminisztráció és döntéshozatal lehetőségei is tovább fognak bővülni. Egy 2020 decemberében indult EU-s forrásokból finanszírozott projekt például azt a célt tűzte ki, hogy létrehoz egyfajta – egyéni igényekre adaptálhtaó – platform-modellt automatikus döntéshozatali eljárásoknak. A platform segítségével 10 pilot projektet indítanának el, amelyekben részben a mesterséges intelligenciára épülve automatikus döntéshozatali eljárás volna megvalósítható. Szintén jelentős előrelépést jelenthet, hogy 2020-ban Magyarország új Mesterséges Intelligencia Stratégiát fogadott el, amelynek célja, hogy 2030-ra a kormányzati adminisztráció mintegy 60%-a elektronikus úton működjön, akár önkiszolgáló kioszkok vagy (fizikai) robotok segítségével. A Stratégia azonban a közigazgatási adminisztráción túl máshol is fontos beavatkozási területeket említ: mesterséges intelligenciát használnak a munkaerőpiaci közvetítésben, az egészségügyben, a határrendészetnél, a forgalomirányításban és a bűnüldözésben is. Egyúttal az adóhatóságot, illetve az Állami Számvevőszéket is ellátnák mesterséges intelligencia által vezérelt előszűrő és kiválasztó eszközökkel.  

A sok ambiciózus cél mellett üdítő, hogy a – külsős stakeholderek segítségével megírt – stratégia erős elköteleződést mutat a technológiák használatának etikai vonatkozásai iránt: az etikai kódexet egy kormányzaton kívül álló etikai tanács állítaná össze. Másik kérdés, hogy ha minden igaz, ez a testület csupán a mesterséges intelligenciát alkalmazó eszközökre vonatkozóan dolgozna ki etikai ajánlásokat, tehát az egyszerűbb algoritmusok továbbra is a radar alatt maradnának. Pillanatnyilag ugyanis nincs olyan szerv vagy testület, ami átfogóan felügyelné ezeket az algoritmusokat, vagy olyan jogszabályok, amely megfelelő támpontot nyújthatna az ilyen algoritmusok felelős használatához. Előremutatható lehet ugyanakkor, hogy bár az adatigénylések során sokszor azt tapasztaltuk, hogy bár a közigazgatási szerveknél nincs meg feltétlenül az ilyen közigazgatási algoritmusok használatának etikai és átláthatósági vonatkozásával kapcsolatos háttértudás, úgy tűnik, hogy nem csak minket, kutatókat és civil szervezeteket foglalkoztatnak a felvetett problémák: ezt tanúsítja az is, hogy az Állami Számvevőszék is pont ebben a témában tartott 2021 februárjában (nem sokkal kutatásunk kéziratának lezárása előtt) egy nemzetközi továbbképzést.

A kutatás a magyarhoz nagyon hasonló eredményekre jutott Lengyelországban, ahol 2021 januárjában fogadták el a Mesterséges Intelligencia Fejlesztéssel Kapcsolatos Stratégiát: külön aláhúzandó,  hogy itt a Stratégia megalkotásához felhasználták a korábbi AlGOVrithmusok-kutatás néhány ajánlását: itt az a terv, hogy 2023  végéig elfogadják az etikai vonatkozásokat, transzparenciát tartalmazó szabályokat. A jövőre vonatkozó tervek mellett azonban érdemes aláhúzni, hogy jelenleg egyik vizsgált országban sincs transzparens, átfogó szabályozás a különböző államigazgatásban használt szoftverek fejlesztésével, beszerzésével, felügyeletével kapcsolatban, sőt, olyan központi szerv, amely számon tartaná, hogy egyáltalán milyen közigazgatás algoritmusok, szoftverek, programok vannak használatban. Ez különösen problémássá válhat ott, ahol a közszférában alacsony a digitális írástudás szintje, így például Észak-Macedóniában; vagy Koszovóban, ahol a legtöbb ilyen fejlesztést külső donorok finanszírozták: itt ugyanis sokkal könnyebben válik a közhatalom függővé egy-egy külső partnertől, fejlesztőtől, ez pedig az ellenőrzés, az elszámoltathatóság és a felügyelet terén is óriási kockázatokat rejt magában.

 

Hol találkozhatunk közigazgatási algoritmusokkal? 

Aki az elmúlt évek során kapcsolatba került a magyar közigazgatással, az minden bizonnyal észrevette az utóbbi évek robbanásszerű fejlődését az elektronikus közigazgatás terén – noha számos rendszert már több mint tíz éve alkalmaznak, a közigazgatási algoritmusok száma gyorsuló ütemben nőtt, miközben az általuk elvégzett feladatok egyre komplexebbé váltak: mára fontos szerepet játszanak a bűnüldözésben, a szabálysértések felderítésében, de még a katasztrófaelhárításban is – úgy hogy arról az állampolgárok nem is feltétlenül tudnak. Természetesen biztosak vagyunk abban, hogy távolról sem sikerült felderítenünk az összes közigazgatási algoritmust – ugyanakkor az itt bemutatott példák mégis szemléletesek lehetnek, hiszen rávilágítanak arra, hogy milyen algoritmusok dolgoznak már ma is a közigazgatásban, és hogy mennyire változatos lehet ezek fejlesztése, ellenőrzése, különösen ha a régió hasonló technológiai megoldásaival vetjük őket össze. A csoportosítás ugyanakkor némileg önkényes, és noha valóban bemutatja általánosságban az algoritmusok céljait, látható, hogy a közigazgatás már most számos olyan komplex rendszert alkalmaz, amely akár több, különböző algoritmust használ: egy szofisztikáltabb rendszer egyszerre végezheti a rögzített adatok elemzését, a kockázati előszűrést és a véletlenszerű szignálást is.  

Kockázati előszűrést végző algoritmusok

Számos olyan szerv van, amelynek fontos feladata, rengeteg adatot vizsgálva hogy szabálytalanságokat tárjanak fel – azonban hihetetlen erőforrást emésztene fel, ha minden egyes adatot megvizsgálnának. Sok esetben célszerűbb olyan algoritmusok használata, amelyek célzottan keresik a szabálytalanságokat, vagy eleve, valamilyen indikátor alapján választják ki a vizsgálandó elemeket. Számos ilyen algoritmus létezik már most is, és a jövőben valószínűsíthető, hogy épp ezen a területen fogunk találkozni mesterséges intelligenciát vagy gépi tanulást alkalmazó eszközöket.   

A NAV algoritmusai

Természetesen megkerestük a Nemzeti Adó és Vámhihatalt adatigényléseinkkel: sajnos a válaszból fontos, részletes információk nem derültek ki (pl. hogy az egyes algoritmusokat konkrétan mire használják), de azt megtudtuk, hogy mind kockázatelemzéssel, mind az ellenőrzésre történő kiválasztással kapcsolatos előszűrésekre is használnak algoritmusokat, így például az adó- és vámbevallások esetén mintegy 10 éve, az EKÁER-rel kapcsolatban 5 éve, illetve az e-számla rendszer bevezetésével kapcsolatban is mintegy két éve. Az összes ilyen rendszert a NAV üzemelteti, és ők végezték el a belső auditot is (habár azt kérdésünkre nem árulták el, hogy a fenti rendszerek közül melyik készült külső, illetve melyik belső fejlesztés során). A kapcsolódó közbeszerzési dokumentumokat a NAV állítása szerint nemzetbiztonsági okokból titkosították. Néhány közbeszerzési dokumentáció azonban elérhető, és ezek többek között arról tanúskodnak, hogy a NAV egyéb adatbányász alkalmazások beszerzését is tervezi vagy tervezte.

Az Európai Támogatásokat Auditáló Főigazgatóság algoritmusa

Az Európai Támogatásokat Auditáló Főigazgatóságot (EUTAF) is megkerestük közérdekű adatigénylésekkel. Magyarországon ez a hatóság felelős az EU-támogatások felhasználásának utólagos auditálásáért – mivel ez a tevékenység jelentős mennyiségű pénzügyi adatot érint, azt feltételeztük, hogy a főigazgatóság alkalmaz valamilyen előszűrő vagy kockázatelemző analitikát. Válaszukból az derült ki, hogy bár valóban használnak az ellenőrzésre történő kiválasztásra algoritmust, illetve szoftvert, ez elsősorban véletlenszerű, statisztikai mintavételi technikát jelent. (Magát az algoritmust az Európai Bizottság mintavételezési módszerekről szóló EGESIF-16-0014-01 számú útmutatója tartalmazza.)  A statisztikai mintavételezést a Caseware IDEA nevű szoftverével végzik, amely már több mint 10 éve használatban van.

IRIS - A Nemzeti Média és Hírközlési Hatóság által működtetett adatgyűjtő és előszűrő rendszer

Azért fordultunk adatigényléssel a Nemzeti Média és Hírközlési Hatósághoz, mert korábban többször tudósítottak arról, hogy egy viszonylag komplex adatgyűjtő és előfeldolgozó rendszert működtetnek, az IRIS-t. A rendszer belső fejlesztésként készült el (korábbi archívumokra épülve) a Hatóságnál valamikor 2010 és 2013 között, és alapvetően rádió- és tévéadások gyűjtésére, archiválásra szolgált. A legutóbbi nyilvánosan elérhető információ szerint 141 rádió- és televíziós csatorna mintegy 8 millió különböző adását tartalmazza metaadatokkal ellátva, és egészen 1990-ig lehet benne keresni. Meglepetésünkre  a hatóság nemleges választ adott arra a kérdésre, hogy a használnak-e komplex, döntést segítő algoritmusokat, ugyanakkor a hírekből és az elérhető közbeszerzési dokumentumokból arra a következtetésre jutottunk, hogy van vagy legalábbis volt arra vonatkozó terv, hogy az IRIS-be a szabálysértéseket felderítő, automatikus döntéssegítő eszközöket építsenek be, és legalább részben kiváltsák ezzel az emberi faktorokat. Az új fejlesztés a következőkre terjedne ki:

  • Zeneszám felismerés
  • Kiskorúak védelme (automatikus korhatárbesorolás)
  • Reklámhangosság mérése
  • Köszszereplők médiajelenlétének mérése (arcfelismerés)
  • Hang-szignálok felismerése
  • Műsorfigyelés
  • Reklámfigyelés (reklám, termékelhelyezés felismerése)

Mivel a vonatkozó közbeszerzéssel kapcsolatos előzetes tájékoztatót a Médiahatóság 2020-ban visszavonta, a projekt sorsa kétséges.

Flag: Kosovo on JoyPixels 6.5 Koszovóban is már 2015 óta létezik olyan közigazgatási algoritmus, amely az ügyek kockázatelemzését végzi és ez alapján végez egyfajta ellenőrzésre történő előszűrést: jelenleg a szoftver mintegy 150 különböző paramétert vesz figyelembe, és az adóellenőrzések mintegy 70%-a ezen algoritmus kiválasztása alapján történik. 

Flag: Poland on JoyPixels 6.5 Lengyelországban egy komplex algoritmus ellenőrzi a COVID-19-cel kapcsolatos támogatási jogosultságot, amely a beérkezett igényléseket veti össze más, közhatalmi adatbázisokkal, így az adóhatóság és a társadalombiztosítási intézet adataival, illetve ezen felül az egyes kiugró adatokat (például eltúlzott alkalmazotti létszámot) is vizsgálja. Mindemellett az algoritmus azt is elemzi, hogy a bevételben  történő visszaesés valóban lehet-e a járvány következménye (és nem például egy elhibázott üzleti tervé). Néhány önkormányzat esetén is találkoztunk egyedi, szabálytalanságokat feltáró algoritmusokkal: Swidnik városa például egy szoftveres megoldással tárja fel a hulladékok kihelyezésével kapcsolatos esetleges csalásokat: a lakosok különböző forrásokból származó, anonimizált adatait vetik össze, és ez alapján keresi azokat, akik nem fizetnek a hulladékelszállításért. A fejlesztés annyira sikeres volt, hogy mintegy 1300 ilyen személyt találtak, és már más önkormányzatok is érdeklődnek iránta. 

Flag: Czechia on JoyPixels 6.5 Csehországban az elnökválasztás során egy számítógépes szoftver ellenőrzi az aláírások hitelességét: a leadandó 50 000 választópolgár aláírása közül egy algoritmus választ ki és ellenőriz kétszer 8500-at. 2013-ban két potenciális jelölt esetében is az algoritmus használata vezetett a jelöltség érvénytelenítéséhez, egy harmadikuk pedig csak bírósági eljárást követően válhatott jelöltté. Az eset komoly aggodalmat váltott ki, ugyanis kiderült, hogy az algoritmus nem véletlenszerű mintavétellel választja ki ellenőrzésre az aláírásokat, amely akár befolyásolhatta is, hogy az adott jelölt indulhat-e a választáson.

Intelligens monitorozó és megfigyelő algoritmusok

A tömeges megfigyelésen alapuló algoritmusok hasonlóan jelentős csoportot jelenthetnek: a különböző forgalomszabályozást, közviágítást bonyolító, vagy más, ‘Smart City’-koncepcióba illő okos-rendszerek szintén olyan területet jelenthetnek, ahol a jövőben megjelenhetnek a mesterséges intelligenciát használó alkalmazások. Jelenleg a legfontosabb ilyen rendszerek a rendőrséget segítik. 

A Véda-KAFIR-ROBOTZSARU (‘Robocop’) Rendszer 

154888_source.jpgA Véda egy olyan intelligens kamerarendszer, amely egész Magyarország területéről adatokkal látja el a KAFIRt, azaz a Közlekedésbiztonsági Automatizált Feldolgozó és Információs Rendszert. A rendőrségi általános ügykezelési rendszerrel, a Robotzsaruval együtt a rendszer elképesztő hatékonysággal bonyolítja a közúti szabálysértések elkövetőinek bírságolását. A 365 fix és 165 mobil intelligens kamerából álló VÉDA hálózatot még 2012 és 2015 között építették ki egy EU-program keretében. A kamerák rögzítik a rendszámot, a sebességet, illetve a felvétel készítésének idejét és GPS-lokációját, ezek az adatok kerülnek be a KAFIR-ba, amely elvégez néhány lekérdezést (például, hogy körözik-e az adott gépjárművet), aztán az adatcsomagot együttesen feltöltik a Robotzsaru rendszerbe, amely aztán – a szabálysértés jellegétől függően – a hatáskörrel és illetékességgel rendelkező hatósághoz továbbítja azt. Egészen eddig a pontig minden automatikusan történik, sőt, ha az említett szabálysértés az objektív felelősség körébe tartozik, akkor lényegében a döntés meghozatala is automatikus – bár azt egy hús-vér, az ügyre a Robotzsaru által kiszignált ügyintéző hagyja jóvá.

Bár e rendszer megbízhatóságát sem érik alapvetően kritikák, autós fórumokon találkozhatunk olyan esetleírásokkal, amelyek szerint a rendszer olyan ügyek miatt bírságolt, amelyek elkövetése lényegében a fizikai törvényeivel lenne ellentétes. A rendszer megvalósításával kapcsolatos közbeszerzési dokumentumok, illetve néhány vonatkozó szerződés kivonata nyilvános ugyan, ám ezekből sajnos nem derül ki érdemi információ a karbantartással és auditálással kapcsolatban.

Flag: Czechia on JoyPixels 6.5 Csehországban nincs olyan átfogó, sebességkorlátozások betartását ellenőrző rendszer, mint amilyen a VÉDA, ellenben több város, köztük Prága is alkalmaz egyedi szoftveres megoldásokat. A rendszer éves szinten nagyjából 300 000 bírság kiszabását tette lehetővé, és annyiban szintén nem tekinthető teljesen automatikusnak, hogy azt mindig egy valóságos embernek kell jóváhagynia. Az eszközöket és a szoftvert (bár utóbbiról nem esik külön szó a szerződésben) is egy külsős cég biztosítja, ugyanez a cég végzi az esetleges további fejlesztéseket is, illetve biztosítja a rendszert használók képzését. 

Flag: North Macedonia on JoyPixels 6.5 Észak-Macedóniában 2012-ben indították el a Skopje Safe City projektet, amelynek keretében jelenleg mintegy 652 kamerát üzemeltetnek a közbiztonság érdekében – ugyanakkor nem világos, hogy pontosan ki fér hozzá a rögzített adatokhoz, és ki tudja azt összekapcsolni a biometrikus azonosítókkal. 

Továbbtanulást, pályaorientációt meghatározó algoritmusok

Szintén érdemes külön foglalkozni a pályaorientációt, az esetleges továbbtanulást befolyásoló algoritmusokkal – ezeken keresztül közvetve ugyanis az egyes államok ipari-gazdasági stratégiájukat is érvényesíthetik. Nem kell hangsúlyoznunk, hogy egy pályaválasztást meghatározó algoritmusnak, illetve az abból következő döntéseknek az egyének teljes életére szólóan meghatározó szerepe lehet. 

Az Oktatási Hivatal pályaorientációs tesztje

2020 októberében a hírekből értesültünk arról, hogy az Oktatási Hivatal kötelezővé tette minden nyolcadik osztályos tanuló részére egy olyan webes kérdőív kitöltését, amely segítené őket a pályaválasztásban. A kérdőív kitöltéséhez meg kellett adniuk saját egyedi oktatási azonosítójukat.  A  weboldal leírása alapján a válaszokhoz és a kiértékelésükhöz csak az adott diákok férhetnek hozzá (tehát azt nem kapja meg semmilyen állami szerv, az iskola, vagy a szülők), viszont a válaszokat az Oktatási Hivatal – a kompetenciatesztek eredményeivel összevetve – felhasználhatja statisztikai célokra. Ebben az értelemben a rendszer jelen formájában nem jár automatikus döntéshozatallal, ugyanakkor érdemes megjegyezni, hogy Magyarország aktuális Mesterséges Intelligencia Stratégiája már tartalmazza olyan informatikai megoldások terveit, amelyek valóban érdemben befolyásolhatják az egyes állampolgárok karrier-életútját. Néhány hír ráadásul arról tudósított, hogy az Oktatási Hivatal tesztje a Kormány iparfejlesztési stratégiájával összhangban a szakképzés felé terélné a nyolcadikosokat – ezért is fordultunk a hivatalhoz, akik rendelkezésünkre bocsátották a kérdőív paramétertábláját. Ennek vizsgálata alapján arra a megállapításra jutottunk, hogy vélhetően inkább a paramétertábla egyszerűségéből fakadhatnak az esetleges részrehajlások – ugyanakkor ezt a tervek szerint az OH évről évre felül fogja vizsgálni.

Flag: Kosovo on JoyPixels 6.5 Koszovóban is létezik olyan platform, amely a diákok továbbtanulását segíti, ez egy jóval komplexebb rendszer, amely (szintén egyfajta, bár összetettebb kérdőív segítségével) meghatározza a diákok személyes érdeklődését, értékeit, képességeit és preferenciáit, majd ez alapján javasol személyre szabott karrier-életutat, ideétve a vonatkozó továbbképző intézmények bemutatását, illetve adott esetben munkaajánlatokat is közvetít, vagy on-line távtanácsadást biztosít. A rendszer célja ezen felül, hogy a diákok válaszainak elemzésén keresztül a szakpolitikát és az oktatási intézményeket is segítse abban, hogy a tankövetelményeket a munkaerőpiaci igényekhez tudják igazítani. 

A koronavírus-járvánnyal kapcsolatos algoritmusok

Olyan egészen egyedi új algoritmusokkal is találkoztunk, amelyek a koronavírus-járvány leküzdését segítik: nem lepődhetünk meg nagyon azon, hogy ezek többnyire külsős fejlesztésben készültek, az állam inkább csak felkarolta ezeket a megoldásokat – és miközben egyfelől üdvözlendő, hogy az állam él a piaci szereplők nyújtotta rugalmas és gyors válaszok lehetőségével vészhelyzet esetén, nem kétséges, hogy az ilyen ad hoc informatikai beszerzések súlyos kockázatokat hordozhatnak magukban, különösen, amikor tömegek személyes és egészségügyi adatainak használatáról van szó.

Házikarantén-applikáció

Magyarországon 2020 májusától engedélyezi kormányrendelet a hatósági karantén elektronikus ellenőrzését, ekkorra már az állam rendelkezésére állt az applikáció. Ennek használata önkéntes, ugyanakkor az applikáció használatát a kormányrendelet azzal is ösztönzi, hogy a karantén megszegésére alacsonyabb összegű bírságot helyez kilátásba. A fejlesztés története ugyanakkor kissé különbözik a szoftverek közbeszerzésének szokványos menetétől. Ez esetben ugyanis maga a fejlesztő cég, az arcfelismerésben és GPS-lokációs technológiákban jártas Asura Technologies környékezte meg az Operatív Törzset még 2020 márciusában, gyakorlatilag az első karanténok elrendelésekor. Az Operatív Törzs nyitottnak mutatkozott a technológia alkalmazására (részben azért, mert ezzel jelentős erőforrás-megtakarítás elérésében reménykedtek, de azért is, mert az Asura ingyen bocsátotta a licenszet a Magyar Állam rendelkezésre), a cég pedig lényegében rögtön elkezdte a közös munkát a releváns állami adatbázisokat és szerverinfrastruktúrát üzemeltető, illetve működtető szervezetekkel, így az Idomsofttal, a NISZ Zrt.-vel és az ÁEEK-val. A fejlesztés mindössze öt hetet vett igénybe, azt a Nemzeti Kibervédelmi Intézet tesztelte.

Fontos hangsúlyozni, hogy a fejlesztő cég csak az applikációt üzemelteti, a személyes adatokhoz nincs hozzáférése, csupán a különböző adatbázisok közötti kapcsolatot teremti meg.  Maga az applikáció nem használja folyamatosan a GPS-lokációkat, ugyanakkor véletlenszerűen meghatározott időszakonként megkéri a felhasználót, hogy készítsen magáról egy szelfit – ezen felül az EESZT-hez is hozzáférést nyújt. A valóságban sajnos nehéz felmérni, hogy mennyire volt sikeres a fejlesztés, több ok miatt is: egyrészt, sokan vonakodtak attól, szelfiket küldjenek magukról az államnak (noha állítólag ezeket a képeket nem tárolták semmilyen adatbázisban), másrészt, az applikáció eleve csak felnőtt magyar állampolgárok számára volt elérhető (tehát például eleve értelmetlen volt a használata abban a nem ritka esetben, amikor valaki a kiskorú gyermekeivel együtt került karanténba), harmadrészt, és talán ez a legfontosabb ok: 2020 szeptemberétől, azaz a koronavírus-járvány második hullámának kezdetétől a hatóságok gyakran csak igen jelentős késéssel rendelték el hivatalosan a hatósági karantént (sokszor lényegében “visszamenőleg”), amely eleve értelmetlenné tette az alkalmazás használatát.

Flag: Poland on JoyPixels 6.5 Lengyelországban a járvány második hullámának erőre kapásától, 2020 novemberétől alkalmaznak hasonló (GPS-lokáció és arcfelismerés kombinációján alapuló) ellenőrző applikációt,  ennek segítségével a karanténkötelezettek akár többféle segítséget igényelhetnek (például a bevásárlás, pszichológusi asszisztencia, vagy egyéb kapcsolatfelvétel terén) is. Fontos eltérés a magyar házikarantén-apphoz képest, hogy a lengyel verzió a látássérültek, a mobiltelefon-előfizetéssel vagy megfelelő okostelefonnal nem rendelkezők kivételével minden karanténkötelezett számára kötelező. 

A járvány terjedésének megelőzésére pedig Gdyniában (Lengyelország)  egy olyan gépi tanulást alkalmazó algoritmust találtak ki, amely a térfigyelő kamerák adatait elemzve azonosítja az esetleges nagyobb csoportosulásokat (figyelmen kívül hagyva bizonyos helyeket, például a buszmegállókat), és ez alapján ad ki riasztásokat. (Az adatigénylések során azonban az derült ki, hogy a szoftvert jelenleg nem alkalmazza a gdyniai önkormányzat.)

A közigazgatás hatékonyságát növelő algoritmusok

Érdemes külön is foglalkoznunk az ügykezelő algoritmusokkal: ezek azok az algoritmusok, ezek azok az algoritmusok, amelyek elsődleges célja az, hogy bizonyos adatok alapján megkönnyítse a tisztségviselők döntését, csökkentsék a bürökráciát, valamint hogy a közigazgatási, rendőrségi, vámkezelési vagy bírósági ügyintézők, tisztviselők között biztosítsa az ügyterhelés egyenlő elosztását és a véletlenszerűséget – ennek hatékonysági okok mellett a korrupcióellenes küzdelemben is szerepe lehet. Magyarországon számos nagyobb rendszer (így például a már tárgyalt Robotzsaru vagy a NAV-rendszere)  integráltan tartalmaz ilyen megoldást.

Anyasági támogatások és a TÉBA rendszer, valamint a Magyar Államkincstár egyéb algoritmusai

A 2010-es választások előtt alig pár hónappal indult el a Pénzügyminisztériumban egy hatalmas, EU-támogatásból finanszírozott informatikai fejlesztés, a TÉBA, amelynek fő célja a családtámogatási ellátások folyósításának korszerűsítése volt, olyan módon, hogy az integrálja a Magyar Államkincstár által folyósított támogatásokhoz kapcsolódó addig különböző család-, szociális és fogyatékossági  adatbázisokat, lehetővé téve azok egységes kezelését és összekapcsolását. A projekt, melynek fő kedvezményezettje a Kormányzati Informatikai Fejlesztési Ügynökség volt, 2013-ban zárult, bár természetesen azóta is zajlottak ezzel kapcsolatban EU-forrásokból finanszírozott fejlesztések, 2017 óta pedig bizonyos anyasági támogatások megítélése esetén a rendszer valódi automatikus – emberi beavatkozás, jóváhagyás nélküli  – döntést is képes a rendszer hozni. Magát a fejlesztést végző vállalkozást egyszereplős közbeszerzési eljáráson keresztül választották ki, a programot az Államkincstár Családtámogatási Osztálya hagyta jóvá, és az Informatikai Osztály felügyeli és működteti.

Ha automatikus döntéshozásra nem is alkalmas, a Kincstár további komplex algoritmusokat is működtet, ezek egyike egy, az önkormányzatok részére készített ASP-rendszer, amely támogatja a helyi önkormányzatokat feladataik hatékony teljesítésben, miközben korszerű eszközökkel monitorozza a helyi önkormányzatok működését és finanszírozásukat, illetve egy közös platformot is biztosít, amelyen keresztül az állampolgárok és a cégek az önkormányzatokkal kapcsolatos ügyeiket intézhetik. Itt említhetjük meg a KIRA-rendszert is, amely az állami és önkormányzati alkalmazottak, tisztviselők, nevelőszülők és más munkavállalók közös bérszámfejtő rendszere.

Automatikus Elektronikus Közbeszerzések az EKR-ben

2014-ben az EU új irányelvet fogadott el a közbeszerzésekkel kapcsolatban, amelyet 2015-ben az új magyar Közbeszerzési törvény bevezetése követett, amely megkövetelte egy egységes elektronikus közbeszerzési platform, az EKR használatát. 2018-tól kezdve lényegében az összes ajánlatkérő szerv ezen a rendszeren keresztül bonyolítja a közbeszerzéseket, és erre az elektronikus csatornára terelték a közbeszerzésekkel kapcsolatos teljes kommunikációt is. Ez azt is jelenti, hogy, legalábbis elméletben, az ajánlatkérők és az ajánlattevők csak ezen a rendszeren keresztül oszthatnak meg egymással dokumentumokat. Míg valóban beépítettek a rendszerbe jónéhány garanciális funkciót (például nem lehet megkésve ajánlatot beadni vagy a bontás időpontja előtt hozzáférni az ajánlatokhoz), magának az EKR bevezetésének jelenleg leginkább a közbeszerzésekkel kapcsolatos papírmennyiség csökkentésében és a dokumentumok elektronikus elérhetőségének javításában van felmérhetetlen jelentősége. Természetesen az EKR képes valósidejű statisztikák előállítására (bár ezek nyilvánosan nem elérhetőek), és a hirdetmények ellenőrzése bizonyos fokig automatizálódott, ugyanakkor a közigazgatási algoritmusok szempontjából jelentősebb szempont, hogy maga a rendszer részben azzal a céllal jött létre, hogy ösztönözze az elektronikus árlejtés alkalmazását. Ez utóbbit már 2007-ben lehetővé tette egy törvényi rendelkezés, az EKR-ben azonban új, automatikus funkcióként kapott helyet. Sajnos jelenleg nincs arra vonatkozóan nyilvánosan elérhető statisztika, hogy az új funkció hozzájárult-e az elektronikus aukció segítségével lebonyolított eljárások részarányának növekedéséhez.

Az EKR-rendszerrel kapcsolatban érdemes hangsúlyozni, hogy maga a fejlesztés nem a nulláról indult, hanem azt a korábbi, központosított beszerzésekre kialakított informatikai rendszer továbbfejlesztésével és – minden ajánlatkérőre kiterjedő – kiterjesztésével valósították meg. Ez az oka annak, hogy – némileg furcsa módon – a rendszert nem a Közbeszerzési Hatóság üzemelteti és felügyeli, hanem a Miniszterelnöki Hivatal egyik cége.

Flag: Kosovo on JoyPixels 6.5 Flag: North Macedonia on JoyPixels 6.5 Koszovóban és Észak-Macedóniában is létezik például bírósági ügyelosztó rendszer, és míg a koszovói – annak ellenére, hogy külsős donorok és fejlesztés segítségével valósult meg – egyfajta sikersztorinak számít, és valóban hozzájárult az ügyek gyorsabb és hatékonyabb elintézéséhez, Észak-Macedóniában a rendszer működésével kapcsolatban súlyos politikai visszaélések merültek fel: kiderült ugyanis, hogy a Nikola Gurevszi és pártja támogatóival feltöltött Legfelsőbb Bíróság egyes, politikailag érzékeny ügyeket egész egyszerűen nem töltött fel az ügyek adatbázisába, és azokat  a rendszert megkerülve szignálták ki bírókhoz. A vámügyintézéssel kapcsolatban érdemes megemlíteni, hogy az ENSZ Kereskedelmi és Fejlesztési Konferenciája, az UNCTAD is elérhetővé tett olyan platformot, amelyen keresztül az egyes vámügyeket vámügyintézőkre lehet szignálni: a rendszer egyrészről megnehezíti a vámeljárásban az ügyintézők megvesztegetését, másrészről valóban hatékonyabbá teszi a határon túli kereskedelmet (ezt a rendszert alkalmazza Észak-Macedónia és Koszovó is).

Flag: North Macedonia on JoyPixels 6.5 Észak-Macedóniában, Magyarországhoz hasonlóan elektronikus közbeszerzési rendszer is létezik, amely menedzseli az adott közbeszerzési eljárás szakaszait, illetve az ajánlatok értékelését és sorba rendezését is elvégzi a megadott kritériumok alapján.  

Összegzés

Kétség sem férhet hozzá, hogy a jövőben a közigazgatási algoritmusok számában és az általuk ellátott feladatok mennyiségében, komplexitásában robbanásszerű változás várható. Ezek a technológiák automatizálhatják az igazgatási folyamatokat, segíthetik a döntéshozatalt, növelhetik a hatékonyságot és jobb szolgáltatást nyújthatnak az állampolgároknak. Ugyanakkor, nem mindegy, hogy hogyan tervezik, fejlesztik, adaptálják és ellenőrzik a közszféra szervei ezeket az algoritmusokat. Jelenleg a fejlesztő cégeken és az egyes intézmények informatikai osztályain nem terjednek túlra az ezekkel a technológiákkal kapcsolatos ismeretek, holott életbevágó lenne, hogy az alkalmazásukkal járó esetleges előnyöket és hátrányokat a közintézmények, az állampolgárok, a civil, a tudományos és az üzleti élet szereplői is mérlegeljék. 

Fontos problémát jelent, hogy 

  1.  sok esetben még maguk a közintézmények sem tudták egyértelműen beazonosítani a közigazgatási algoritmusokat
  2. a területet szinte semelyik országban nem szabályozzák átfogóan, 
  3. a fejlesztések néha ad hoc módon, a kockázatok mérlegelése nélkül történnek: ez nemcsak a besős, hanem a külső szereplők bevonásával készült fejlesztések esetén is jellemző. 

 

Ugyanakkor Lengyelországban és Magyarországon léteznek arra vonatkozó tervek, hogy (legalábbis a mesterséges intelligenciára épülő algoritmusokkal kapcsolatban) etikai kódexeket vezessenek be, illetve szakértői testületet állítsanak fel. Szerencsére a tanulmányozott algoritmusok közös vonása, hogy az esetek többségében felfedezhető volt valamiféle törekvés a rendszerek megbízhatóságának, igazságosságának és méltányosságának belső auditálására, mégis sürgető lenne, hogy megszülessenek azok az nemzetközileg is elfogadott standardok, amelyek ehhez a komoly feladathoz iránymutatást nyújthatnak.

A fentiek alapján a következőeket javasoljuk:

1. Hozzanak létre egy olyan központi kormányzati szervet, amely felügyeli a közhatalmi algoritmusok fejlesztését, megvalósítását és használatát, és amely nyilvántartja a közigazgatásban alkalmazott algoritmusokat.

 

2. Hozzanak létre egy olyan magas-szintű, jogalkotókból, a civil szektor és tudományos élet szereplőiből, az üzlet és ipari érdekeltekből álló szakértői csoportot, amely egyfajta tanácsadó testületként szolgálna a kormány mellett!

 

3. Hozzanak létre egy olyan jogi keretrendszert, amely garantálhatja a megbízható közhatalmi algoritmusok fejlesztését és erősíti ezek átláthatóságát! Határozzák meg a közhatalmi algoritmusok beszerzésének, felügyeletének és auditjának nemzeti standardjait!

 

4. A közsszféra dolgozói részesüljenek olyan képzésben, amelynek segítségével monitorozni, illetve auditálni tudják a közhatalmi algoritmusokat! 

 

5. Bátorítsák a tudásmegosztást és a jó gyakorlatokkal kapcsolatos tapasztalatcserét  a kormányzati szervek között!

 

6. Legyenek nyilvános viták és egyeztetések a témában a szabályozó hatóságok, a jogalkotók, illetve a civil szektor, a média, az állampolgárok és az üzleti érdekeltek képviselői között annak érdekében, hogy az algoritmusok valóban a jó kormányzás, az emberi jogok és a demokrácia alapelveit szolgálják! A monitorozási és szabályozási folyamatba vonják be a civil szektort és a tudományos szervezeteket!

A kutatás a Visegrádi Alap támogatásával készült.

algovrithms_facebook_2.jpg


Címkék: lengyelország koszovó macedónia információszabadság algoritmusok k monitor adatigénylés

Szólj hozzá!

A bejegyzés trackback címe:

https://k.blog.hu/api/trackback/id/tr716499710

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.


süti beállítások módosítása