Egy kutatás szerint (State of Data Quality 2022) az adatokkal foglalkozó szakemberek 75%-a készít adatvalidációt, de csak a cégek 51%-ánál van erre kész, rendszeres folyamat. Akik viszont komolyan veszik, azok munkaidejük akár 40%-át is ezzel töltik (Wakefield Research — State of Data Quality). És amikor elemzőket arról kérdeznek, mi okozza a legnagyobb problémát az adatelőkészítés és -feldolgozás során, a válaszadók közel fele elsőként az adatminőségi problémákat jelölte meg (Alteryx, 2025 State of Data Analysts in the Age of AI).

Foglaljuk össze a három kutatás eredményét:

• Komoly probléma még ma is az adatok nem megfelelő minősége: a válasz igen.
• Egy adatelemző munkájának hány százalékát teszi ki az adatok ellenőrzése, javítása: a válasz kb. 40%.
• Minden adatelemző elvégzi az adatellenőrzést: nem — az adatelemzők negyede nem ellenőrzi, céges folyamat szinten pedig még rosszabb a helyzet.

Miért utáljuk ezt a munkát

Jómagam több mint 20 éve elemzek adatokat, és nem merném kijelenteni, hogy az adatminőség ellenőrzését mindig jó kedvvel, szívesen csinálom. Ennek egyszerű az oka: ez a munka sokszor fáradságos, kicsit unalmas, minimális sikerélménnyel jár. Ha találunk egy hibát, az inkább bosszúságot okoz, nem sikerélményt.

Akkor adjuk oda egy junior kollégának? Tapasztalatom szerint ennél nagyobb hibát nem is követhetünk el. Az adatminőség-ellenőrzés pont olyan képességeket igényel, amihez sok éves adatelemzői tapasztalat kell.

Na de akkor mi a megoldás?

Kipróbáltam a Claude Artifacts szolgáltatását. Megadtam néhány promptot és egy SAV-fájlt, és máris kaptam egy HTML-fájlt, amiben teljes körűen kiértékelésre került az adattábla minősége. Az alapstatisztikák (pl. hiányzó értékek aránya) önmagukban nem újdonság — de itt nem állt meg, szöveges kiértékelést is készített, ilyeneket:

"78 tartalmi (de felirat nélküli) oszlopnál — a BNK1, MOB2, TELKO_1, BANK_1 és NETBANK blokkokban — a válaszok 95–99,9%-a egyetlen (0,0) kategóriába esik. Ezeknek önmagukban nincs elemzési hasznuk, és mivel nincs SPSS-felirat, nem dönthető el, hogy ez valódi ritkaság vagy hibás kódolás."

"A suly terjedelme 0,395–2,497 (átlag=1,000). A felső 1%-ba eső rekordok súlya kiugróan magas, és aránytalanul nagy hatással vannak egy egyszerű (súlyozott) átlagszámítás eredményére."

De itt sem állt meg — összefoglalót is adott arról, a kérdések hány százaléka milyen témakörhöz tartozott.

Az adatiq Akadémián bemutatjuk, hogyan lehet ehhez hasonló megoldásokat nagyon gyorsan elkészíteni.

Nézd meg élőben a teljes auditot →