Andmete eeltöötlemine
Suurandmete analüüs ehk väga suurte andmekogumite suundumuste ja mustrite tuvastamine on saamas tavapäraseks tegevuseks. Ettevõtted otsivad alati võimalusi, kuidas vähendada kulusid, suurendada tulusid ja saada teiste ees konkurentsieeliseid. Andmete kogumine ja kasutamine on praegu üks olulisemaid viise nende eesmärkide saavutamiseks ning ettevõtted otsivad üha rohkem viise, kuidas muuta andmeid väärtuseks. Enne andmete analüüsimist tuleb need korrastada sobivasse vormi. Andmete ettevalmistamine ja eeltöötlemine on andmete eeltöötlus ja korrastamine enne analüüsi. Andmete ettevalmistamine on tavaliselt iteratiivne protsess, mille käigus töödeldakse töötlemata andmeid struktureeritumaks vormiks, mis on sobilikud edasiseks töötlemiseks ja analüüsiks. Kogu ettevalmistusprotsess koosneb mitmest peamisest tegevusest (või ülesandest), sealhulgas andmete profileerimine, puhastamine, integreerimine ja teisendamine. Mõnede hinnangute kohaselt võtavad sellised eeltöötlusülesanded kuni 50–80% kaevandamisprotsessile kuluvast ajast ja jõupingutustest. See aeg ja maksumus moodustavad suure osa andmekaevandusega seotud kuludest. Samas ei saa suuda need ettevõtted, kes ei soovi investeerida andmete kaevandamisse, kahjuks enam oma valdkonnas tõhusalt konkureerida. Andmete ettevalmistamisel saate koostada andmekogumi ühest või mitmest andmeallikast uurimise, visualiseerimise ja modelleerimise jaoks. Andmete kaevandamine on mitmeid eeliseid; see aitab avastada erinevaid teadmisi ja tuvastada võimalikke andmekvaliteediprobleeme või nõrkusi teie andmekogumis. Andmete eeltöötlemise käigus parandatakse näiteks teatud kirjavead, vigased lühendid, vigased kirjavahemärgid, vormindusvead, valed kuupäevad andmetel jne. Mõnikord võib see hõlmata ka erimärkide (nt punktide) eemaldamist andmetest, et muuta need masinate (tehisintellekti) poolt loetavaks. Andmete eeltöötlemine on sageli ajakulukas ja veaohtlik protseduur. Andmetöötluses kehtib ütlus garbage in, garbage out; ehk kui sisendis on arvestatav hulk valesid, ebakorrektseid ja puudulikke andmeid, võib ka väljundandmestik olla madala kvaliteediga ja kasutu. Selliste andmete analüüsimine, mida ei ole nende vigade ja probleemide suhtes põhjalikult kontrollitud, võib viia ebatäpsete järeldusteni ja tulemusteni. Seetõttu sõltub andmeteaduse ja andmekaeve projektide edu suuresti andmete ettevalmistamise kvaliteedist andmete eeltöötlusel.