1. Home
  2. Knowledge base
  3. Data Governance Framework
  4. 4. Andmehalduse protsessid

4. Andmehalduse protsessid

4.1 Andmehaldus

Protsessi eest (vt. Joonis 6) vastutab andmehalduse juht ja töö tulemusena paraneb organisatsioonis andmete kvaliteet. Andmehaldur ja andmeomanik kirjeldavad kindla sisuteenuse, protsessi või infosüsteemi raames kõik mõisted. Nad kirjeldavad seonduvad andmed ning koguvad andmete elutsükli haldamiseks kokku vajalikud nõuded. Mõisted kogutakse sõnastikku, kirjeldatakse seosed ja vajadusel visualiseeritakse mõistete mudelis.

Ärireegel on arendusnõude alamosa ning määratleb või piirab äriprotsessi mingit aspekti ehk nende kaudu saab kontrollida või mõjutada organisatsiooni poolt pakutavaid teenuseid. Ärireeglid jagunevad nelja kategooriasse ja on defineeritud kas: a) mõistena, b) mõistete vahelise seosena, c) mingi tegevuse piirangu või käivitajana, d) mingi tegevuse tulemina. Ärireegleid saab teisendada mõõdetavaks andmekvaliteedi reegliks, mille alusel andmekvaliteedist raporteerimine käivitab omakorda erinevaid äri- ja IT arendusprojekte.

Joonis 6. Data Governance (1)
Väljund Selgitus
Andmevaldkondade loend ja kirjeldus Organisatsiooni andmeid kategooriatesse grupeeriv dokument, kus on näidatud iga valdkonna andmete eest vastutav ametikoht (andmeomanik) ja andmevara asukoht (infosüsteemi täpsusega)
Arendusnõuete nimekiri Andmeomaniku ja andmehalduri poolt koostatud arendusnõuete loend. Tavaliselt on selle haldamiseks kasutusel kontoritarkvara või näiteks Atlassian Jira.
Ärisõnastik ja andmekirjeldus Mõistete ja andmeobjektide loend koos atribuutidega. Tavaliselt on selle haldamiseks kasutusel kontoritarkvara, Atlassian Confluence või sarnased Wiki lahendused. Võib kasutada ka spetsiaalset sõnastiku tarkvara, aga funktsionaalsus on saadaval ka enamuses metaandmete kirjeldamise tarkvarades.
Mõistete mudel Mõistete ja nendevaheliste seoste visualiseerimine, ärinõuetest parema ülevaate ja loetavuse saavutamiseks. Üldjuhul on kasutusel spetsiaalne tarkvara: PowerDesigner, ER/Studio, Sparx EA, Oracle SQL Developer Data Modeler, CA Erwin, IBM – InfoSphere Data Architect .
Andmekvaliteedi reeglid ja mõõdikud

Algoritm, mis kontrollib andmete struktuuri, vormingut ja paigutust baasis ning võrdleb seda eelnevalt kirjeldatud nõuetega:

  • kvaliteedireegli tehniline kirjeldus (tekst)
  • masinloetava valideerimise reeglid (SQL)
  • testide kirjeldamine (SQL)
  • süsteemi paigutamine (vastav programmeerimiskeel)
Data Governancee tegevuskavad Tavaliselt on selle haldamiseks kasutusel kontoritarkvara või näiteks Atlassian Jira Planner (tavaliselt Epic’ute tasandil).

4.2 Mõistete mudeli loomine

Protsessi tulemusena (vt. Joonis 7) tekib organisatsioonis ärisõnastik, mille eest vastutab andmeomanik. Mõiste kirjeldamisel tuleb tema ülemmõiste ka organisatsiooni laiemat konteksti silmas pidades defineerida. Näiteks, kes on meie organisatsiooni teenuste klient, millistele tunnustele see peab vastama? Sõnastiku aluseks võib kasutada aga ka juba valmis valdkondlike märksõnastikke. Sellisel juhul ei ole mõisted tuletatud teenustest või äriprotsessidest, vaid tuleb nendega kokku viia.

Mõistete vastavuste kirjeldamisel määratakse seosed teiste mõistetega. Sõnastikud võivad kasvada väga suureks ja seoseid tekkida palju, seetõttu visualiseeritakse see parema jälgitavuse nimel olemi-suhte diagrammina (ERD – entity relationship diagram). Kui mudelile andmeelemente ja atribuute mitte märkida, siis võib seda nimetada kontseptuaalseks mudeliks. Detailse protsesside analüüsi ja modelleerimise viivad läbi andmehaldurid ja -analüütikud. Mõistete mudeli loomine on detailselt kirjeldatud käesoleva projekti „Andmekirjelduse juhises“.

Joonis 7. Organisatsiooni mõistetest mudeli loomine ja haldamine (2)
Väljund Selgitus
Mõistete ja seoste kontseptuaalne mudel Mõistete ja nendevaheliste seoste visualiseerimine, parema ülevaate ja loetavuse saavutamiseks. Üldjuhul on kasutusel spetsiaalne tarkvara (näiteks: PowerDesigner, ER/Studio, Sparx EA, Oracle SQL Developer Data Modeler, CA Erwin, IBM – InfoSphere Data Architect ), käsitööna liiga töömahukas.
Arendusnõuete register Andmehalduri ja Metaandmete analüütiku poolt protsessijuhtide intervjuude käigus kogutud arendusnõuete loend. Mudeli muudatused saavad toimuda ainult andmeomaniku poolt kinnitatud nõude alusel.

4.3 Sõnastiku haldus

Protsessi tulemusena (vt. Joonis 8) tekib asutusse ärisõnastik, mille loomise ja haldamise eest vastutab andmehalduse juht. Andmevaldkonna / kategooria mõisted ja ärireeglid defineerivad sõnastikku andmeomanikud koos andmehalduritega. Sõnastikku võrreldakse pidevalt organisatsiooni kehtivate protsesside ja teenustega, muudatuste puhul täiendatakse sõnastikku. Selle saavutamiseks peavad eksisteerima toimivad andmehalduse protsessid ja protsessijuhtide / teenuseomanike strateegiline huvi. Uued ja planeeritud IT arendused võiksid saada alguse alati kontseptuaalse mudeli nõuetest. Igale mõistega kirjeldatud andmeelemendile määrab andmeomanik andmekvaliteedi reegli, mis kirjeldab millistes piirides on tulevased andmed kvaliteetsed (näiteks määrab andmeomanik et, mingi andmeväli ei tohi teenuse osutamisel jääda kunagi tühjaks (kliendi aadress)). Spetsiifilised  andmekvaliteedi reeglite mõõdikud kirjeldab andmehaldur ja metaandmete analüütik aitab need viia infosüsteemidesse. Hästi oluline on ka andmehaldurite töö mõistete ühtlustamisel andmevaldkondade ja ka asutuste vahel, selleks käivad koos andmehaldurite töörühmad.

Joonis 8. Mõistete sõnastiku (ärisõnastiku) haldus (3)
Väljund Selgitus
Ärisõnastik Kõik organisatsiooni tegevuses kasutatavad äriterminid koos sisu selgituse ning seda kasutavate osapooltega
Mõistete ja protsesside seosed Nimetatakse protsessid, kus kasutatakse sõnastikus kirjeldatud mõisteid
Mõistete vahelised seosed Näidatakse, kuidas sõnastikus toodud mõisted on omavahel seotud
Mõistete seos arendusnõuetega Määratakse mõistete juurde arendusnõuded, milles need sisalduvad
Mõiste seos andmekvaliteediga Näidatakse mõistetele kohanduvad andmekvaliteedi reeglid koos mõõdikuga

4.4 Arendusnõuete haldus

Protsessi tulemusena (vt. Joonis 9) tekib asutusse arendusvajaduste loend, mille eest vastutab andmehalduse juht. Sisuteenuse juhtide ootused, andmevajadused ja probleemid kipuvad mööda organisatsiooni e-mailides, Jiras ja analüüsi dokumentides laiali olema. Keegi ülevaadet ei oma ja pahatihti on nõuded ja soovid ka omavahel vastuolus. Olukorra lahendamiseks kirjeldavad äriprotsesside juhid oma vajadused kasutuslugudena ja saadavad need andmehaldurite töörühmale hindamiseks. Tuvastatakse nõude vastavus mõistete mudeliga, määratakse andmetele valdkond ja veendutakse, et a) kõik nõudes olevad mõisted on kirjeldatud, kui tekib uus mõiste (mingeid andmeid hakati koguma lisaks), siis vastav andmeomanik kinnitab uue mõiste, b) kui mõistet ei eksisteeri või see on valesti kirjeldatud, saadetakse nõue tagasi, c) et poleks olemas juba sarnast nõuet, mis ootab arendust või on varasemalt juba tagasi lükatud. Arendusnõuded koondatakse andmehalduse juhi poolt arendusprojektidesse ja realiseeritakse ülesandena või suurema IT projektina. Aja jooksul tekivad asutusse sisuteenuseid toetavad ja sõnastike põhised andmepõhise juhtimise teenused (näiteks iseteeninduskeskkonnad Tableau, Power BI jne). Selliste teenuste kaudu saavad paljud sisuteenuste juhtide arendusnõuded kiiresti lahendused ja tõstavad oluliselt organisatsiooni efektiivsust.

Joonis 9. Arendusnõuete haldamine (4)
Väljund Selgitus
Arendusnõuete register Organisatsiooni ärinõuete detailne kirjeldus (seosed sisuteenusega, nõude eesmärk, seotud osapooled, funktsionaalsed nõuded jms).
Andmepõhiste teenuste ja mõõdikute register Andmepõhiste teenuste ja mõõdikute loetelu koos detailse sisu kirjeldusega (ehk KPI).

4.5 Kvaliteedireeglite haldamine

Protsessi tulemusena (vt. Joonis 10) tekib organisatsioonis andmekvaliteedi reeglite nimekiri, mille eest vastutavad andmeomanikud. Nende kohustusteks on andmekvaliteedi reeglite äriline kirjeldamine, kinnitamine ja kommunikatsioon organisatsioonile. Andmehaldurid aitavad omanikel reeglite põhjal kvaliteeti mõõta, tuvastada põhjusi ja teevad ettepanekuid parema ja täpsema reegli kirjeldamiseks.

Mõnikord on võimalik viia andmestikud omaniku poolt kehtestatud reeglitega vastavusse, parandades andmeid füüsiliselt. Seda tööd teevad mass- või üksikparandustena andmetega töötavad andmehaldurid. Üldjuhtudel tuleb kvaliteedireeglite paigaldamisse ja automatiseeritud mõõtmisesse kaasata IT töötajad.

Joonis 10. Andmekvaliteedireeglite haldamine (5)
Väljund Selgitus
Andmekvaliteedi reeglite register Loend tööprotsessi ja tulemit kirjeldavas keeles esitatud nõuetest organisatsiooni andmete kvaliteedile. Andmekvaliteedi reeglid peavad olema seotud mõistetega.
Andmekvaliteedi mõõdik Ülevaade, millisel määral vastab andmete kvaliteet ootustele. [See peaks olema mõõdiku enda kirjeldus, näiteks kas kvantitatiivne või kvalitatiivne skaala ning see, mida mõõdetakse: ehk siduda ära kvaliteedi dimensioonidega]
Andmete korrigeerimise logid Andmehaldurite poolt andmete üksik- ja massparenduse korral peab süsteem salvestama logidena kõik muudatused. Samuti peab olema võimalik logide pealt eelnev seis taastada (ilma kogu andmestikku taastamata).
Muudatusettepanekud Põhjustest lähtuvad ettepanekud, kas andmete parandamiseks või süsteemseteks parendustegevusteks

4.6 Andmekvaliteedi haldamine

Protsessi tulemusena (vt. Joonis 11) paraneb kindla andmestiku andmekvaliteet ja selle eest vastutab andmeomanik. Andmekvaliteedi haldamine on pidev protsess, kus uute andmete lisamisi ja muudatusi kontrollitakse jooksvalt ning kogu andmestiku sisu osas regulaarselt. Kontrollide tulemusena tekivad andmekvaliteedi raportid, millele andmeomanik on kohustatud koheselt reageerima. Omanik annab korralduse halduritele andmete käsitsi parandamiseks või loob tellimuse IKT osakonnale.

Joonis 11. Andmekvaliteedi haldamine (6)
Väljund Selgitus
Andmekvaliteedi reeglite register Organisatsiooni protsesse ja tulemeid mõjutavate nõuete loend koos detailse kirjeldusega. Andmekvaliteedi reeglid peavad olema seotud ärimõistetega.
Andmekvaliteedi raport Eelnevalt kirjeldatud andmekvaliteedi reeglite pealt koostatakse andmestiku kvaliteedi mõõtmise raportid. Vead näitavad sisuüksustele, milliseid andmeid ei saa halva kvaliteedi tõttu kasutada. Kvaliteedi raporteid on võimalik saada nii andmetega seotud arendusnõuete kui mõistete lõikes.
Andmekvaliteedi vigade raport Sisend andmekvaliteedi probleemide lahendamise protseduuri alustamiseks.
Arendus/parandus ettepanekud andmete korrastamiseks Andmekvaliteedi haldamise käigus tuvastatakse kvaliteedi probleemid ning vajadusel tellitakse arendus vigade kõrvaldamiseks.
Andmekorrastuse aruanded Andmekvaliteedi haldamise käigus tuvastatakse probleemid ning korrastamiseks koostatakse vastavatest vigadest raport. Raport on sisendiks nii andmetöötlejatelele kui ka pärast arenduste testimiseks.

4.7 Andmekvaliteedi mõõtmine

Protsessi tulemusena (vt. Joonis 12) toimub korrapärane andmekvaliteedi mõõtmine ja tekib mõõtetulemuste register ning selle eest vastutab andmehaldur. Haldur korraldab kõigi andmeomaniku poolt kinnitatud reeglite rakendamise kindlaksmääratud andmestikele. Salvestab mõõtetulemused ja esitab aruanded andmeomanikule ja andmehalduse juhile koos probleemide põhjuste analüüsiga.

Valitud andmekvaliteedi mõõdikud annavad otsest sisendit organisatsiooni strateegilistele mõõdikutele. Data Governancee juht esitab need kvaliteedi mõõtmise tulemused KPI-dena organisatsiooni juhtkonnale ja DGO juhtrühmale.

Joonis 12. Andmekvaliteedi mõõtmine (7)
Väljund Selgitus
Andmekvaliteedi mõõdikud Andmestikule kvaliteedireeglite rakendamisel saadud mõõtetulemuste loend. Koosneb paljudest metaandmetest (mis reegel, aeg, koht, kes, tingimused, mahud, koormused jne).
Andmekvaliteedi raport Eelnevalt kirjeldatud andmekvaliteedi reeglite pealt koostatakse andmekvaliteedi mõõtmise raportid. Vead näitavad andmeomanikele milliseid andmeid ei saa halva kvaliteedi tõttu kasutada. Kvaliteediraporteid on võimalik saada nii andmetega seotud arendusnõuete, mõistete kui ka andmeid kasutavate aruannete lõikes.
Arendus/parandus ettepanekud andmete korrastamiseks Andmekvaliteedi haldamise käigus tuvastatakse kvaliteedi probleemid ning vajadusel tellitakse arendus vigade kõrvaldamiseks.
KPI sisend Organisatsioonile olulised andmekvaliteedi parandused on organisatsiooni strateegias KPI-dena kirjeldatud.

4.8 Andmekvaliteedi probleemide lahendamine

Protsessi tulemusena (vt. Joonis 13) toimub andmekvaliteedi raporti alusel tegelik andmekvaliteedi parandamine, mille eest vastutab andmeomanik. Andmehaldurid ja analüütikud seadistavad infosüsteemidesse andmekvaliteedi reegleid ja mõõdavad andmete vastavust neile. DGO tuvastab ebakvaliteetsete andmete põhjused ja hindab probleemi mõju organisatsioonile. Andmeomanik on kohustatud alustama parendamise protsessi ja algatama vastavaid organisatsioonilisi või IKT projekte.

Joonis 13. Andmekvaliteedi probleemide lahendamine (8)
Väljund Selgitus
Andmete kvaliteedimõõdik Ülevaade, millises määras vastab andmekvaliteet organisatsiooni strateegias sätestatud ootustele.
Ettepanekud andmekvaliteedi parendamiseks Juurpõhjustest lähtuvad ettepanekud, kas andmete parandamiseks või süsteemseteks parendustegevusteks.

4.9 Põhiandmete kirjeldamine ja haldus

Organisatsiooni ühiskasutatavate, põhitegevuse tarbeks kriitiliste andmete tekitamise ja haldamise eest vastutavad andmeomanikud (vt. Joonis 14). Andmevarade kirjeldamise käigus selgub tihti, et paljud mõisted ja nendega seonduvad andmed korduvad valdkondade üleselt või teenuste siseselt ja on tihti dubleeritud, näiteks: klientide, lepingute, asukohtade, varade jne. seotud andmed. Organisatsioonil on mõistlik koondada taolised andmed kokku ühtseks põhiandmete (master data) andmestikuks ja luua võimalus põhiandmete ühiskasutamiseks. Ühises andmestikus on lihtsam kindlustada andmete kvaliteet ja olla kindel, et kõik kasutavad õiget ja täpset informatsiooni. Seeläbi tagatakse, et asutus ei väljasta kliendile vastuolulisi sõnumeid, ei saada kirju valedele aadressidele jne. Ühiseks kasutamiseks määratud põhiandmetele määratakse eraldi omanikud, kas olemasolevate andmeomanike seast või kui tegemist on väga suure põhiandmete hulgaga, võidakse määrata ka eraldi andmeomanik.

Joonis 14. Põhiandmete kirjeldamine ja haldus (9)
Väljund Selgitus
Ühiskasutatavad põhiandmed Asutus määrab millised andmevarad on ühiskasutatavad ja korraldab töö ümber nii, et andmeid ei salvestata dubleerituna, vaid tarbitakse eraldiseisvast põhiandmete andmestikust.
Kriitilisuse määramine Ühiskasutatavatele andmevaradele määratakse käideldavuse klass. Vastavalt sellel luuakse ühiskasutatavad andmestikud kas operatiivsetena (lähtesüsteemide tasandil) või analüütilistena (andmeaida või aruandluse tasandil).
Põhiandmete haldamise ja kvaliteedi parendamise protsess. Igal põhiandmete objektil võib olla eraldi protsess. Protsessi eest vastutab määratud andmeomanik

4.10 Andmete jagamine

Asutuste või protsesside vahelist soovi ja nõuet andmete jagamiseks realiseeritakse läbi avalike ärisõnastike ja andmete jagamise eest vastutab andmehalduse juht (vt. Joonis 15). On väga oluline, et andmevahetusnõuded baseeruksid ärisõnastikule ja andmekirjeldustele. Organisatsioonile jagatud andmetele tuleb alati organisatsiooni sõnastikus viidata ja mudelis kajastada. Sõnastikke aitavad uuendatuna hoida metaandmete skännerid, mis kontrollivad korra ööpäevas andmestruktuuride ja seoste muudatusi andmebaasides.

Joonis 15. Andmete ja info jagamine (10)
Väljund Selgitus
Avalikult kättesaadavad sõnastikud ja andmekirjeldused Mõistete kirjeldus ja andmeobjektide loend koos atribuutidega. Täna riigis kasutusel RIHA (Riigi Infosüsteemi Haldussüsteem http://www.riha.ee) andmebaas, aga mõistete selgitused selles ei ole tihti täpsed ja uuendatud.
RIHAKE Keskse infosüsteemi ehk spetsiaalse andmekataloogi kaudu hallatav ja kättesaadav andmekirjeldus.
Andmevahetusleping Kahe või enama organisatsiooni või teenuste vahel sõlmitud leping, mis sätestab vahetatavate andmete eeldatava kasutamise, juurdepääsuõigused, piirangud, samuti eeldatavad teenustasemed, sealhulgas nõutavad reageerimisajad. Lisaks turvalisuse klassid ja privaatsusnõuded, andmevahetuse protokollid ja platvormid, samuti poolt kohustused andmete uuendamisel ja vastutused kvaliteedi eest.
Andmekvaliteedi parandamise nõuded Andmevahetusleping loob osapoolele (näiteks SA) võimaluse andmekirjelduse ja sõnastiku alusel nõuda tarnijalt andmekvaliteedi parandamist.

4.11 Turvalisuse ja privaatsuse tagamine

Kõiki kehtivaid seadusi, määrusi, regulatsioone, standardeid, teenuste tarbijate ja pakkujate huve ning andmevahetuslepingud tuleb arvestada ka kui turvalisusnõudeid (vt. Joonis 16). Data Governancee juht vastutab nõuete organisatsiooni tarbeks kohandamise eest, andmeomanikud vastutavad andmestike ja andmete nõuetele vastava kasutamise eest.

Joonis 16. Turvalisuse ja privaatsuse tagamine (11)
Väljund Selgitus
Turvapoliitikad ja standardid Andmevarade nõuetekohase autentimise, autoriseerimise, juurdepääsude ning auditeerimise võimaldamiseks turvapoliitikate ja protseduuride määratlemine, kavandamine, arendamine ja rakendamine.
Intsidentide register Loend kõikidest andmeturvalisusega seotud intsidentidest ja parandustest.

Was this article helpful to you? Yes 1 No

How can we help?