Har vi virkelig fået styr på datakvaliteten ?

Interessant nok var der en væsentlig forskel på, hvordan denne påstand blev opfattet af henholdsvis de store BI softwareleverandører samt de BI kunder der bl.a. udgjorde flertallet på IM2011 konferencen.

Adspurgt via en simpel afstemning, var flertallet af konferencens deltagere enige om at datakvalitet og data tilvejebringelse fortsat er en stor udfordring i BI-projekter, mens fire ud af fem leverandører tilsvarende gav udtryk for, at de ikke ser at datakvalitet typisk udgør en større udfordring. I stedet fremhævede leverandørerne at den mest presserende udfordring p.t. drejer sig om virksomhedernes anvendelse af BI i eksisterende forretningsprocesser - og at den virkelige udfordring dermed knytter sig til forretningsforståelse samt kendskab til de brugere og processer som BI løsningerne skal understøtte.

Jeg er selv dagligt i dialog med mange forskellige BI kunder, og jeg er dermed også løbende vidne til nogle af de kampe og udfordringer der typisk karakteriserer store BI-projekter. Af samme årsag kan jeg med en vis sikkerhed derfor også konstatere at jeg er meget enig i begge udsagn. Men tag dog ikke fejl ! - data kvalitet er absolut fortsat en meget stor udfordring i mange BI projekter - selv om de fleste BI kunder gennem årene har arbejdet intenst med at forsøge at forbedre den og ETL/DQM værktøjerne samt ikke mindst governance processer er blevet opgraderet løbende.

Til trods for dette er situationen dog fortsat den at forretningsbrugere og analytikere, BI/DW eksperter samt konsulenter typisk har en daglig gennemgående udfordring med at forsøge at finde frem til, hvorfor salgsmængder, personale omsætning, ferie kvoter eller profitbilitetsregnskabet ikke stemmer med de oprindelige transaktioner i de operationelle systemer. Der er dog typisk en fælles gennemgående årsag til dette.

Sagen er den at datakvaliteten i isolerede systemer typisk er ganske god - især når det kommer til transaktionsdata. Så hvis BI projektets primære opgave er at rekvirere disse data og gøre den tilgængelig for rapportering og analyse som de er - ja så er udfordringen omkring datakvalitet bestemt ikke så stor som man tidligere har set. Problemet er imidlertid, at dette ikke er et realistisk billede af, hvordan BI-projekter typisk er afgrænset. Meget få BI-projekter omfatter data der udelukkende kommer fra ét enkelt system, hvor data ikke skal beriges med forretningsregler eller hvor der ikke er en tæt kobling til stamdata entiteter. Og det er her de store BI-projekter mest markante udfordringer opstår.

Virksomhedens behov og krav er ikke simple - de er oftest komplekse og frem for alt er der en meget stram sammenhæng mellem data entiteter på tværs af fysiske systemer. Dermed er den klassiske udfordring for BI-projektet fortsat at kontrollere hvordan data relaterer sig til hinanden på kryds og tværs af systemer og forretningsenheder, for at imødekomme de forretningsmæssige krav.

Sjovt nok bekræfter dette samtidig argumentet om at den virkelige udfordring har at gøre med virksomhedernes forretningsmæssige anvendelse og konvergens af BI projektets leverancer. Dette er et aspekt, der for alvor bør sættes på agendaen, nu hvor BI begynder at gøre sit indtog i virksomhedens forretningsprocesser og dermed resulterer i såkaldte analytics eller kompositioner.

Så alt i alt - er datakvalitet og data tilvejebringelse stadig en af de væsentligste årsager til at BI projekter mislykkes eller er særligt udfordrende?.

I en simpel verden er svaret Nej - men det er vel de færreste CIO's eller BI programledere der kan argumentere for at deres BI initiativer eksisterer inden for et simpel og veldefineret scope?. Derfor er datakvalitet, data adoption og konvergens absolut stadig en udfordring i mange BI projekter - typisk som følge af dårlig stamdata samt administration og forståelse for forretningens krav til forretningslogik og data transformationsregler.

Men netop denne betragtning har en direkte indvirkning på, hvordan vi fremadrettet vil kunne udnytte og integrere BI i eksisterende forretningsprocesser. Det gør det vigtigere end nogensinde før, at BI-fagfolk forstår og kan relatere BI til konkrete forretningsprocesser - eksempelvis inden for logistik, økonomi, controlling, HR, indkøb osv.

Dette er et krav hvis de store BI-projekter skal rykke ind på BI 2.0 arenaen og vi for alvor kan sige at datakvalitet ikke længere er et udfordringer. Det kræver dog samtidig en fortsat erkendelse af at der i komplekse systemer er konkrete lavpraktiske opgaver der knytter sig til kvaliteten samt fremskaffelse af data.