11 03 Rekomendacja D 8,Wytyczna IT 8 – Zarządzanie Jakością Danych

Podziel się!

[adiasz-youtube-embed url=”https://www.youtube.com/watch?v=3ebVYnSjVyQ”]

Jakość danych to synonim jakości informacji. Niska jakość danych prowadzi do błędów i obniżenia skuteczności biznesu. Zarządzanie jakością danych jest ciągłym procesem definiowania parametrów jakościowych danych, które spełniają potrzeby biznesowe oraz zapewniają, że zdefiniowane parametry zostaną dotrzymane.

Zarządzanie Jakością Danych jest w wielu organizacjach utożsamiane z czynnościami jednorazowymi, wykonywanymi na potrzeby zaistniałych problemów z danymi. Czynności te najczęściej przybierają formę czyszczenia danych. Takie spojrzenie na zapewnienie jakości ma formę korekcyjną, jest kosztowne i nie adresuje powodów wystąpienia problemów. Największą jednak słabością tego podejścia jest efekt stopniowej utraty zaufania do działu IT, który odpowiada za jakość danych.

Genezą opisanej sytuacji jest brak zdefiniowanych parametrów jakościowych danych, które powinny być gromadzone w czasie świadczenia usług IT. Jeżeli brakuje mierzalnych celów, brakuje również możliwości wdrożenia przez IT odpowiednich zabezpieczeń, zapewniających dotrzymanie zdefiniowanych parametrów. Co ciekawe, w czasie realizacji projektu zmiany technologii lub wdrożenia nowej usługi IT, brak celów jakościowych oraz definicji zabezpieczeń jest często pożądany z perspektywy sponsora (sztucznie wpływa na obniżenie kosztu projektu).

Jakość danych jako odpowiedzialność na poziomie organizacji

Oczywiście, zaniechania poczynione w czasie realizacji projektu wdrożenia nowej usługi IT zostaną z nawiązką spłacone w czasie jej późniejszego utrzymania usługi IT. Jednak, w czasie przejścia usługi IT z etapu implementacji do etapu utrzymania, zmienia się także sponsor. To sprzyjająca patologiom sytuacja, kiedy w czasie projektu implementacji usługi IT płatnikiem jest dział biznesowy, a w czasie utrzymania usługi jest to najczęściej dział IT. Na koniec dnia, kiedy usługa IT jest już świadczona, odpowiedzialność za dane niskiej jakości spada na dział IT.

Zostajemy posądzeni o to, że dostarczamy usługi IT niskiej jakości i nie potrafimy zarządzać danymi. Możemy potwierdzić istnienie omówionej sytuacji w naszej firmie. W tym celu należy zbadać trend opisujący liczbę otwartych błędów na środowisku produkcyjnym. Jeżeli jest wzrostowy, to prawdopodobnie w czasie implementacji usługi IT nie skupiamy się wystarczająco na jakości jej wykonania i kładziemy nacisk na jej funkcjonalność.

Zaradzenie omówionym problemom wymaga zatem kompleksowego podejścia do Zarządzania Jakością Danych. Podejścia opartego na Zarządzaniu Ryzykiem, gdzie biznes w jawny sposób deklaruje wymagania wobec jakości danych i opisuje je mierzalnymi celami. Podejście to wymaga wdrożenia w organizacji Systemu Zarządzania Jakością Danych.

Najważniejsze elementy Systemu Zarządzania Jakością Danych

System taki spełnia wymagania KNF oraz przenosi koszty Zarządzania Jakością Danych z obszaru utrzymania usługi IT do obszaru implementacji usługi IT – czyli do miejsca, gdzie faktycznie powinny powstawać. KNF w wielu wytycznych wymaga wdrożenia Systemu Zarządzania np. Systemu Zarządzania Bezpieczeństwem Informacji, Zapewnienia Jakości itd. Jest to czynnik prowadzący do zdefiniowania pryncypium wobec naszego nowo definiowanego Systemu Zarządzania Jakością Danych.

Chcemy, aby wszystkie wdrażane w organizacji Systemy Zarządzania płynnie integrowały się ze sobą. W realizacji naszego zadania wykorzystamy więc specyfikację PAS99:2012, definiującą zintegrowany System Zarządzania, oparty na Zarządzaniu Ryzykiem.

Proces ustanawiający System Zarządzania Jakością wykonywany jest w dwóch przypadkach:
1. Uruchomienie procesu następuje w czasie inicjalnego rozmieszczenia systemu w organizacji.
2. Proces uruchamiamy w czasie planowania strategicznego oraz w czasie analizy zmiany biznesowej. Następuje wtedy aktualizacja istniejącego Systemu Zarządzania Jakością Danych o definicję nowego ryzyka, celów mierzalnych oraz zabezpieczeń.

Definiowanie potrzeb organizacji

Rozpoczyna proces definiowania Systemu Zarządzania Jakością Danych. Skupiamy się na szansach oraz zagrożeniach, dotyczących jakości danych. Identyfikujemy problemy w danych, które wpływają na realizację strategii biznesowej. Definiujemy cele, związane z jakością danych. Identyfikujemy kluczowe grupy danych i wymagania wobec nich. Kluczowe grupy danych powinny być powiązane z realizacją zdefiniowanych celów.

Ważnym jest, abyśmy w tym kroku uzgodnili terminologię i podejście do identyfikowania kluczowych grup danych. Pozwoli to przeprowadzić w organizacji skuteczną komunikację w czasie projektu. Dodatkowo zapewni, że do projektu włączymy wszystkie krytyczne dane. Po wstępnym określeniu zakresu wdrożenia, przechodzimy do oznaczenia w repozytorium architektury zasobów, powiązanych z zidentyfikowanymi grupami istotnych danych.

Najprościej jest to zrealizować w oparciu o repozytorium Architektury Korporacyjnej, które stworzyliśmy w ramach definiowania Architektury Danych. Zidentyfikowane bloki architektoniczne powiązane są przetwarzaniem istotnych grup danych i definiują zakres wdrożenia Systemu Zarządzania Jakością Danych oraz stanowią miejsca, w których będziemy wiązać odpowiednie zabezpieczania.

W efekcie pierwszego kroku, powinniśmy otrzymać:

  • mierzalne cele, dotyczące jakości danych;
  • zbiór zidentyfikowanych bloków architektonicznych, takich jak proces, aktor, aplikacja, technologia czy usługa;
  • wymagania biznesowe wobec zidentyfikowanych bloków architektonicznych.

Wymagania biznesowe wobec jakości danych

Często można je odnaleźć w politykach biznesowych. Wymagania zamieniamy następnie na reguły biznesowe i kategoryzujemy w jednym z wymiarów jakości danych, takich jak:

  • Dokładność,
  • Kompletność,
  • Spójność,
  • Precyzyjność,
  • Prywatność.

Polityka Zarządzania Jakością Danych

W drugim kroku (Planuj), rozpoczynamy od obszaru przywództwa. Polityka, którą chcemy zdefiniować, powinna zawierać:

  • cele;
  • osadzenie Zarządzania Jakością Danych w obszarze Zarządzania Ryzykiem;
  • ogólne wytyczne, dotyczące zapewnienia jakości danych;
  • zdefiniowane role, takie jak właściciel danych, steward danych oraz custodian.

Politykę podpisuje zarząd, ustanawiając tym samym nowe prawo w organizacji i dając możliwość sprawnej kontroli nad Zarządzaniem Jakością Danych. Może się to odbywać przez struktury audytu, compliance, a tym samym również przez Radę Nadzorczą.

W obszarze planowania kroku drugiego, rozpoczynamy od oceny poziomu dojrzałości organizacji w Zarządzaniu Jakością Danych. Pozwala to na zidentyfikowanie słabości organizacji, docelowych zabezpieczeń oraz celów dla zabezpieczeń. Obok oceny poziomu dojrzałości, możemy wykonać szczegółową analizę bottom-up. Analiza ta ocenia aktualną jakość danych i ma na celu zidentyfikowanie wszystkich anomalii. Najczęściej wykonuje się ją automatycznie.

Ocena poziomu ryzyka biznesowego

Mając wstępnie zdefiniowaną linię obrony, możemy przystąpić do oceny ryzyka. Identyfikujemy zagrożenia i ich źródła. Przyporządkowujemy do nich odpowiednie zabezpieczenia, często wyprowadzone z reguł, stworzonych w kroku pierwszym. Opisujemy prawdopodobieństwo oraz impakt biznesowy zagrożenia, w celu estymacji poziomu ryzyka. Poziom ryzyka porównujemy z uzgodnionymi kryteriami akceptacji ryzyka. Na tej podstawie robimy ranking ryzyka oraz budujemy plan zabezpieczeń. Do wybranego ryzyka przypisujemy odpowiednie zabezpieczenia i ustalamy mierzalne cele dla zabezpieczeń. Każde zabezpieczenie powinno być poddane procesowi projektowania, ustalenia zasobów wspierających i kosztów wdrożenia. Finalnie powinniśmy otrzymać plan implementacji zabezpieczeń, których wdrożenie obniży ryzyko do poziomu akceptowanego przez biznes.

Utrzymanie i ewaluacja Systemu Zarządzania Jakością

W kroku kolejnym (Wykonaj) realizujemy projekt wdrożenia naszego nowego Systemu Zarządzania Jakością Danych i przechodzimy do jego utrzymania. Istotnym elementem tego kroku jest również wykonanie, w procesach planowania strategicznego oraz analizy zmiany biznesowej, cyklicznej oceny ryzyka i aktualizacji planu zabezpieczeń.

W kroku Weryfikuj przeprowadzamy ewaluację naszego Systemu Zarządzania. Ustalamy zakres i sposób, następnie monitorujemy, mierzymy i analizujemy wydajności oraz efektywność. Oczywiście, w kontekście ustalonych celów mierzalnych dla jakości danych i zaimplementowanych zabezpieczeń. Na podstawie wyników powinniśmy zdefiniować odpowiednie widoki w systemie informacji zarządczej, pozwalające jednoznacznie stwierdzić, jak realizowane jest Zarządzania Jakością Danych w organizacji. W tym kroku swoje obowiązki realizuje również audyt wewnętrzny. Mając w ręku ustanowioną przez zarząd politykę, audyt sprawdza jej implementację w kontekście efektywności i skuteczności wybranych zabezpieczeń.

Ewaluacja naszego systemu najczęściej wykonywana jest przy użyciu narzędzi do profilowania danych. W kolejnych filmach pokażemy przykład takiego narzędzia w pracy nad profilowaniem danych na wszystkich trzech poziomach, czyli:

  • pojedynczej kolumny;
  • tabeli;
  • wielu tabel.

Czym jest proces re-inżynierii danych?

Ostatni krok naszego procesu (Popraw) ma na celu zapewnienie ciągłego usprawniania wdrożonego Systemu Zarządzania. Realizujemy tutaj aktywności związane z identyfikacją źródła problemów jakości danych. W sytuacjach, w których jakość danych uniemożliwia prowadzanie działań biznesowych, wykonujemy doraźne akcje korekcyjne. Wspierane są one przez proces re-inżynierii danych. Wejściem do procesu jest raport z profilowania danych. Sam proces składa się z następujących kroków:

  • Standaryzacja danych – doprowadzenie danych do uzgodnionej domeny.
  • Korekcja danych – usunięcie i zmiana wadliwych danych w domenach.
  • Uzgodnienie i konsolidacja – usunięcie duplikatów danych oraz stworzenie nowych form relacji między zbiorami danych.
  • Wzbogacenie danych – zasilenie zbioru danych wewnętrznych danymi ze źródeł zewnętrznych (często danymi referencyjnymi).

Należy szczególną uwagę zwrócić na źródło problemu w jakości danych, które jest przyczynkiem do uruchomienia procesu re-iniżynierii danych. Jeżeli problemy wynikają z realizacji ryzyka zaakceptowanego przez biznes, proces należy uruchomić w ramach nowego projektu ze sponsorem w biznesie. Jeżeli jednak problem wynika z nieodpowiedniego działania zabezpieczenia, to jest to błąd IT i proces realizujemy w ramach poprawy błędu.

Kluczowe korzyści omówionego podejścia do Zarządzania Jakością Danych

  • Wszystkie aktywności procesu przeprowadzane są przy współudziale biznesu.
  • Biznes określa mierzalne cele związane z jakością danych.
  • Biznes jest świadomy ryzyka, czyli zagrożenia i wpływu zagrożenia na realizację określonych celów.
  • Biznes ma wpływ na zabezpieczenia, które obniżają ryzyko.
  • Biznes akceptuje ryzyko pozostałe po zastosowaniu zabezpieczeń.

Wszystkie omówione zalety doprowadzają do wspomnianej różnicy między opisanym na wstępie a proponowanym przez nas podejściem. Odpowiedzialność za jakość danych w naszym podejściu jest jawnie przypisana. Decyzja biznesu o akceptacji pozostałego ryzyka, w przypadku jego realizacji, zwalnia z odpowiedzialności dział IT. Podjęcie decyzji o zmianie planu zabezpieczeń i implementacji nowego zabezpieczenia realizowane jest w formie nowego projektu, z funduszy biznesu, a nie jako poprawa błędu spowodowanego przez zaniechanie działu IT.


Podziel się!