Data Mesh w przedsiębiorstwie: Jak rozproszona architektura danych eliminuje silosy informacyjne i przyspiesza podejmowanie decyzji

Jeśli prowadzisz firmę produkcyjną albo handlową, to pewnie znasz ten obrazek: sprzedaż ma swoje zestawienia, produkcja swoje raporty, magazyn działa w kolejnym systemie, a controlling skleja wszystko w Excelu. Na co dzień to „jakoś działa", dopóki zarząd nie poprosi o odpowiedź na proste pytanie: „Jaki będzie wpływ opóźnień na produkcji na realizację zamówień kluczowych klientów w tym miesiącu?".

Wtedy zaczyna się bieg z przeszkodami. Trzeba zebrać dane z kilku działów, doprecyzować definicje („co rozumiemy przez zrealizowane zamówienie?"), ustalić, które pliki są aktualne, i w końcu złożyć raport. Zajmuje to dni, a wynik i tak bywa niespójny, bo każdy patrzy na firmę przez własny pryzmat.

W maju 2019 roku Zhamak Dehghani z ThoughtWorks zaproponowała świeże podejście do tego problemu: Data Mesh. To nie jest kolejna platforma ani magiczne narzędzie do raportów. To zmiana filozofii budowania architektury danych i podejścia do zarządzania danymi w firmie: zamiast centralnego zespołu IT, który próbuje ogarnąć wszystkie dane w przedsiębiorstwie, odpowiedzialność przesuwa się bliżej biznesu — do zespołów domenowych, które te dane tworzą i najlepiej rozumieją.

W ostatnich latach wiele firm poszło w kierunku hurtowni danych albo „data lake". Pomysł jest kuszący: zbierzmy wszystko w jednym miejscu, zbudujmy spójną warstwę raportową i uwolnijmy się od chaosu. W praktyce scenariusz często wygląda podobnie.

Na starcie jest energia: integracja danych z ERP, systemu magazynowego, CRM, systemów produkcyjnych. Centralny zespół IT (czasem wzmocniony dostawcą) buduje pipeline'y, modele, raporty. Po kilku miesiącach pojawia się backlog: sprzedaż chce inne przekroje, produkcja inne, logistyka jeszcze inne. Każdy ma rację, bo każdy ma inne decyzje do podjęcia.

Po roku przychodzi rozczarowanie:

• centralny zespół nie nadąża z potrzebami biznesu, bo każdy raport wymaga doprecyzowań i „tłumaczenia" danych,
• dane z różnych źródeł są trudne do interpretacji bez kontekstu (ktoś widzi „zlecenie", ktoś inny „partię", a jeszcze ktoś „zamówienie klienta"),
• działy nie ufają raportom, bo liczby „nie zgadzają się z tym, co mamy u siebie",
• zaczynają powstawać kolejne silosy informacyjne — lokalne pliki, własne zestawienia, „cienie" oficjalnych raportów, bo oficjalna ścieżka jest zbyt wolna.

Najczęściej problemem nie jest sama technologia. Hadoop, Spark czy pierwsze rozwiązania typu cloud data lake potrafią składować i przetwarzać ogrom danych. Kłopot leży w organizacji: jeden zespół nie jest w stanie być ekspertem od wszystkich domen w firmie i jednocześnie utrzymać jakość oraz tempo zmian. A jeśli nie ma eksperta domenowego przy danych, spada jakość danych, rośnie liczba wyjątków i ręcznych poprawek, a zaufanie biznesu topnieje.

Data Mesh próbuje rozwiązać ten problem, odwracając myślenie: dane nie są „produktem" centralnego zespołu IT, tylko odpowiedzialnością tych, którzy znają je najlepiej. W tym podejściu chodzi o to, by integracja danych i ich udostępnianie nie były wąskim gardłem.

Pierwszy filar to własność domenowa danych. Jeśli dział produkcji generuje dane o statusach zleceń, parametrach procesu czy przestojach, to właśnie on powinien odpowiadać za ich znaczenie, kompletność i spójność. Podobnie sprzedaż odpowiada za dane sprzedażowe, a magazyn za stany i ruchy towarowe. To brzmi jak oczywistość, ale w wielu firmach odpowiedzialność rozmywa się między biznesem a IT: biznes „dostarcza pliki", IT „coś z tym robi", a potem nikt nie czuje się właścicielem, gdy liczby nie pasują.

Drugi filar to dane jako produkt. W Data Mesh zespół domenowy nie tylko „ma dane", ale dostarcza je innym jak usługę. To oznacza, że dane powinny mieć:

• jasnego właściciela po stronie domeny,
• opis (dokumentację), co oznaczają i skąd pochodzą,
• ustalone parametry jakości (np. kompletność, aktualność),
• przewidywalny sposób udostępniania.

To podejście zmienia rozmowę w firmie. Zamiast: „IT, wyciągnijcie mi sprzedaż z wczoraj", pojawia się: „Zespół sprzedaży udostępnia produkt danych Sprzedaż dzienna i wiemy, jak go bezpiecznie konsumować".

Trzeci filar to samoobsługowa infrastruktura. Centralny IT nie znika — zmienia rolę. Zamiast ręcznie budować każdy raport i każdą integrację, dostarcza wspólną platformę: standardy, narzędzia, katalog danych, mechanizmy bezpieczeństwa i automatyzacji. Celem jest to, aby zespoły domenowe mogły publikować i wykorzystywać dane bez ciągłego „ustawiania się w kolejce" do jednego zespołu.

Czwarty filar to federacyjne zarządzanie. Firma nadal potrzebuje zasad: jak nazywamy pola, jak klasyfikujemy dane wrażliwe, jakie są role i uprawnienia, jak wersjonujemy zmiany, jak mierzymy jakość. Różnica polega na tym, że standardy są wspólne, ale egzekwowane w sposób rozproszony — domeny działają autonomicznie, nie tracąc spójności.

W skrócie, Data Mesh opiera się na czterech zasadach:

1. Własność domenowa danych
2. Dane jako produkt
3. Samoobsługowa infrastruktura
4. Federacyjne zarządzanie

To jest właśnie „mesh" — sieć współpracujących domen, a nie jeden centralny zbiornik, do którego wszyscy wrzucają dane i liczą, że ktoś je kiedyś uporządkuje.

Wyobraźmy sobie średniej wielkości firmę: zakład produkujący komponenty metalowe dla kilku branż. Działa tu ERP, osobny system do planowania produkcji, magazyn pracuje na własnych rozwiązaniach, a sprzedaż ma CRM i swoje raporty. Dane są wszędzie, ale odpowiedzi na pytania przekrojowe przychodzą z opóźnieniem.

Przed zmianą podejścia wygląda to tak: planowanie pyta produkcję mailowo o status kluczowych zleceń, logistyka dowiaduje się o zmianach w harmonogramie „w ostatniej chwili", a miesięczny raport zarządczy jest budowany przez tydzień — bo trzeba uzgodnić, czy „terminowość" liczymy według daty zlecenia, daty wysyłki czy daty potwierdzenia odbioru.

Po przyjęciu zasad Data Mesh zespół produkcji staje się właścicielem produktu danych „Status zleceń produkcyjnych". Dane są publikowane w ustandaryzowanym formacie, z opisem pól i definicji, i są dostępne innym działom w sposób przewidywalny (np. aktualizacja co godzinę). Magazyn i logistyka nie muszą już „dopytywać" — mogą konsumować ten produkt danych i automatycznie dostosowywać działania. Sprzedaż widzi realne terminy realizacji bez obiecywania klientom czegoś, czego produkcja nie dowiezie.

Efekt biznesowy jest prosty do zmierzenia: raport zarządczy, który wcześniej powstawał tydzień, można złożyć w jeden dzień, bo dane są spójnie opisane i dostępne. Jeszcze ważniejsze są decyzje operacyjne: reagowanie na opóźnienia, priorytetyzacja produkcji, planowanie wysyłek. Gdy informacje nie utykają w silosach, firma działa szybciej i spokojniej.

Data Mesh brzmi atrakcyjnie, ale nie jest rozwiązaniem dla każdego — zwłaszcza w 2019 roku, gdy to koncepcja świeża, a ekosystem narzędzi dopiero będzie dojrzewał. To podejście ma sens wtedy, gdy organizacja realnie odczuwa ból związany z danymi: wolne raportowanie, trudne uzgodnienia definicji, brak zaufania do liczb, rosnące koszty utrzymania centralnych integracji.

Najczęściej Data Mesh pasuje, gdy:

• firma ma wiele działów i systemów, a silosy informacyjne blokują przepływ wiedzy,
• centralny IT jest wąskim gardłem dla zmian i raportów,
• dane mają bezpośredni wpływ na decyzje biznesowe (operacyjne i strategiczne),
• jest gotowość na zmianę odpowiedzialności: domeny biorą „własność" danych, a IT buduje fundamenty i standardy.

Jeśli jesteś małą firmą z jednym systemem ERP i kilkoma prostymi raportami, scentralizowana hurtownia danych może być w pełni wystarczająca. Jeśli jednak rośniesz, dokładasz kolejne systemy, a transformacja cyfrowa oznacza dla Ciebie szybsze decyzje i lepsze planowanie, Data Mesh jest kierunkiem, który warto obserwować i testować krok po kroku.

Data Mesh nie jest rewolucją technologiczną. To zmiana organizacyjna w tym, jak myślimy o danych: kto je posiada, kto odpowiada za ich jakość, jak je udostępniamy i jak budujemy architekturę danych bez tworzenia kolejnego centralnego wąskiego gardła. Firmy, które zaczną traktować dane jako produkt i rozproszą odpowiedzialność mądrze (z dobrymi standardami), będą podejmować decyzje szybciej — i z mniejszą liczbą „spotkań wyjaśniających liczby".

W aveneo pomagamy przedsiębiorstwom projektować architektury danych dopasowane do ich realnych potrzeb. Jeśli w Twojej firmie raporty powstają zbyt wolno, integracja danych jest kosztowna, a silosy informacyjne utrudniają zarządzanie — porozmawiajmy o tym, jak uporządkować przepływ danych i przygotować organizację na podejście w stylu Data Mesh.