Dane niestrukturalne – skąd się biorą i jak nad nimi zapanować

Najpierw o danych strukturalnych

Dane strukturalne to informacje, które są kategoryzowane i przetrzymywane na podstawie typu danych w bazach danych przeznaczonych dla konkretnych aplikacji. „Struktura” jest zapewniona dzięki mechanizmom i konfiguracji bazy, która wymusza konkretne wymagania (typ danych, rozmiar danych, dostęp) poprzez język zapytań i analizy. Dane te są następnie dostarczane do aplikacji (zazwyczaj poprzez serwisy), gdzie są formatowane, wykorzystywane lub przechowywane w celu późniejszego użycia.

Dla przykładu, jeśli kupujemy towar przez Internet, to dostarczamy poprzez stronę internetową wielu informacji (adres dostawy, numer karty kredytowej, ilość zamawianego towaru), które zapisywane są w bazie danych. Następnie wykorzystywane są one do przygotowania naszego zamówienia. To właśnie są dane strukturalne. Są uporządkowane, stworzone i przetrzymywane w konkretnym celu.

Pochodzenie danych niestrukturalnych

To, co dalej dzieje się z naszym zamówieniem internetowym pozwoli nam wyjaśnić pochodzenie i typ danych niestrukturalnych. Gdy zamówienie zostało zarejestrowane w systemie i dane trafiły do bazy danych, co najmniej kilka oddziałów zostaje zaangażowanych w dalsze kroki. Płatność, realizacja, wysyłka – procesy te mogą być obsłużone przez jedną, wspólną aplikację lub wiele aplikacji realizujących określone funkcje. Chodzi o to, że informacje dostarczone przez użytkownika z zewnątrz są kopiowane, przekazywane i eksportowane w organizacji pomiędzy działami i pracownikami, a tym samym pomiędzy systemami informatycznymi. Mail potwierdzający zamówienie, śledzenie paczki na stronie firmy kurierskiej czy wydrukowana faktura, te wszystkie elementy to pochodne danych niestrukturalnych, które organizacja wyprodukowała, aby w stu procentach zrealizować usługę.

Dodatkowo nasze zamówienie znajdzie się zapewne na miesięcznym raporcie dla zarządu oraz zostanie przetworzone przez analityków w celu optymalizacji i usprawnienia procesu zakupowego. Dane zebrane w jednej lokalizacji, będące danymi strukturalnymi, rozproszyły się po organizacji trafiając do wielu użytkowników, systemów i plików, stając się danymi niestrukturalnymi.

Wszelkie dane biznesowe przechowywane w plikach word, arkuszach kalkulacyjnych, mailach, pdfach i prezentacjach PowerPoint to dane niestrukturalne. Nadal są to te same informacje, które dostarczone były do organizacji jako dane strukturalne i powinny być tak samo chronione. Niestety, w większości organizacjach dane niestrukturalne są poza kontrolą. Znajdują się na niezabezpieczonych repozytoriach, do których dostęp mają nieuprawnione osoby. Zazwyczaj są to udziały plików, chmury współdzielone czy wspólne dyski.

Co możemy zrobić

Zarządzanie danymi niestrukturalnymi w rozległym przedsiębiorstwie to ciężki orzech do zgryzienia dla działów bezpieczeństwa. Pierwszym krokiem w uporaniu się nad tym typem danych powinno być zidentyfikowanie plików zawierających dane wrażliwe, czyli tych które należy szczególnie chronić. Istnieją narzędzia przeszukujące zasoby plikowe pod kątem zawartości wyrażeń regularnych określających strukturę danych takich jak np. pesel, adres, konto bankowe, itp. Kolejnym krokiem powinno być przeniesienie tych plików na chronione i monitorowane repozytorium z określonym dostępem. Warto również archiwizować oraz usuwać niepotrzebne dane niestrukturalne, czyli nie doprowadzać do tak zwanej redundancji.

Wszystkie powyższe praktyki pozwalają w pewnym stopniu zapanować nad chaosem danych w organizacji. Istotne jest to, aby mieć świadomość problemu danych niestrukturalnych, wiedzieć skąd się biorą oraz że nie jesteśmy w stanie uniknąć ich tworzenia i przetrzymywania w wielu różnych systemach.