Data Integratie

Data integratie is een geautomatiseerd proces, waarbij data uit diverse databronnen en IT-applicaties van een organisatie worden samengevoegd, verbeterd, verrijkt en opgeschoond.

Samengestelde data voor nieuwe inzichten

Met data integratie is het proces van data verzamelen, combineren en structureren met het doel om vanuit samengestelde data nieuwe inzichten te verkrijgen.

In de meest elementaire vorm is het gebruik van Excel om data te verzamelen een eerste begin. Modernere organisaties die geautomatiseerd en met hogere frequentie deze data verzameling willen actualiseren kiezen voor gespecialiseerde ETL/ELT software en databases.

Full Orbit heeft veel ervaring met het ontwikkelen van ETL/ELT programmatuur en bijbehorende methodieken om data te structureren, zoals Inmon, Kimball en Data Vault.

Orbit SVG_Samengesteld beeld van de data
spacers

ETL/ELT

Conceptueel vindt data integratie plaats in drie stappen:

Extract

Het uit de systemen halen van de data, door gebruik te maken van diverse koppelingen.

Transform

Het uit elkaar rafelen van de systeem-specifieke structuur om deze om te vormen tot een nieuwe uniforme structuur. Coderingen in de data worden moeten worden doorgrond en begrijpelijk gemaakt, en vaak is het nodig de data te "vertalen".

Load

Alle omgevormde data bij elkaar worden gezet in een nieuwe structuur in een database of data warehouse, klaar voor gebruik door rapportage- en analysetools.

Afhankelijk van waar de transformaties plaatsvinden spreken we van ETL of ELT. Bij de eerste is sprake van een separate engine voor transformaties en bij de andere wordt de kracht van de database gebruikt om deze transformaties uit te voeren.

Orbit SVG_How to avoid spaghetti
spacers

Data integratie software

Voor het data integratie proces kan men handmatig programmatuur maken met scripts, maar dit levert al snel een "spaghetti" van verbindingen op, die bij alsmaar toenemende hoeveelheden databronnen niet te onderhouden is.

Door gebruik van specifieke data integratie software worden de databronnen door middel van connectoren ontsloten, waarbij daarna door zogenaamde mappings de metadata kan worden gemodelleerd. Op basis hiervan wordt er geautomatiseerde wijze programmatuur gegenereerd. 

Voordeel hiervan is dat als er vanuit een of meerdere systemen door middel van het ETL proces een combinatie is gemaakt, het aankoppelen van een volgend systeem weer een stuk eenvoudiger wordt.

Orbit SVG_Data integration software
spacers

De voordelen van data integratie

Eliminatie van data silo's

Waardevolle gegevens van individuele systemen die binnen een organisatie worden geïntegreerd, komen het bedrijf als geheel ten goede.

Tijdsbesparing

Wanneer systemen correct zijn geïntegreerd, wordt het verzamelen van gegevens en het converteren naar de uiteindelijke, bruikbare indeling een snelle, gemakkelijke taak, in plaats van een speurtocht verspreid over meerdere systemen, teams of apps.

Voorkomen van fouten

Indien datasystemen correct zijn geïntegreerd, voorkomt men de fouten die bij de handmatige verzameling van data worden gemaakt.

 

MB-Analyst’s-View-Silos-Getty-880x493