Wat is de Azure Data Factory en waar gebruik je het voor?
De Azure Data Factory (ADF) is een low-code ETL- en data-integratietool in de cloud. Hiermee kun je het verplaatsen en transformeren van grote hoeveelheden gegevens automatiseren [1]. Omdat het een low-code platform is, is het toegankelijk voor zowel de beginnende, maar ook ervaren data-engineers, terwijl grootschalige transformaties of verplaatsingen mogelijk zijn zonder te hoeven investeren in hardware.
Een van de beste gevallen om de ADF voor te gebruiken, is voor toepassingen die afhankelijk zijn van gegevens die zich in meerdere bronnen bevinden. De ADF maakt verbindingen mogelijk tussen veel verschillende bronnen, zowel intern (Azure Data Lake, Azure SQL Database, …) als extern (SAP, Amazon, Oracle, …), in verschillende bestandsindelingen (Excel, CSV, JSON, …) om het verzamelen van gegevens makkelijker te maken. [2] Vervolgens kunnen met behulp van Data Flows, en vele andere mogelijkheden voor transformaties, data worden verwerkt naar een gewenst formaat en weggeschreven naar een databron naar keuze, zowel binnen als buiten Azure. Met de pipelines binnen de ADF kun je je transformatielogica verrijken met zowel validatie- als control flow logica.
[1] https://docs.microsoft.com/en-us/azure/data-factory/introduction
[2] https://docs.microsoft.com/nl-nl/azure/data-factory/connector-overview