Data lake analytics

Een data lake kan gegevens ontvangen uit bedrijfssoftware, databases, API’s, logbestanden, sensoren, documenten, afbeeldingen en andere bronnen. Deze data kan periodiek worden geïmporteerd of via geautomatiseerde datastromen vrijwel direct worden toegevoegd.

De gegevens worden vaak opgeslagen in objectopslag of een vergelijkbare omgeving die verschillende bestandsformaten en grotere datavolumes ondersteunt. Mappenstructuren, partities en technische naamgeving kunnen worden gebruikt om datasets overzichtelijk te organiseren.

Metadata beschrijft welke gegevens beschikbaar zijn, waar ze vandaan komen en hoe ze technisch zijn opgebouwd. Een datacatalogus of vergelijkbare zoekfunctie kan datasets vindbaar maken voor applicaties en technische gebruikers.

Voordat data binnen een toepassing wordt gebruikt, kan deze worden gecontroleerd en omgezet. Denk aan het valideren van bestandsformaten, verwijderen van dubbele records, combineren van velden en omzetten van gegevens naar een geschikt technisch formaat.

Deze verwerking kan bestaan uit ETL- of ELT-stromen. Bij ETL wordt data vóór opslag of gebruik getransformeerd. Bij ELT wordt de oorspronkelijke data eerst opgeslagen en later verwerkt voor een specifieke toepassing. Beide vormen kunnen binnen dezelfde technische omgeving worden gecombineerd.

Een data lake verschilt daarmee van een traditioneel datawarehouse, waarin gegevens meestal vooraf volgens een vaste structuur worden ingericht. Afhankelijk van de toepassing kunnen een data lake, datawarehouse of gecombineerde lakehouse-opzet naast elkaar worden gebruikt.

Van data lake naar analytics

Dashboards, zoekfuncties en modelgestuurde toepassingen

Data lake analytics voegt een verwerkings- en applicatielaag toe aan de opgeslagen datasets. Queries, scripts en geautomatiseerde datastromen kunnen gegevens selecteren, combineren en voorbereiden voor gebruik binnen software.

De resultaten kunnen beschikbaar worden gemaakt in dashboards, rapportages, kaarten, zoekfuncties en andere gebruikersfunctionaliteiten. Ook kunnen applicaties via API’s toegang krijgen tot specifieke datasets of verwerkte uitkomsten.

Voor toepassingen met actuele informatie kunnen nieuwe gegevens automatisch worden verwerkt zodra ze beschikbaar komen. Dit kan worden gebruikt voor technische monitoring, transacties, sensordata, logistieke statussen en geautomatiseerde signaleringen.

Een data lake kan eveneens gegevens leveren aan AI- en machinelearningmodellen. Datasets kunnen technisch worden voorbereid voor classificatie, patroonherkenning, aanbevelingen of voorspellingen. De uitkomsten van het model kunnen vervolgens weer worden verwerkt in een dashboard, API of andere softwarefunctie.

Toegang tot datasets kan worden ingericht met rollen en rechten. Daarnaast kunnen versleuteling, logging, gegevensscheiding en pseudonimisering worden opgenomen als technische onderdelen van de toepassing.

Monitoring kan zichtbaar maken of gegevensstromen worden uitgevoerd, datasets beschikbaar zijn en koppelingen technisch functioneren. Ook opslagcapaciteit, verwerkingstijden en technische meldingen kunnen binnen de beheeromgeving worden gevolgd.

Wilt u gegevens uit verschillende systemen en bestandsformaten samenbrengen in een data lake? APPelit ontwikkelt de technische koppelingen, datastromen en softwarefunctionaliteiten waarmee deze informatie kan worden verwerkt en gebruikt.

De toepassing kan bestaan uit een dashboard, dataplatform, zoekomgeving, API, rapportagefunctie of integratie met AI en machine learning. Ook hosting, monitoring, onderhoud en verdere technische uitbreiding kunnen onderdeel zijn van de dienstverlening.

Tijdens een vrijblijvend gesprek kunt u de beschikbare databronnen en gewenste functionaliteiten toelichten. Wij vertellen u vervolgens graag welke technische werkzaamheden APPelit voor uw data-lake- en analyticsomgeving kan verzorgen.