Naar de inhoud

Big Data

Data lake analytics

Verschillende databronnen technisch verwerken

Close-up van een hand die een touchscreen bedient waarop dynamische grafieken worden getoond.

Data lake analytics combineert de opslag van grote en uiteenlopende datasets met software voor verwerking en analyse. Gegevens uit databases, bestanden, apparaten, applicaties en externe platformen kunnen in een data lake worden samengebracht. Vervolgens kunnen technische datastromen, zoekfuncties, dashboards en modellen worden ontwikkeld om deze informatie binnen een toepassing beschikbaar te maken.

Wat is data lake analytics?

Data opslaan en gebruiken vanuit één technische omgeving

Een data lake is een opslagomgeving voor gestructureerde, semigestructureerde en ongestructureerde gegevens. De data kan in de oorspronkelijke vorm worden opgeslagen en later voor een specifieke toepassing worden voorbereid. Data lake analytics omvat de technische voorzieningen waarmee datasets worden gevonden, geselecteerd, gecombineerd en verwerkt tot informatie voor softwarefunctionaliteiten.

De technische opbouw van een data lake

Van databron tot verwerkbare dataset

Een data lake kan gegevens ontvangen uit bedrijfssoftware, databases, API’s, logbestanden, sensoren, documenten, afbeeldingen en andere bronnen. Deze data kan periodiek worden geïmporteerd of via geautomatiseerde datastromen vrijwel direct worden toegevoegd.

De gegevens worden vaak opgeslagen in objectopslag of een vergelijkbare omgeving die verschillende bestandsformaten en grotere datavolumes ondersteunt. Mappenstructuren, partities en technische naamgeving kunnen worden gebruikt om datasets overzichtelijk te organiseren.

Metadata beschrijft welke gegevens beschikbaar zijn, waar ze vandaan komen en hoe ze technisch zijn opgebouwd. Een datacatalogus of vergelijkbare zoekfunctie kan datasets vindbaar maken voor applicaties en technische gebruikers.

Voordat data binnen een toepassing wordt gebruikt, kan deze worden gecontroleerd en omgezet. Denk aan het valideren van bestandsformaten, verwijderen van dubbele records, combineren van velden en omzetten van gegevens naar een geschikt technisch formaat.

Deze verwerking kan bestaan uit ETL- of ELT-stromen. Bij ETL wordt data vóór opslag of gebruik getransformeerd. Bij ELT wordt de oorspronkelijke data eerst opgeslagen en later verwerkt voor een specifieke toepassing. Beide vormen kunnen binnen dezelfde technische omgeving worden gecombineerd.

Een data lake verschilt daarmee van een traditioneel datawarehouse, waarin gegevens meestal vooraf volgens een vaste structuur worden ingericht. Afhankelijk van de toepassing kunnen een data lake, datawarehouse of gecombineerde lakehouse-opzet naast elkaar worden gebruikt.

Van data lake naar analytics

Dashboards, zoekfuncties en modelgestuurde toepassingen

Data lake analytics voegt een verwerkings- en applicatielaag toe aan de opgeslagen datasets. Queries, scripts en geautomatiseerde datastromen kunnen gegevens selecteren, combineren en voorbereiden voor gebruik binnen software.

De resultaten kunnen beschikbaar worden gemaakt in dashboards, rapportages, kaarten, zoekfuncties en andere gebruikersfunctionaliteiten. Ook kunnen applicaties via API’s toegang krijgen tot specifieke datasets of verwerkte uitkomsten.

Voor toepassingen met actuele informatie kunnen nieuwe gegevens automatisch worden verwerkt zodra ze beschikbaar komen. Dit kan worden gebruikt voor technische monitoring, transacties, sensordata, logistieke statussen en geautomatiseerde signaleringen.

Een data lake kan eveneens gegevens leveren aan AI- en machinelearningmodellen. Datasets kunnen technisch worden voorbereid voor classificatie, patroonherkenning, aanbevelingen of voorspellingen. De uitkomsten van het model kunnen vervolgens weer worden verwerkt in een dashboard, API of andere softwarefunctie.

Toegang tot datasets kan worden ingericht met rollen en rechten. Daarnaast kunnen versleuteling, logging, gegevensscheiding en pseudonimisering worden opgenomen als technische onderdelen van de toepassing.

Monitoring kan zichtbaar maken of gegevensstromen worden uitgevoerd, datasets beschikbaar zijn en koppelingen technisch functioneren. Ook opslagcapaciteit, verwerkingstijden en technische meldingen kunnen binnen de beheeromgeving worden gevolgd.

Zakenman die aandelenkoersen analyseert op twee beeldschermen in een moderne kantooromgeving.

Koppelen met bestaande software

Data beschikbaar binnen applicaties en systemen

Een data lake kan via API’s en geautomatiseerde datastromen worden verbonden met bestaande bedrijfssoftware, dashboards, portalen en mobiele applicaties. APPelit ontwikkelt de technische koppelingen waarmee geselecteerde gegevens kunnen worden ingelezen, verwerkt en beschikbaar gemaakt binnen de gewenste softwarefunctionaliteiten.

Technisch beheer van het data lake

Monitoring, toegang en verdere uitbreiding

Datastromen, opslag en koppelingen kunnen technisch worden gemonitord en onderhouden. Ook rollen, toegangsrechten, logging en meldingen kunnen onderdeel zijn van de omgeving. Wanneer nieuwe databronnen of functionaliteiten nodig zijn, kan het data lake worden uitgebreid met aanvullende koppelingen en softwareonderdelen.

Hand die een smartphone vasthoudt met netwerkanalyse in een hightech serveromgeving.

Data lake analytics op maat

Van dataopslag naar werkende software

Wilt u gegevens uit verschillende systemen en bestandsformaten samenbrengen in een data lake? APPelit ontwikkelt de technische koppelingen, datastromen en softwarefunctionaliteiten waarmee deze informatie kan worden verwerkt en gebruikt.

De toepassing kan bestaan uit een dashboard, dataplatform, zoekomgeving, API, rapportagefunctie of integratie met AI en machine learning. Ook hosting, monitoring, onderhoud en verdere technische uitbreiding kunnen onderdeel zijn van de dienstverlening.

Tijdens een gesprek kunt u de beschikbare databronnen en gewenste functionaliteiten toelichten. Wij vertellen u vervolgens graag welke technische werkzaamheden APPelit voor uw data-lake- en analyticsomgeving kan verzorgen.

Contact

Vraag over dit onderwerp?

Laat uw gegevens achter. Binnen 24 uur neemt een specialist contact met u op om de technische mogelijkheden te bespreken.

We gebruiken uw gegevens alleen om op uw aanvraag te reageren. Privacyverklaring