Naar de inhoud

Big DataFAQs

Wat is Apache Spark?

Verwerk grote datasets verdeeld over meerdere computers

Close-up van serverracks in een datacenter met moderne technologie-in基础设施.

Apache Spark is een opensource-engine voor grootschalige gegevensverwerking. De software verdeelt berekeningen over meerdere machines en brengt de resultaten daarna samen. Hierdoor kunnen developers omvangrijke datasets verwerken zonder alle gegevens op één computer te hoeven laden.

Data omzetten in bruikbare resultaten

Voer meerdere soorten dataverwerking binnen één technische omgeving uit

Spark kan worden gebruikt voor gegevensvoorbereiding, analyses, streamingprocessen en machine-learningworkflows. Het framework bevat hiervoor verschillende bibliotheken en interfaces. Welke onderdelen nodig zijn, hangt af van de databronnen, berekeningen en gewenste uitvoer.

Achtergrond

Wat is Apache Spark en hoe werkt het?

Apache Spark is geen database of zelfstandig opslagsysteem. Het is een verwerkingstechnologie die gegevens leest uit bronnen zoals databases, objectopslag, datawarehouses of Hadoop Distributed File System. Daarna voert Spark de geprogrammeerde bewerkingen verdeeld over een cluster uit.

Een Spark-toepassing bestaat doorgaans uit een driver en meerdere executors. De driver coördineert het proces en verdeelt taken. De executors voeren deze taken parallel uit op afzonderlijke delen van de dataset. Deze verdeling maakt het mogelijk om berekeningen over meerdere machines te verspreiden.

Spark kan tussenresultaten waar passend in het werkgeheugen bewaren. Dat is vooral bruikbaar wanneer dezelfde gegevens tijdens een proces herhaaldelijk nodig zijn. De uiteindelijke prestaties hangen echter ook af van de configuratie, dataset, opslag, netwerkverbindingen en gekozen bewerkingen.

Het lukt met Apache Spark

Grootschalige dataverwerking technisch organiseren

Spark kan een onderdeel vormen van software waarin veel gegevens periodiek of vrijwel direct moeten worden verwerkt. APPelit kan de benodigde gegevensstromen, verwerkingstaken en koppelingen ontwikkelen op basis van de functionele eisen en beschikbare databronnen van de opdrachtgever.

Waar werkt Apache Spark goed voor?

Vijf toepassingen voor omvangrijke of snel veranderende datasets

  1. 01

    Datavoorbereiding

    Gegevens uit meerdere bronnen samenvoegen, opschonen en omzetten naar een afgesproken structuur.

  2. 02

    Business intelligence

    Grote datasets voorbereiden voor rapportages en dashboards. Spark berekent de gegevens; een afzonderlijke toepassing presenteert de uitkomsten.

  3. 03

    Streamingverwerking

    Nieuwe gebeurtenissen in kleine gegevensreeksen verwerken, bijvoorbeeld bij sensoren, transacties of technische logbestanden.

  4. 04

    Machine learning

    Datasets voorbereiden en modellen trainen met beschikbare Spark-bibliotheken of gekoppelde software.

  5. 05

    Patroon- en afwijkingsdetectie

    Geprogrammeerde controles uitvoeren om ongebruikelijke waarden of combinaties te markeren voor verdere beoordeling.

Spark is vooral relevant wanneer een verwerking te groot of te tijdrovend wordt voor één machine. Voor kleinere datasets kan een database, script of bestaande analysetool een eenvoudigere technische inrichting bieden.

Alternatief voor Apache Spark: Hadoop

Maak onderscheid tussen gegevensopslag en gegevensverwerking

Hadoop bestaat uit meerdere technologieën, waaronder HDFS voor verspreide opslag en MapReduce voor gegevensverwerking. Spark richt zich voornamelijk op verwerking en kan gegevens uit HDFS gebruiken. Daardoor is Spark niet altijd een vervanging voor een volledige Hadoop-omgeving.

Voordelen van Apache Spark ten opzichte van Hadoop

Kies een verwerkingstechniek die bij de berekeningen past

Spark ondersteunt iteratieve berekeningen, streamingprocessen en verschillende programmeertalen, waaronder Python, Java, Scala en R. In vergelijking met klassieke MapReduce-taken zijn workflows vaak compacter op te bouwen. Het werkelijke verschil in snelheid moet per dataset en technische omgeving worden getest.

Samenwerking tussen Spark en Hadoop

Verwerk gegevens uit bestaande Hadoop-opslag

Spark kan binnen een Hadoop-omgeving worden gebruikt en gegevens uit HDFS lezen. Een organisatie kan daardoor bestaande opslag behouden en Spark inzetten voor geselecteerde verwerkingstaken. Versies, rechten, capaciteit en beschikbare interfaces bepalen hoe deze combinatie technisch wordt ingericht.

Gedetailleerde opname van ethernetkabels verbonden met serverpoorten.

Nieuwe kansen in aantocht

Combineer interne gegevens met toegestane externe databronnen

Openbare datasets kunnen samen met eigen bedrijfsgegevens worden verwerkt wanneer formaten, gebruiksvoorwaarden en gegevenskwaliteit dat toelaten. Denk aan geografische, demografische of infrastructurele gegevens. De organisatie bepaalt welke bronnen inhoudelijk geschikt zijn; de software verwerkt de geselecteerde gegevens volgens vastgelegde regels.

Voor wie is Apache Spark?

Technologie voor data-intensieve software

Spark is bedoeld voor developers, data-engineers en andere technische gebruikers die verspreide gegevensverwerking inrichten. Beheer vereist kennis van databronnen, programmeertalen, clusterconfiguratie, monitoring en foutafhandeling. Zonder grote datasets of complexe verwerking kan de extra technische omgeving onnodig zijn.

Man werkt aan een laptop en analyseert bedrijfsgegevens en financiële grafieken binnen.

Wat is Apache Spark voor uw bedrijf?

Laat een afgebakende dataverwerking ontwikkelen

APPelit ontwikkelt maatwerksoftware waarin gegevens uit beschikbare bronnen worden verwerkt. Apache Spark kan daarbij worden gebruikt voor omvangrijke datasets, herhaalde berekeningen of streamingprocessen.

U bepaalt welke gegevens beschikbaar zijn, welke bewerkingen moeten plaatsvinden en hoe de resultaten worden gebruikt. Onze developers bouwen en testen de afgesproken gegevensstromen, verwerkingstaken en softwarefuncties.

Heeft u een concrete toepassing voor grootschalige dataverwerking? Deel uw databronnen, gewenste berekeningen en technische omgeving met APPelit. Neem contact op om de mogelijkheden te bespreken of vraag een offerte aan.

Contact

Vraag over dit onderwerp?

Laat uw gegevens achter. Binnen 24 uur neemt een specialist contact met u op om de technische mogelijkheden te bespreken.

We gebruiken uw gegevens alleen om op uw aanvraag te reageren. Privacyverklaring