Kenmerken van big data
Vijf eigenschappen die de technische verwerking bepalen
Big data wordt niet alleen gekenmerkt door een grote hoeveelheid gegevens. Ook de snelheid waarmee data beschikbaar komt, de verscheidenheid aan bronnen, de kwaliteit van de gegevens en de bruikbaarheid binnen een toepassing spelen een rol. Deze eigenschappen worden vaak samengevat als de vijf V’s van big data. Samen bepalen ze welke opslag, dataverwerking, koppelingen en softwarefunctionaliteiten nodig zijn om de gegevens technisch te kunnen gebruiken.
De vijf V’s van big data
Volume, velocity, variety, veracity en value
De kenmerken van big data worden vaak omschreven als volume, velocity, variety, veracity en value. Ze staan voor de hoeveelheid data, de verwerkingssnelheid, de verschillende gegevensvormen, de kwaliteit van de data en de bruikbaarheid binnen een toepassing. Er bestaat geen vaste hoeveelheid data vanaf wanneer iets big data wordt genoemd. Vooral de combinatie van deze kenmerken maakt aanvullende technologie en maatwerksoftware nodig.
Hoeveelheid, snelheid en variatie
Data uit verschillende bronnen technisch verwerken
Volume verwijst naar de hoeveelheid gegevens die moet worden opgeslagen en verwerkt. Naarmate datasets groter worden, kunnen andere technische voorzieningen nodig zijn dan bij een enkele database of spreadsheet. Denk aan datawarehouses, datalakes, objectopslag of databases die zijn ingericht voor grotere hoeveelheden informatie.
De omvang van de data heeft invloed op onder meer opslagcapaciteit, verwerkingstijd, zoekfunctionaliteit en de manier waarop informatie binnen een applicatie beschikbaar wordt gemaakt. Software kan gegevens verdelen, indexeren en geautomatiseerd verwerken, zodat ook omvangrijke datasets technisch toegankelijk blijven.
Velocity beschrijft de snelheid waarmee gegevens worden gegenereerd, ontvangen en verwerkt. Sommige toepassingen werken met periodieke imports, terwijl andere vrijwel direct nieuwe data moeten verwerken. Voorbeelden zijn sensordata, transacties, locatiedata, technische logbestanden en gebeurtenissen vanuit gekoppelde systemen.
Afhankelijk van de gewenste werking kunnen datastromen, eventgestuurde koppelingen en real-time dashboards worden ontwikkeld. De software verwerkt nieuwe gegevens dan direct of volgens een vast interval en stelt deze beschikbaar voor verdere berekeningen, signaleringen of gebruikersfuncties.
Variety heeft betrekking op de verschillende soorten data. Gestructureerde data, zoals klant-, product- en ordergegevens, heeft meestal een herkenbare indeling. Documenten, afbeeldingen, vrije tekst, audio, video en bepaalde logbestanden vragen om een andere technische verwerking.
Binnen één datatoepassing kunnen meerdere gegevensvormen samenkomen. APPelit kan hiervoor databases, API-koppelingen, zoekindexen, bestandsopslag en andere technische componenten combineren. Zo kunnen verschillende bronnen binnen dezelfde software worden verwerkt en gebruikt.
Datakwaliteit en bruikbaarheid
Van betrouwbare gegevens naar softwarefunctionaliteit
Veracity gaat over de kwaliteit en consistentie van de beschikbare data. Gegevens kunnen incompleet, dubbel, verouderd of verschillend vastgelegd zijn. Ook kunnen databronnen andere veldnamen, structuren of definities gebruiken.
Software kan technische controles uitvoeren op bijvoorbeeld verplichte waarden, gegevensformaten, dubbele records en onverwachte afwijkingen. Ook kunnen logging, validatieregels en signaleringen worden toegevoegd. Hierdoor wordt zichtbaar welke gegevens zijn verwerkt en waar aanvullende controle nodig is.
De betekenis van velden, toegestane waarden en bekende uitzonderingen kan worden opgenomen in de functionele en technische requirements. Op basis daarvan ontwikkelt APPelit de benodigde validaties, conversies en verwerkingsregels.
Value verwijst naar de bruikbaarheid van de data binnen een omschreven toepassing. Data kan bijvoorbeeld worden gebruikt voor dashboards, rapportages, zoekfuncties, technische monitoring, signaleringen of modelgestuurde functionaliteiten.
Ook AI en machine learning kunnen onderdeel zijn van een big-datatoepassing. Een model kan beschikbare data gebruiken voor classificatie, patroonherkenning, aanbevelingen of voorspellingen. De dataset wordt hiervoor technisch voorbereid en gekoppeld aan de gewenste softwarefunctionaliteit.
De vijf kenmerken staan niet los van elkaar. Een toepassing kan grote hoeveelheden gevarieerde data verwerken, maar heeft ook passende validaties en een duidelijk omschreven uitvoer nodig. Juist de combinatie bepaalt hoe de technische softwareoplossing wordt opgebouwd.
Big data verwerken in maatwerksoftware
Van datakenmerken naar een technische toepassing
Heeft uw organisatie te maken met grote datasets, verschillende databronnen of gegevens die snel beschikbaar moeten zijn? APPelit ontwikkelt maatwerksoftware voor het opslaan, koppelen, verwerken en presenteren van data.
De toepassing kan bestaan uit een dashboard, dataplatform, portaal, API, zoekfunctie of uitbreiding van bestaande software. Ook AI-functionaliteiten, real-time verwerking, hosting, monitoring en technisch onderhoud kunnen worden opgenomen.
Tijdens een vrijblijvend gesprek kunt u de beschikbare databronnen en gewenste functionaliteiten toelichten. Wij vertellen u vervolgens graag welke technische werkzaamheden APPelit binnen uw big-datatoepassing kan verzorgen.
Ervaar het gemak van onze service!
Wilt u dat wij contact opnemen? Vul het formulier hieronder in en we bellen u terug.
U kunt ook meer informatie achterlaten via onze contactpagina of het offerteformulier
Ervaar het gemak van onze service!
Wilt u dat wij contact opnemen? Vul het formulier hieronder in en we bellen u terug.
U kunt ook meer informatie achterlaten via onze contactpagina of het offerteformulier
Wij werken onder andere met
