Niet alleen het model telt
Machine learning audit voor model en data
Een machine learning-model is onderdeel van een technische keten. Brondata, labels, bewerkingen, trainingscode, modelversies, API’s en monitoring hebben allemaal invloed op de uitkomsten. Een machine learning audit onderzoekt deze onderdelen in samenhang.
Wat is een machine learning audit?
Technisch onderzoek van de volledige modelketen
Een machine learning audit is een technische controle van de data, broncode, modelontwikkeling, validatie en productieomgeving. Het onderzoek richt zich op de manier waarop het model tot scores, classificaties, voorspellingen of andere uitkomsten komt.
De dataketen vóór het model
Brondata, labels en bewerkingen
Een model leert op basis van de gegevens die tijdens de ontwikkeling zijn gebruikt. Daarom begint een machine learning audit niet bij het algoritme, maar bij de dataset en de stappen die vóór de training plaatsvinden.
Onderwerpen binnen het dataonderzoek zijn onder meer:
- De herkomst en versie van gebruikte datasets
- Definities van velden, categorieën en labels
- Ontbrekende, dubbele of afwijkende waarden
- Verdeling van gegevens over relevante categorieën
- Selectie van trainings-, validatie- en testdata
- Mogelijke overlap tussen deze datasets
- Normalisatie, filtering en andere databewerkingen
- Omgang met uitschieters en onvolledige gegevens
- Versiebeheer van data en scripts
- Toegangsrechten, logging en pseudonimisering
Ook data leakage is een belangrijk technisch aandachtspunt. Hierbij bevat de trainingsdata informatie die tijdens werkelijk gebruik niet beschikbaar is. Dit kan tot testresultaten leiden die niet overeenkomen met de prestaties binnen de uiteindelijke toepassing.
Wanneer prestaties voor verschillende groepen relevant zijn, kunnen daarvoor afzonderlijke meetwaarden worden berekend. De opdrachtgever levert de gewenste definities, categorieën en beoordelingscriteria aan.
Van testresultaat naar productieomgeving
Modelprestaties, reproduceerbaarheid en monitoring
Een model kan tijdens ontwikkeling goed presteren, terwijl de omstandigheden na ingebruikname veranderen. Een machine learning audit bekijkt daarom zowel de gemeten testresultaten als de technische verwerking van het model binnen de software.
De controle kan betrekking hebben op:
- Het gebruikte algoritme en de modelconfiguratie
- Trainingscode, parameters en afhankelijkheden
- Scheiding tussen training, validatie en testen
- Meetwaarden zoals precision, recall, F1-score of AUC
- Foutmarges zoals MAE, MSE of RMSE
- Overfitting en gevoeligheid voor gewijzigde invoer
- Reproduceerbaarheid van training en tests
- Versies van libraries en modelbestanden
- Verwerkingstijd en gebruik van servercapaciteit
- API-verzoeken en foutafhandeling
- Logging van modelversies en uitkomsten
- Signalering van data drift en model drift
De relevante meetwaarden hangen samen met het type model en de gewenste uitkomst. Een classificatiemodel vraagt om andere controles dan een forecastingmodel, aanbevelingssysteem of regressiemodel.
De audit koppelt bevindingen aan de onderzochte modelversie, dataset en technische omgeving. Hierdoor is duidelijk op welke onderdelen en testomstandigheden de resultaten betrekking hebben.
Machine learning audit of AI-audit
Een modelcontrole binnen een breder vakgebied
Een machine learning audit richt zich specifiek op modellen die patronen uit data gebruiken. Een AI-audit kan breder zijn en ook generatieve AI, taalmodellen, menselijke controle, governance en de toepassing van AI-uitkomsten omvatten.
Wat bevat een auditrapport?
Onderzochte onderdelen en technische bevindingen
Het auditrapport beschrijft de scope, gebruikte testmethoden, onderzochte versies en gevonden aandachtspunten. Technische bevindingen kunnen worden ondersteund met meetwaarden, testresultaten, codeverwijzingen en reproduceerbare voorbeelden. De organisatie bepaalt welke vervolgwerkzaamheden worden uitgevoerd.
Een model als onderdeel van software
Data, code en gebruik in samenhang
Een machine learning-model functioneert binnen een applicatie, dataplatform of API. Daarom horen ook gegevensaanvoer, foutafhandeling, gebruikersrechten, logging en technische monitoring bij het onderzoeksgebied.
Door de volledige modelketen te onderzoeken, ontstaat een technisch onderbouwd beeld van de gebruikte data, gemeten prestaties en inrichting van de machine learning-toepassing.
Ervaar het gemak van onze service!
Wilt u dat wij contact opnemen? Vul het formulier hieronder in en we bellen u terug.
U kunt ook meer informatie achterlaten via onze contactpagina of het offerteformulier
Ervaar het gemak van onze service!
Wilt u dat wij contact opnemen? Vul het formulier hieronder in en we bellen u terug.
U kunt ook meer informatie achterlaten via onze contactpagina of het offerteformulier
Wij werken onder andere met
