Een AI-test begint met een duidelijk beschreven functie. “De software gebruikt AI” zegt nog niet wat gecontroleerd moet worden. Een functie zoals “binnenkomende productteksten indelen in vooraf vastgestelde categorieën” maakt de invoer, mogelijke uitvoer en beoordelingscriteria concreter.
Vervolgens wordt een testset samengesteld. Deze bevat voorbeelden die lijken op de informatie waarmee de functie in de uiteindelijke toepassing gaat werken. Naast veelvoorkomende invoer kunnen ook korte teksten, ontbrekende velden, onbekende termen en uitzonderingen worden opgenomen.
Voor iedere test wordt bepaald wat beoordeeld moet worden. Bij classificatie kan dat de gekozen categorie zijn. Bij een samenvatting kan worden gecontroleerd of verplichte informatie aanwezig is en of er geen gegevens worden toegevoegd die niet in de bron staan.
Niet iedere AI-uitkomst heeft één exact juist antwoord. Twee correct geformuleerde samenvattingen kunnen verschillende woorden gebruiken. Daarom kan een beoordeling bestaan uit meerdere criteria, zoals volledigheid, aansluiting op de bron, toegestane formulering en aanwezigheid van verplichte onderdelen.
Wanneer een AI-model gebruikmaakt van eigen documenten of gegevens, wordt ook het zoekgedeelte getest. De toepassing moet relevante informatie uit de geselecteerde bronnen kunnen ophalen en aan het model aanbieden. Indien afgesproken kan het systeem verwijzingen tonen naar de passages waarop een antwoord is gebaseerd.
Ook gebruikersrechten blijven van toepassing. Een AI-functie mag geen informatie verwerken of tonen waartoe de ingelogde gebruiker volgens de vastgestelde autorisaties geen toegang heeft. Daarom worden verschillende accounts en rollen als afzonderlijke scenario’s gecontroleerd.
De technische koppeling met het AI-model vormt eveneens een testonderdeel. De software moet verzoeken in het juiste formaat verzenden en antwoorden correct verwerken. Ook time-outs, tijdelijk ontbrekende verbindingen en foutmeldingen kunnen een eigen afhandeling krijgen.
Invoer kan vooraf worden gecontroleerd. De toepassing kan bijvoorbeeld een melding tonen wanneer een verplicht document ontbreekt, een bestand niet wordt ondersteund of te weinig informatie is ingevuld. Hiermee blijft voor de gebruiker zichtbaar waarom de AI-functie niet kan worden gestart.
Vervolgens wordt bepaald wat de software met de uitvoer doet. Een gegenereerde tekst kan als concept worden getoond, waarna een medewerker deze beoordeelt. Een classificatie kan eerst ter controle worden aangeboden voordat een status of categorie definitief wordt opgeslagen.
De opdrachtgever bepaalt wanneer menselijke beoordeling nodig is. APPelit kan daarvoor een goedkeuringsstap, wijzigingsfunctie of terugstuurmogelijkheid ontwikkelen. De AI-uitvoer blijft dan technisch herkenbaar als voorstel totdat een bevoegde gebruiker een handeling uitvoert.
Het gebruikte model en de technische instructies kunnen gedurende de levensduur van de toepassing veranderen. Daarom kunnen modelversies, promptversies en instellingen worden vastgelegd. Een geselecteerde testset kan vervolgens opnieuw worden uitgevoerd om uitkomsten te vergelijken.
Logging kan inzicht geven in de technische verwerking. Afhankelijk van de afgesproken inrichting kan worden geregistreerd welke functie is gebruikt, welke modelversie actief was en of een gebruiker het resultaat heeft aangepast. Welke invoer en uitvoer mogen worden bewaard, wordt door de opdrachtgever vastgesteld.
Naast de inhoudelijke uitvoer kunnen snelheid en beschikbaarheid worden gemeten. Een AI-aanroep heeft verwerkingstijd en kan gebruikskosten veroorzaken. De toepassing kan daarom limieten, wachtrijen of meldingen bevatten die passen bij het verwachte gebruik.
Een test geeft geen garantie dat iedere toekomstige AI-uitkomst hetzelfde zal zijn. Het doel is om de afgesproken functie binnen bekende scenario’s controleerbaar te maken. Nieuwe voorbeelden kunnen later aan de testset worden toegevoegd wanneer de toepassing wordt uitgebreid.
Case: AI voor het toekennen van productlabels
Nieuwe catalogusteksten indelen volgens bestaande categorieën
Een groothandel ontvangt productbeschrijvingen van verschillende leveranciers. Medewerkers koppelen iedere tekst handmatig aan labels voor materiaal, toepassing en productgroep. De gebruikte termen verschillen per leverancier, terwijl de beschikbare labels vooraf door de groothandel zijn vastgesteld.
De organisatie wil een interne AI-functie waarmee een medewerker een productbeschrijving kan laten analyseren. Het model moet uitsluitend labels voorstellen uit de bestaande lijst. Een gebruiker blijft verantwoordelijk voor de controle en definitieve opslag.
De groothandel levert voorbeelden aan van productteksten en de labels die daar intern aan zijn toegekend. Ook worden situaties opgenomen waarin een tekst onvoldoende informatie bevat of meerdere categorieën mogelijk lijken.
APPelit ontwikkelt een functie binnen de bestaande beheeromgeving. Een medewerker opent een nieuw product, voert de beschikbare beschrijving in en vraagt daarna een labelvoorstel op. De software verzendt de afgesproken informatie naar het AI-model.
Het resultaat verschijnt als concept naast de oorspronkelijke producttekst. Per voorgesteld label kan de medewerker het voorstel accepteren, verwijderen of vervangen. Pas na bevestiging worden de geselecteerde labels aan het product gekoppeld.
De testset bevat korte en lange beschrijvingen, verschillende schrijfwijzen en producten die buiten de bestaande categorieën vallen. Wanneer het model geen passend label kan bepalen, kan de toepassing een algemene controlemarkering tonen in plaats van zelf een nieuwe categorie aan te maken.
Naast de inhoudelijke voorstellen wordt de technische afhandeling getest. De tests omvatten onder meer een ontbrekende beschrijving, een tijdelijk niet-bereikbaar model en een gebruiker zonder toestemming om productgegevens te wijzigen.
Geaccepteerde en gewijzigde voorstellen kunnen als afzonderlijke gebruiksgegevens worden vastgelegd. De groothandel bepaalt of deze informatie wordt gebruikt om de instructies, categorieën of testvoorbeelden later aan te passen.
De toepassing kent daarmee geen labels volledig zelfstandig toe. Zij biedt een technisch voorstel binnen een bestaande beheerworkflow. De organisatie beheert de categorieën en beoordelingsregels; APPelit bouwt de AI-integratie en controlefuncties.
