Voor een AI-toepassing in maatwerksoftware zijn verschillende kosten relevant. De eerste ontwikkeling omvat bijvoorbeeld de gebruikersinterface, koppelingen, toegangsrechten en tests. Tijdens het gebruik komen daar, afhankelijk van de oplossing, uitgaven voor AI-diensten, hosting, monitoring en onderhoud bij. Ook de tijd die medewerkers besteden aan controle en correcties hoort in de beoordeling.
Neem een denkbeeldige toepassing die binnenkomende offerteaanvragen uitleest en een conceptaanvraag in een ERP-systeem klaarzet. De medewerker controleert daarna de klantgegevens, producten en aantallen. Voor de opdrachtgever is vooral relevant hoeveel tijd de volledige afhandeling vraagt en hoeveel aanvragen correct worden verwerkt.
Stel, uitsluitend als rekenvoorbeeld, dat handmatige verwerking acht minuten per aanvraag kost. Met de AI-functie resteert gemiddeld drie minuten aan controle en afhandeling, inclusief correcties. Bij zeshonderd aanvragen per maand is het verschil vijftig werkuren. Dat is vrijgekomen capaciteit; een daadwerkelijke daling van de personeelskosten volgt daar niet automatisch uit.
Of de toepassing voldoende oplevert, hangt vervolgens af van de gebruikskosten, het beheer en de investering in ontwikkeling. Bovendien moet de kwaliteit van de verwerking aan de afgesproken eisen voldoen. Een bespaarde minuut heeft weinig betekenis wanneer achteraf extra herstelwerk nodig blijkt.
Meet daarom ook hoeveel aanvragen volledig handmatig moeten worden afgehandeld. Door zulke uitzonderingen mee te nemen, ontstaat een bruikbaarder gemiddelde dan wanneer alleen de succesvol verwerkte aanvragen worden geteld.
Grenzen in de software
Maak het verbruik beheersbaar.
De technische inrichting kan helpen om het gebruik te begrenzen. Denk aan een maximumaantal verwerkingspogingen, een limiet op de hoeveelheid meegegeven informatie en een afgesproken moment waarop de taak naar een medewerker gaat. Anthropic noemt stopvoorwaarden, zoals een maximumaantal iteraties, als onderdeel van het ontwerp van agents.
Voor de offerteaanvraag kan bijvoorbeeld worden vastgelegd dat ontbrekende productcodes tot een controlemelding leiden. De toepassing kan de al gevonden gegevens bewaren en de aanvraag als onvolledig markeren. De medewerker ziet dan welk onderdeel nog moet worden aangevuld.
Ook het vastleggen van verbruik per aanvraag maakt de werking inzichtelijk. De opdrachtgever kan daarmee beoordelen welke soorten aanvragen veel verwerking vragen. Voor het ontwikkelteam biedt dit aanknopingspunten om specifieke onderdelen van de software te onderzoeken en aan te passen.
Een praktische vergelijking gebruikt dezelfde verzameling aanvragen vóór en na een technische wijziging. Leg daarbij de verwerkingskosten, doorlooptijd en juistheid van de uitkomsten naast elkaar. Zo wordt zichtbaar of een aanpassing een bruikbaar resultaat oplevert binnen de gestelde grenzen. Maak daarbij onderscheid tussen een melding bij een budgetgrens en een technische blokkade die verdere verwerking daadwerkelijk stopt.