Eén maand om AI op kantoor te beoordelen: meet wat werkelijk helpt

Kies werk dat het kantoor al kent

Een kantoor wil AI testen voor tijdlijnen, versievergelijking en het herformuleren van brieven. In dit fictieve voorbeeld gebruikt het oefendossiers zonder cliëntgegevens. Beoordelaars kennen de verwachte resultaten en kunnen belangrijke weglatingen herkennen.

Vooraf krijgt elke taak een duidelijke input, een verwacht resultaat en een kwaliteitscriterium. Een tijdlijn met een documentverwijzing per gebeurtenis is beter te beoordelen dan het algemene doel tijd winnen. Een onvolledig resultaat is niet goed omdat het snel verschijnt.

Meet tot het resultaat bruikbaar is

Schrijftijd is maar een deel van het werk. Ook voorbereiding, correctieverzoeken, broncontrole en eindlezing tellen mee. Het kantoor vergelijkt vervolgens vergelijkbare taken en houdt rekening met de ervaring van de uitvoerder. Zo wordt een verschil in moeilijkheid niet ten onrechte als voordeel van de tool voorgesteld.

Daarnaast registreert het fouten: toegevoegde datums, vergeten stukken, betekenisverandering of onvindbare verwijzingen. Die observaties tonen of een instructie beter kan of een taak ongeschikt is. Een universeel winstpercentage is niet nodig om bruikbare lessen te trekken.

Organiseer feedback van het team

Tijdens een kort wekelijks overleg bespreekt het team een geslaagd voorbeeld en een resultaat dat correctie vroeg. Medewerkers leggen uit wat hielp en wat extra controle vergde. Bruikbare instructies worden bewaard; opdrachten die telkens dubbelzinnige antwoorden opleveren, worden aangepast of geschrapt.

De CCBE-gids over generatieve AI biedt een professioneel referentiepunt voor verder onderzoek van toepassingen. Ook het regelgevend kader moet volgens de rol van het kantoor, de tool en het doel worden beoordeeld. Een interne proef maakt die vragen niet overbodig.

Beslis op basis van waarnemingen

Na een maand kan het kantoor een specifieke taak toestaan, de proef verlengen of stoppen. Een uitgever zoals Mashaah LLC kan concrete feedback over AILawyer krijgen: een moeilijk vindbare bron, te lange uitleg of een nuttige functie. Zo sluit productontwikkeling aan bij echte behoeften. Succes betekent beter uitgevoerd werk, niet zoveel mogelijk gegenereerde antwoorden.