Een fiscalist krijgt in een AI-antwoord een zin uit een dossier dat volgens de taakverdeling bij een ander team hoort. Misschien mocht het account dat dossier al openen. Misschien kwam de zin uit een gedeelde kopie. Met een fictief dossier kunt u het verschil onderzoeken voordat medewerkers met echte stukken gaan werken.

Schrijf op wie het dossier mag zien

Maak in een afgesproken testomgeving één fictief overdrachtsdossier. Zet er een herkenbare, verzonnen zin in, bijvoorbeeld ‘De gele waterkan staat op plank zeven’. Neem de zin niet op in de zoekvraag. Vindt u die zin letterlijk terug? Dan kunt u nagaan uit welk stuk die komt.

Geef testaccount A de rol van behandelaar. Testaccount B krijgt die rol niet. Schrijf vooraf op wat u verwacht. A mag het dossier rechtstreeks openen en de zoekfunctie mag er informatie uit halen. B mag het dossier niet openen en hoort er ook geen titel of fragment van terug te zien in de AI-zoekfunctie. Controleer met de beheerder welke bron en identiteit de zoekfunctie gebruikt. Leg vast welke instellingen u in de test beoordeelt.

Verwachte uitkomst voor twee testroutes: de behandelaar mag het dossier openen en vinden, de andere medewerker mag geen van beide
Dit zijn de verwachtingen vóór de proef. Leg de waarnemingen apart vast.

Vergelijk de twee routes

Laat beide accounts het dossier rechtstreeks proberen te openen. Vraag daarna met elk account: ‘Welk voorwerp staat volgens het fictieve overdrachtsdossier op plank zeven?’ Laat A eerst aantonen dat de zoekfunctie het testdossier überhaupt kan vinden. Als A het document kan openen maar de zoekfunctie geen bruikbaar resultaat geeft, zegt een leeg resultaat bij B weinig over de toegangsgrens.

Kan B het dossier rechtstreeks openen? Laat de beheerder de rechten op de bron controleren. Microsoft beschrijft bijvoorbeeld dat Microsoft Copilot binnen de beschreven Microsoft 365-omgeving bestaande toegangscontroles volgt. Een passage die een collega via Copilot terugvindt, kan dus wijzen op een dossier dat al te ruim gedeeld was. Het toegangsmodel van een andere assistent moet u afzonderlijk controleren.

Kan B het dossier niet openen, maar verschijnt de verzonnen zin wel in het antwoord? Bewaar de waarneming en laat de beheerder de bron vaststellen. Controleer of het antwoord naar het dossier, een toegankelijke kopie of een andere bron verwijst. Een antwoord zonder de herkenbare zin of een controleerbare bron geeft op zichzelf geen bewijs dat de assistent het dossier heeft gelezen.


Herhaal dezelfde proef na een wijziging

Trek in de test de dossierrol van A in en noteer het tijdstip. Probeer opnieuw rechtstreeks te openen en herhaal de zoekvraag in een nieuw gesprek. Daarmee houdt u een eerder AI-antwoord buiten de nieuwe zoekproef. Houd rekening met eventuele verwerkingstijd die de leverancier voor de gekozen omgeving documenteert. Een antwoord dat vóór het intrekken is opgeslagen, beoordeelt u als een afzonderlijke kopie op zijn eigen opslagplek.

Geef de beheerder bij een afwijking het testaccount, het tijdstip, de verwachte rechten en de letterlijke waarneming. Beschrijf ook welke bron u kon vaststellen. Zo kan iemand anders dezelfde proef herhalen. De EDPB-gids plaatst toegang op basis van noodzaak in het bredere beveiligingsbeleid. Uw testverslag legt vast wat deze twee accounts op deze twee routes konden zien. Voor de bredere keuze wie toegang krijgt en wie die kan intrekken, zie datasoevereiniteit voor fiscalisten.

Bronnen

Coverfoto van Nastuh Abootalebi op Unsplash. Illustratie van FactBase.