1. Algoritmes en machine learning
Voor de toepassing van de privacyregels op het gebruik van
algoritmes is het van belang om een aantal begrippen nader toe
te lichten. In dit artikel gaan we uit van complexe algoritmes die
vandaag de dag gebruikt worden om bepaalde risico’s in te
schatten of voorspellingen te doen. Dergelijke algoritmes
hebben met elkaar gemeen dat zij een zelflerend vermogen
hebben. Dit wordt aangeduid als machine learning. Algoritmes
leren op verschillende manieren.
Een van de meest gebruikte varianten wordt aangeduid als
supervised learning. Hierbij wordt het systeem getraind door
middel van analyses waarvan het al weet wat de juiste uitkomst
is. Het algoritme leert door de analyse van bepaalde data hoe
bepaalde relaties of functies herkend kunnen worden. Een
voorbeeld van een model dat door supervised learning ontwikkeld
kan worden, is een algoritme dat als functie heeft frauduleuze transacties te herkennen. Het
algoritme krijgt historische transactiedata te zien, waarbij de frauduleuze transacties als
zodanig zijn aangeduid (gelabeld). Het algoritme leert zodoende verdachte transacties te
herkennen in toekomstige data.
Een ander veel gebruikt type algoritme maakt gebruik van een machine learning methode die
aangeduid wordt als unsupervised learning. Hierbij analyseert het algoritme data waaraan geen
labels zijn gekoppeld. Het algoritme gaat zelf op zoek naar bepaalde verbanden in de data.
Een voorbeeld van algoritmes die op deze manier werken zijn modellen die gebruikt worden
om koopgedrag van consumenten te voorspellen (kopers van product x zijn geneigd om ook
product y te kopen). Ook bestaan er bijvoorbeeld modellen die muzieksmaken voorspellen.
Voor beide typen algoritmes geldt dat bij complexe toepassingen, bijvoorbeeld voor het
analyseren van muzieksmaken of het herkennen van afbeeldingen, gebruik gemaakt wordt
van een techniek die aangeduid wordt als deep learning. Deep learning maakt gebruik van
‘neurale netwerken’. Dat zijn netwerken die bestaan uit verschillende lagen van neuronen die
allemaal onderling samenwerken en worden gebruikt om bijvoorbeeld een afbeelding of een
woord te herkennen. Elke neuron reageert in zekere mate op bepaalde input en elke laag van
een neuron bouwt voort op de input van de vorige laag. Hierdoor kunnen diepere lagen steeds
complexere taken volbrengen. Deze techniek is vergelijkbaar met hoe neurale netwerken in
onze hersenen werken.
Bij een neuraal netwerk dat gebruikt wordt om afbeeldingen van bepaalde dieren te herkennen
kunnen bijvoorbeeld de neuronen in de eerste laag gebruikt worden om verschillen
tussen donkere en lichte pixels op te merken. Op deze manier kunnen de randen van objecten
geïdentificeerd worden. De tweede laag herkent bepaalde rangschikkingen van randen
(bijvoorbeeld een hoek of cirkel). Vervolgens zoekt een derde laag bepaalde combinaties van
motieven (bijvoorbeeld bepaalde vormen die op een dier lijken). Een vierde laag ziet op basis
van de informatie van de lagen daarvoor een dier met 4 poten, totdat uiteindelijk de vijfde
laag de afbeelding kwalificeert als een afbeelding van een hond. Het algoritme kan getraind
worden door het een grote hoeveelheid gelabelde data te laten evalueren (dus via supervised
learning). In dit geval zijn het foto’s die aangemerkt worden als een bepaalde diersoort
(bijvoorbeeld een hond of een kat). Door heel veel afbeeldingen te analyseren, leert het
algoritme welke kenmerken (dus welke neuronen in welke lagen) belangrijk zijn om een
bepaald dier te herkennen. Vervolgens kan het algoritme deze kennis toepassen om dieren op
nieuwe afbeeldingen te herkennen. Moderne neurale netwerken om afbeeldingen te herkennen
bestaan uit tientallen lagen van vele duizenden neuronen.
Op welke manier een algoritme precies werkt, dus hoe het algoritme de verschillende
kenmerken in de verschillende lagen evalueert en weegt, is zeer complex en daardoor
moeilijk te begrijpen. Bij een programma dat gebruikt wordt om dieren te herkennen zal dit
in de regel niet zo’n probleem zijn. In dit artikel zullen wij echter ingaan op de uitdagingen
die het gebruik van dergelijke algoritmes met zich meebrengen als het gaat om toepassingen
van algoritmes om bepaalde processen binnen bedrijven te ondersteunen of, in toenemende
mate, te vervangen. Denk hierbij aan het selecteren van geschikte kandidaten gedurende een
sollicitatieproces, het herkennen van verdachte betaaltransacties, of de vraag of iemand in
aanmerking komt voor een lening, en zo ja, tegen welke
voorwaarden.
2. Kernverplichtingen onder de AVG
2.1 Inleiding en handhaving
De AVG is momenteel twee jaar van kracht. Een belangrijke
nieuwe verplichting onder de AVG is de verantwoordingsplicht,
oftewel accountability. Organisaties die
persoonsgegevens verwerken, moeten proactief kunnen
aantonen dat zij voldoen aan de verplichtingen die op
grond van de AVG voor hen gelden. De AVG bevat
meerdere maatregelen die voortvloeien uit deze
verantwoordingsplicht. Zo moet een verwerkingsregister
worden bijgehouden.3 Een gegevensbeschermingseffectbeoordeling,
beter bekend als data protection impact
assessment (DPIA), moet vooraf worden uitgevoerd ingeval
van gegevensverwerkingen met een hoog privacyrisico.4
Daarnaast moeten datalekken met een bepaalde ernst tijdig aan de AP en betrokkenen (dit
zijn de individuen over wie de gelekte persoonsgegevens informatie bevatten) worden
gemeld.5
Bedrijven die niet aan deze, en andere, verplichtingen voldoen riskeren hoge boetes. De AP
kan een maximale boete opleggen van € 10 miljoen euro of 2% van de wereldwijde jaaromzet
(indien dat laatste hoger is) voor schending van de, voornamelijk procedurele, verplichtingen
die gelden op grond van de AVG.6 Daarnaast kan de AP een maximale boete van € 20 miljoen
of 4% van de wereldwijde jaaromzet (indien dat laatste hoger is) opleggen voor schending van
de basisbeginselen en principes van de AVG, alsook voor het niet opvolgen van haar bevelen.7
In maart 2019 publiceerde de AP haar nieuwe boetebeleidsregels waarin zij uitlegt hoe boetes
op grond van de AVG worden vastgesteld. Hoewel de hoogste boete beschreven in het boetebeleid
(€ 1 miljoen) significant lager is dan de maximale boete die op grond van de AVG kan
worden opgelegd, geeft de AP in de boetebeleidsregels ook aan dat zij van de maximale boetes
beschreven in het beleid kan afwijken. Tot op heden heeft de AP nog geen gebruik gemaakt
van deze bevoegdheid. Wel heeft zij inmiddels een aantal keer conform de boetebeleidsregels
gehandhaafd. Het is de verwachting dat de AP deze trend zal voortzetten.
2.2 Transparantie
Een belangrijke verplichting onder de AVG is dat gegevensverwerking transparant moet zijn.8
Concreet betekent dit dat organisaties die persoonsgegevens verwerken aan de betrokkenen
afdoende en begrijpelijke informatie moeten verstrekken over de gegevensverwerking. Zo
dienen de betrokkenen te worden geïnformeerd over de identiteit en de contactgegevens van
de verwerkingsverantwoordelijke, de verwerkingsdoeleinden waarvoor de persoonsgegevens
zijn bestemd, de rechtsgrond voor de verwerking en, indien van toepassing, de ontvangers of
categorieën van ontvangers van de persoonsgegevens. Daarnaast moeten de betrokkenen
worden geïnformeerd over de rechten die zij op grond van de AVG kunnen uitoefenen, zoals
het recht van inzage en het recht om een klacht in te dienen bij de AP. In de praktijk verstrekken
organisaties deze, en overige vereiste informatie, aan de betrokkenen door middel van
een privacyverklaring/-mededeling die zij in principe voorafgaand aan de verwerking met de
betrokkenen delen. Ook gedurende de verwerking van persoonsgegevens blijft het transparantiebeginsel
van belang, bijvoorbeeld wanneer de organisatie met betrokkenen over hun
rechten communiceert of wanneer sprake is
van een wezenlijke verandering in de
verweking van de persoonsgegevens.
De ratio van het transparantiebeginsel is dat
betrokkenen vertrouwen moeten hebben in
de processen die hen raken, deze processen
moeten kunnen begrijpen, en waar nodig,
daartegen bezwaar moeten kunnen maken.9
Dit geldt ook indien organisaties gebruik
maken van complexe algoritmes. De voorzitter
van de AP, Aleid Wolfsen, zegt hier
bijvoorbeeld het volgende over: ‘Het inzetten
van algoritmes biedt veel kansen, maar er
kleven ook serieuze risico’s aan. In een
democratische rechtsstaat heb je bijvoorbeeld
recht op een begrijpelijke motivering voor
een voor jou nadelige beslissing. Anders kun
je je niet verdedigen en kan een rechter dat
niet toetsen. Daarom is transparantie zo
cruciaal.’10 Wij zullen hier bij de behandeling
van een praktijkvoorbeeld nader op ingaan.
2.3 Doelbinding, minimale gegevensverwerking
en rechtmatigheid
Op grond van de AVG mogen persoonsgegevens
alleen voor welbepaalde, uitdrukkelijk
omschreven en gerechtvaardigde doeleinden
worden verzameld en vervolgens alleen verder worden verwerkt op een wijze die met die
doeleinden verenigbaar is. Uit het beginsel van minimale gegevensverwerking volgt daarnaast
dat de gegevens toereikend moeten zijn, ter zake dienend en beperkt tot wat noodzakelijk is
voor de doeleinden waarvoor zij worden verwerkt.11 Met andere woorden: organisaties moeten
voorafgaand aan elke verwerking inkaderen voor welke doeleinden de gegevens nodig zijn,
vervolgens slechts die gegevens verwerken die voor die doeleinden noodzakelijk zijn en deze
gegevens uitsluitend voor deze, en verenigbare, doeleinden verwerken. Een voorbeeld: een
sollicitant voor een positie bij een marketingbedrijf zal het marketingbedrijf zijn of haar
contactgegevens verstrekken, zodat hij of zij geïnformeerd kan worden over de uitslag van de
sollicitatieprocedure. Hiervoor is het voldoende, en daarom vereist, om slechts het telefoonnummer
en eventueel het e-mailadres van de sollicitant te noteren. Het marketingbureau
mag de contactgegevens vervolgens niet gebruiken voor andere doeleinden die onverenigbaar
zijn met het afhandelen van de sollicitatie, bijvoorbeeld om de sollicitant te informeren over
promoties, tenzij de sollicitant hiervoor toestemming heeft verleend.
Daarnaast schrijft de AVG voor dat het verwerkingsdoel rechtmatig is. Hiervoor is vereist dat
de gegevensverwerking kan worden gerechtvaardigd op grond van één van de zes rechtsgronden
die limitatief in de AVG zijn opgenomen, waaronder toestemming, uitvoering van een
overeenkomst en gerechtvaardigde belangen die zwaarder wegen dan de belangen, grondrechten
en fundamentele vrijheden van de betrokkene.12 Voor het verwerken van zogenaamde
‘bijzondere categorieën van persoonsgegevens’, zoals ras of etnische afkomst en gegevens over
gezondheid, gelden aanvullende vereisten omdat deze gevoelige gegevens meer bescherming
vereisen.13 In het voorbeeld van het marketingbedrijf zal het bewaren van de contactgegevens
worden gerechtvaardigd door de rechtsgrond uitvoering van een overeenkomst. Het zou voor
de hand liggen om een beroep te doen op toestemming, maar dit is in een arbeidsverhouding
in de regel moeilijk te rechtvaardigen omdat tussen de werknemer of de sollicitant en de
(potentiële) werkgever een ongelijkwaardige relatie bestaat. Toestemming kwalificeert daarom
doorgaans niet als ‘vrijelijk gegeven’, hetgeen op grond van de AVG vereist is.14
2.4 Overige kernverplichtingen
De AVG bevat nog meer kernverplichtingen. Zo moeten organisaties passende technische en
organisatorische beveiligingsmaatregelen treffen om persoonsgegevens te beschermen
(bijvoorbeeld door middel van pseudonimisering of versleuteling van persoonsgegevens). Ook
moeten persoonsgegevens juist zijn en, indien nodig, worden geactualiseerd. Ten slotte
moeten persoonsgegevens in een vorm worden bewaard die het mogelijk maakt de betrokkenen
niet langer te identificeren dan voor de doeleinden waarvoor de persoonsgegevens
worden verwerkt noodzakelijk is.15 Dit laatste vereiste betekent bijvoorbeeld dat de contactgegevens
van een sollicitant na afloop van een onsuccesvolle procedure in principe binnen 4
weken moeten worden verwijderd.16
3. Profilering en geautomatiseerde
besluitvorming
Naast de hiervoor besproken kernverplichtingen, bevat
de AVG verschillende aanvullende verplichtingen. Zo
mogen persoonsgegevens in principe niet gedeeld
worden met partijen die zich buiten de Europese Unie
bevinden, zonder dat daarvoor aanvullende maatregelen
worden getroffen (zoals het aangaan van bepaalde
voorgeschreven contractuele verplichtingen), tenzij deze
partijen in een land gevestigd zijn waarin de wetgeving
volgens de Europese Commissie een adequaat beschermingsniveau
biedt.17
De verplichtingen die met name een rol spelen bij de
inzet van algoritmes die gebruik maken van persoonsgegevens
zien op het gebruik van profilering en/of
geautomatiseerde besluitvorming. Wij zullen hieronder
nader ingaan op deze begrippen, en de hiermee samenhangende verplichtingen onder de AVG.
3.1 Profilering
De AVG definieert profilering als volgt: ‘elke vorm van geautomatiseerde verwerking van
persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten
van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties,
economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid,
gedrag, locatie of verplaatsingen te analyseren of te voorspellen’.18
Profilering bestaat zodoende uit drie elementen:
• een geautomatiseerde vorm van verwerking;
• betrekking hebbend op persoonsgegevens; en
• met als doel het evalueren van persoonlijke aspecten van een natuurlijk persoon.
Volgens de Article 29 Data Protection Working Party (thans de European Data Protection Board), het
overkoepelende Europese adviesorgaan bestaande uit de lokale toezichthouders, waaronder
de AP, leidt een eenvoudige indeling van personen op grond van kenmerken zoals leeftijd en
geslacht niet noodzakelijkerwijs tot profilering. Van profilering is alleen sprake als het doel
van de indeling de evaluatie van de persoonlijke aspecten is. Aangezien het gaat om ‘elke
vorm’ van geautomatiseerde verwerking, is nog steeds sprake van profilering indien besluiten
niet uitsluitend automatisch worden genomen, maar daarbij sprake is van enige vorm van
menselijke tussenkomst.19
Profilering kan grofweg in drie gradaties voorkomen. Bij de minst vergaande variant is slechts
sprake van een geautomatiseerde vorm van verwerking van persoonsgegevens met als doel het
evalueren van persoonlijke aspecten van een natuurlijk persoon. Profilering gaat nog een stap
verder wanneer de persoonlijke aspecten vervolgens leiden tot besluitvorming. Ten slotte kan
sprake zijn van uitsluitend geautomatiseerde besluitvorming.20 Het verschil tussen de tweede
en derde variant is dat bij de tweede variant een besluit op basis van de profilering door
(noemenswaardige) menselijke tussenkomst tot stand komt. In paragraaf 3.2 gaan wij nader in
op geautomatiseerde besluitvorming, de meest vergaande vorm van profilering.
Profilering, zonder dat sprake is van geautomatiseerde besluitvorming, vindt bijvoorbeeld
plaats bij direct-marketing. Zo komt het voor dat online profielen worden gemaakt van betrokkenen
op grond van hun surfgedrag om hen gepersonaliseerde advertenties aan te kunnen
bieden. Voor het gebruik van profilering geldt dat de betrokkene altijd moet worden geïnformeerd
dat daarvan sprake is en welke gevolgen dit voor de betrokkene heeft.21 Indien profilering
wordt gebruikt voor direct marketing doeleinden, dan heeft de betrokkene bovendien altijd
het recht daartegen kosteloos bezwaar te maken. Ook moet de betrokkene op overzichtelijke
wijze worden geïnformeerd over dit recht, bijvoorbeeld door middel van een nieuwsbrief.22
3.2 Geautomatiseerde besluitvorming
Op grond van de AVG hebben betrokkenen
het recht om niet te worden onderworpen
aan een besluit, uitsluitend gebaseerd op
geautomatiseerde verwerking, waaronder
profilering, waaraan voor hem rechtsgevolgen
zijn verbonden (zoals het verhogen van een
verzekeringspremie) of hem op een ander
wijze in aanmerkelijke mate treft (bijvoorbeeld
wanneer de betrokkene geconfronteerd
wordt met hogere verkoopprijzen).23 Het is
niet vereist dat de betrokkene een beroep doet
op dit recht. Het verbod geldt onverminderd.24
Geautomatiseerde besluitvorming kan het
resultaat zijn van profilering, maar dit is niet
noodzakelijkerwijs het geval. Van geautomatiseerde
besluitvorming zal alleen sprake zijn
indien besluiten worden genomen door
technische middelen, zonder dat sprake is
van enige wezenlijke menselijke tussenkomst.
25.
Kredietverstrekkers kunnen bijvoorbeeld gebruik maken van een algoritme dat op basis van
deep learning, door middel van gegevens die over een grote groep bestaande klanten is
verzameld, getraind is om de kredietwaardigheid van nieuwe klanten te beoordelen. Indien
het algoritme klanten als minder kredietwaardig kwalificeert, en het systeem zodanig is
ingesteld dat deze klanten automatisch een afwijzing ontvangen, dan kwalificeert dit als
geautomatiseerde besluitvorming. Een dergelijke handelswijze is op grond van de AVG
verboden, tenzij een beroep op één van de uitzonderingsgronden zoals hieronder beschreven
kan worden gedaan. In dit geval is immers geen sprake van een menselijke tussenkomst,
terwijl dit, gelet op de aanzienlijke gevolgen voor de klant (een afwijzing) wel gewenst is. Er
bestaat een mogelijkheid dat het algoritme de kredietwaardigheid van de klant ten onrechte
als laag kwalificeert. Dit probleem kan ondervangen worden door het algoritme als hulpmiddel
te gebruiken bij de uiteindelijke beoordeling die door een bankmedewerker wordt
gemaakt.
Op de algemene regel dat geen sprake kan zijn van geautomatiseerde besluitvorming gelden
een aantal uitzonderingen. Geautomatiseerde besluitvorming is wel mogelijk indien het
besluit:
• noodzakelijk is voor de totstandkoming of de uitvoering van een overeenkomst tussen de
betrokkene en een verwerkingsverantwoordelijke;
• berust op de uitdrukkelijke toestemming van de betrokkene; of
• is toegestaan bij een Unierechtelijke of lidstaatrechtelijke bepaling die op de verwerkingsverantwoordelijke
van toepassing is en die ook voorziet in passende maatregelen ter
bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene
(bijvoorbeeld ten behoeve van de controle en voorkoming van belastingfraude en
-ontduiking).26
Indien een beroep kan worden gedaan op een van de uitzonderingsgronden, dan is geautomatiseerde
besluitvorming toegestaan. Een voorbeeld waarbij geautomatiseerde besluitvorming is
toegestaan op basis van deze uitzonderingen is wanneer een financiële instelling betaaltransacties
analyseert via een algoritme om zo frauduleuze transacties op te sporen of te voorkomen.
In het geval de uitzonderingen van toepassing zijn dienen wel aanvullende waarborgen
te worden ingebouwd. Zo hebben betrokkenen het recht op menselijke tussenkomst, het recht
om hun standpunt kenbaar te maken en het recht om het besluit aan te vechten.27 Daarnaast
moeten de betrokkenen geïnformeerd worden dat zij onderworpen zijn aan geautomatiseerde
besluitvorming en daarbij nuttige informatie ontvangen over de onderliggende logica, alsmede
het belang en de verwachte gevolgen van die verwerking voor de betrokkene.28
4. Problematiek voor de praktijk
4.1 Inleiding
Het moge duidelijk zijn dat de concepten profilering en geautomatiseerde besluitvorming
voor het gebruik van complexe algoritmes tot de nodige privacyrechtelijke complicaties leidt.
Het uitvoeren van een DPIA is noodzakelijk om deze complicaties op een juiste manier te
adresseren. Kortgezegd is een DPIA een
proces waarbij de verwerking van persoonsgegevens,
de noodzaak en de evenredigheid
daarvan worden beschreven, alsmede de
daaraan verbonden privacyrisico’s voor de
betrokkenen worden beoordeeld.29 Het
gebruik van een DPIA is verplicht indien
sprake is van ‘een systematische en uitgebreide
beoordeling van persoonlijke aspecten van
natuurlijke personen, die is gebaseerd op
geautomatiseerde verwerking, waaronder
profilering, en waarop besluiten worden
gebaseerd waaraan voor de natuurlijke
persoon rechtsgevolgen zijn verbonden of die
de natuurlijke persoon op vergelijkbare wijze
wezenlijk treffen’.30 Voordat door organisaties
gebruik kan worden gemaakt van complexe
algoritmes zal daarom in bijna alle gevallen
een DPIA moeten worden uitgevoerd.31
Het gebruik van complexe algoritmes levert in de praktijk ook andere problemen op. Het
eerste probleem treedt op bij het verzamelen van de gegevens. Gegevens worden doorgaans uit
allerhande databases gehaald. De gegevens die in deze databases zijn opgeslagen zijn echter
doorgaans niet verzameld met het doel gecombineerd te worden met andere gegevens en
vervolgens door een algoritme te worden gebruikt voor het maken van een profiel. Het is zeer
waarschijnlijk dat de verdere verwerking van deze gegevens door middel van de algoritmes
niet verenigbaar is met dit oorspronkelijk doel, hetgeen in strijd is met een van de kernbeginselen
van de AVG. Ook kan het voorkomen dat de gebruikte gegevens niet meer actueel zijn
en, zelfs al zijn de gegevens juist, dan nog kunnen algoritmes ten onrechte bevooroordeeld en
discriminerend zijn. Hier zullen wij in het praktijkvoorbeeld nader op ingaan. Bovendien kan
het beginsel van minimale gegevensverwerking in het gedrang komen bij het gebruik van AI
en algoritmes. Waar de AVG organisaties dwingt om zo min mogelijk gegevens te verwerken,
is het voor de effectiviteit van AI en algoritmes van belang om zo veel mogelijk gegevens te
verzamelen en te gebruiken.
Daarnaast moeten organisaties ervoor zorgen dat betrokkenen de rechten die zij op grond van
de AVG bezitten adequaat kunnen uitoefenen. Om aan het recht van inzage te kunnen
voldoen, kunnen organisaties bijvoorbeeld mechanismes inbouwen die betrokkenen in staat
stelt hun profiel in te zien, alsmede de gegevens die daartoe hebben bijgedragen.32
Ook is het doorgaans lastig om te voldoen aan het transparantiebeginsel. Databases bevatten
vaak een veelvoud aan gegevens en het algoritme, zeker als het gebruikt maakt van deep
learning, filtert, analyseert, en weegt deze gegevens op een zeer complexe manier om hier
vervolgens een bepaalde conclusie aan te verbinden. Het is voor de gemiddelde gebruiker van
algoritmes (zoals de HR afdeling in het voorbeeld hieronder), laat staan voor de persoon wiens
gegevens geanalyseerd worden, daarom vaak volkomen onduidelijk welke gegevens in welke
mate bijdragen aan de uiteindelijke uitkomst. Op basis van de AVG is het echter wel vereist
om personen voorafgaand aan de analyse van hun gegevens duidelijk te informeren over de
werking van het algoritme, of in andere woorden, op welke manier de profilering tot stand
komt. Op basis van de AVG dienen betrokken een duidelijke, begrijpelijke en niet al te
technische uitleg te krijgen over de werking van de complexe algoritmes. Hierbij kan
eventueel gebruik worden gemaakt van visualisatie- en interactieve technieken, aldus de
Article 29 Data Protection Working Party.33 In de praktijk blijkt dit doorgaans lastig te zijn.
Momenteel volstaan financiële instellingen in hun privacystatement bijvoorbeeld met de
mededeling dat verdachte betaaltransacties geautomatiseerd worden tegengehouden en dat
het besluit of een lening wordt verleend op geautomatiseerde wijze tot stand komt, mits de
klant daarmee instemt. Op welke manier de beslissing tot stand komt (dus welke factoren er
op welke manier worden meegewogen) wordt niet uitgelegd.
Om de verschillende privacyrechtelijke complicaties nader te illustreren, bespreken wij
hieronder kort een praktijkvoorbeeld.
4.2 Praktijkvoorbeeld: sollicitatie-tool
Een HR-afdeling van een bedrijf gebruikt een algoritme dat door middel van deep learning is
getraind om voor bepaalde functies succesvolle kandidaten te herkennen op basis van het CV
van de betreffende kandidaat.
Om een dergelijk algoritme te trainen dient het systeem CV’s en profielen van duizenden
werknemers voor vergelijkbare functies te analyseren, waarbij voor elk CV wordt aangegeven
of het een succesvolle of minder succesvolle werknemer betreft. Op deze manier kan het
algoritme afleiden welke kenmerken iemand tot een succesvol werknemer maakt. Zodra het
algoritme voldoende getraind is, hetgeen getest kan worden door de CV’s van succesvolle en
minder succesvolle werknemers te laten beoordelen, kan het systeem in gebruik worden
genomen. Het systeem kan op drie verschillende manieren worden geconfigureerd.
Ten eerste kan het algoritme een score aan
(het CV van) een kandidaat toekennen,
waarbij het algoritme tevens een samenvatting
van de belangrijkste aspecten uit het CV
geeft (zoals de opleiding en relevante (werk)
ervaringen van de kandidaat). In dit geval is
(alleen) sprake van profilering onder de AVG
en niet van geautomatiseerde besluitvorming.
Op grond van de AVG zal de kandidaat
over de profilering geïnformeerd moeten worden voordat de analyse van zijn of haar CV
plaatsvindt.
Het systeem kan ook zo worden ingesteld dat het uitsluitend de score doorgeeft met betrekking
tot een kandidaat (dus zonder relevante nadere informatie met betrekking tot de
kandidaat). Of in dit geval sprake is van alleen profilering of geautomatiseerde besluitvorming
hangt af van de context. Op het moment dat de HR-afdeling de score als een hulpmiddel
gebruikt, en zelf ook de CV’s van kandidaten doorneemt, is het gebruik daarvan naar onze
mening aan te merken als profilering. Op het moment dat de score als enige middel gebruikt
wordt om kandidaten uit te nodigen voor een gesprek, dan is sprake van geautomatiseerde
besluitvorming.
In het derde scenario wordt het systeem zo ingesteld dat de kandidaten met de hoogste scores
automatisch worden uitgenodigd voor een sollicitatiegesprek en de minder goede kandidaten
ontvangen automatisch een afwijzingsbrief. In dit geval wordt aan de score geen automatisch
rechtsgevolg (er bestond immers nog geen overeenkomst tussen de kandidaat en het bedrijf),
maar wel een gevolg met een significant effect verbonden. Dit betekent dat sprake is van
geautomatiseerde besluitvorming zoals gedefinieerd in de AVG. Zoals hierboven toegelicht is
geautomatiseerde besluitvorming niet toegestaan, tenzij een beroep kan worden gedaan op
één van de uitzonderingsgronden. In dit geval zijn deze uitzonderingsgronden echter niet
van toepassing: de geautomatiseerde besluitvorming is immers niet noodzakelijk voor de
totstandkoming van de arbeidsovereenkomst en het is in een arbeidsverhouding problematisch
om een beroep te doen op (uitdrukkelijke) toestemming. Het is daarom onwaarschijnlijk
dat een dergelijk systeem in overeenstemming met de AVG kan worden ingezet.
Afbeelding 1 Gebruik van algoritme bij sollicitaties
In elk van de voorbeelden is de HR-afdeling op grond van de AVG verplicht om de kandidaat
inzage te geven in de besluitvorming en tevens uit te leggen hoe het algoritme tot haar score
komt. Op het moment dat het algoritme via deep learning is getraind, is het waarschijnlijk
onduidelijk welke onderdelen van het CV tot de uiteindelijke beslissing hebben geleid. Het
algoritme zal beoordelen welke overeenkomsten bestaan tussen de huidige en voormalige
werknemers en op grond daarvan beslissen welke aspecten van belang zijn.
Ook kan het systeem bevooroordeeld zijn (bias). In het geval de testdata bijvoorbeeld is
gebaseerd op een werkpopulatie met meer succesvolle mannen dan vrouwen, dan zal het
algoritme het geslacht wellicht opvatten als een relevante factor en besluiten dat mannelijke
kandidaten een hoge score verdienen. Doordat de mannelijke kandidaten naar verhouding
een hogere score zullen krijgen dan de vrouwelijke kandidaten, zal de HR-afdeling onbewust
geneigd kunnen zijn om mannelijke kandidaten te verkiezen boven vrouwelijke kandidaten.
Het algoritme zal vervolgens bevestigd worden in zijn conclusie: mannelijke kandidaten zijn
geschikter voor de functie. Het algoritme zal hierdoor aan mannelijke kandidaten hogere
scores toe blijven kennen. Zodra een dergelijke, niet-relevante, eigenschap in de beoordeling
wordt meegenomen, dan kan dit tot ongewenste uitkomsten leiden. Dit is uiteraard niet
problematisch wanneer een bepaalde eigenschap daadwerkelijk relevant is voor de desbetreffende
functie. Ook moet worden opgemerkt dat, in tegenstelling tot ons voorbeeld, het algoritme
in de praktijk meerdere criteria in overweging neemt, waarbij het bovendien onduidelijk
is welke dit zijn en hoe zij tegen elkaar worden afgewogen. Zo kan het algoritme de score
bijvoorbeeld berekenen op grond van het lidmaatschap van een bepaalde studentenverenging,
postcode (een dergelijke, ogenschijnlijk neutrale, factor kan overigens ook tot indirecte
discriminatie leiden, bijvoorbeeld wanneer aan klanten in een bepaald postcodegebied geen
hypotheek wordt verleend), leeftijd en werkhistorie.34 Kortom: hoe meer aannames het algoritme
maakt, hoe onduidelijker de besluitvorming wordt en hoe lastiger het is om te voldoen
aan de wettelijke verplichtingen.
5. Conclusies en aanbevelingen
Het gebruik van complexe algoritmes in verschillende bedrijfsprocessen waarbij persoonsgegevens
gebruikt worden is de afgelopen 10 jaar sterk toegenomen. Onder de AVG is het
gebruik van dergelijke systemen streng gereguleerd. Het is niet altijd eenvoudig voor bedrijven
deze regels na te leven. Zo kunnen voor het gebruik van algoritmes gegevens worden
gebruikt die voor een ander, niet verenigbaar, doel zijn verzameld. Ook is het zeer lastig om
op een eenvoudige, begrijpbare manier te beschrijven hoe het algoritme tot een bepaalde
conclusie komt, hetgeen vereist is onder de AVG. Het is dan ook van belang dat organisaties
zich van deze risico’s bewust zijn en afdoende waarborgen inbouwen om de impact op de
betrokkenen zo klein mogelijk te houden.
Daarbij kan onder andere aan het volgende worden gedacht:
• Bedenk welke soorten persoonsgegevens voor het gebruik van het complexe algoritme
noodzakelijk zijn, verzamel uitsluitend die persoonsgegevens en zorg ervoor dat zij
actueel zijn.
• Bedenk voor welk doeleinde/welke doeleinden de persoonsgegevens noodzakelijk zijn en
formuleer ten aanzien van elke gegevensverwerking de geschikte verwerkingsgrond.
• Bedenk of sprake is van profilering (hier zal in de regel sprake van zijn) en welke gevolgen
dit voor de betrokkene heeft.
• Maak slechts gebruik van geautomatiseerde besluitvorming indien een beroep kan
worden gedaan op één van de uitzonderingsgronden in de AVG en zorg ervoor dat de
betrokkene recht heeft op menselijke tussenkomst, zijn of haar standpunt kenbaar kan
maken en het besluit kan aanvechten. Informeer de betrokkene daarnaast dat hij of zij
onderworpen is aan geautomatiseerde besluitvorming en geef daarbij nuttige informatie
over de onderliggende logica, alsmede het belang en de verwachte gevolgen van die
verwerking voor de betrokkene.
• Informeer de betrokkene op een duidelijke, begrijpelijke en niet al te technische manier
over de werking van het complexe algoritme, eventueel door middel van visualisatie- en
interactieve technieken.
• Indien geen beroep kan worden gedaan op één van de uitzonderingsgronden ten aanzien
van het gebruik van geautomatiseerde besluitvorming, zorg dan voor een besluitvormingsproces
waarbij sprake is van wezenlijke menselijke tussenkomst, bijvoorbeeld door
het algoritme slechts een factor in de besluitvorming te laten zijn.
• Stel een privacyverklaring/-mededeling op waarin onder andere de bovenstaande aspecten
aan de orde komen en wijzig deze indien een wezenlijke verandering plaatsvindt in de
gegevensverweking.
• Voer, waar nodig, een DPIA uit.
Het naleven van de vereisten van de AVG is
temeer van belang nu de AP heeft aangegeven
momenteel te werken aan een stelsel van
toezicht, specifiek met betrekking tot het
gebruik van algoritmes en andere vormen
van AI. Daarbij zal in het bijzonder aandacht
worden besteed aan inzichtelijkheid en
uitlegbaarheid van geautomatiseerde
besluiten.