Vermoedelijk is er sprake van discriminatie bij de veelgebruikte surveillancesoftware Proctorio. Dat staat in een tussenuitspraak van het College voor de Rechten van de Mens. Dat oordeel is een mijlpaal, vindt het college zelf.

Inloggen while black valt niet altijd mee. Student Robin Pocornie van de Vrije Universiteit Amsterdam kon soms de online omgeving van het antispiekprogramma Proctorio niet inkomen, omdat haar gezicht niet werd herkend. Ze vermoedt dat het door haar donkere huidskleur kwam.

De software werd in de coronapandemie vaak ingezet om fraude te voorkomen. Surveillanten konden dan met studenten meekijken die thuis hun tentamen maakten. Bij de software hoort ook gezichtsdetectie en soms was het gezicht van deze student kennelijk niet vindbaar. Hierdoor werd ze ook weleens uit het tentamen gegooid met foutmeldingen als ‘face not found’ en ‘room too dark’.

Navraag

Ze diende een klacht bij haar universiteit in, maar die ontkende dat er sprake was van discriminatie. De universiteit deed ook navraag bij de leverancier en die stelde dat er niets aan de hand was. Dat zou uit een extern onderzoek blijken.

Volgens de VU is een instabiele internetverbinding een betere verklaring voor de problemen dan de huidskleur van deze student. Anderen hadden immers geen klachten in verband met hun huidskleur, en er waren wel meer studenten met inlogproblemen.

Het College voor de Rechten van de Mens gaat daar niet in mee, blijkt uit een tussenuitspraak. Het staat immers buiten kijf dat de student problemen had met inloggen. Wetenschappelijk onderzoek toont bovendien aan dat gezichtsdetectiesoftware over het algemeen slechter presteert bij personen met een donkere huidskleur.

Niet openbaar

De tegenargumenten van de universiteit wegen daar niet tegenop, vindt het college. Dat externe onderzoek dat Proctorio liet uitvoeren? Dat is nog niet openbaar. Ook heeft de universiteit bijvoorbeeld geen informatie verstrekt over de gemiddelde inlogtijd van andere studenten.

De VU krijgt nu tien weken om het vermoeden van discriminatie te weerleggen, anders valt de uitspraak in haar nadeel uit. De oordelen zijn overigens niet bindend. Ook kan het college geen boete opleggen of schadevergoeding toekennen.

‘Ik ben heel blij dat de wet aan mijn kant staat,’ zegt Pocornie in een persbericht. Ze is benieuwd hoe andere universiteiten en hogescholen zullen reageren die deze software ook hebben gebruikt.

Ook het mensenrechtencollege zelf is tevreden. ‘Dit gaat weliswaar om een tussenoordeel, maar het is toch een belangrijk moment in onze geschiedenis van oordelen’, stelt voorzitter Jacobine Geel in een nieuwsbericht op de website. ‘Het is iemand namelijk gelukt om te zeggen: “Hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert.’”