Deze column staat in Het Financieele Dagblad van 17 december 2021. Volg deze link voor mijn eerdere FD columns.
Start-up Clearview AI, met software voor gezichtsherkenning, krijgt in de EU en in Nederland alle ruimte. Deze software tast onze privacy en grondrechten aan. Het nieuwe kabinet moet de start-up aanpakken, schrijft advocaat Axel Arnbak.
Foto: Amr Alfiky/The New York Times uit het Financieele Dagblad
Met een foto en een swipe een volledig dossier van een voorbijganger op straat verkrijgen: iemands cv, de prijs van zijn woning, zijn sociale mediaprofielen en de rest. Sinds de opkomst van het wereldwijde web was het wachten op een briljante charlatan die een zoekmachine voor gezichten zou bouwen en daarmee de droom van iedere dictator, en nachtmerrie voor onze vrijheid in de publieke ruimte, zou verwezenlijken. Inmiddels is die droom werkelijkheid.
Sinds de oprichting in 2017 verkoopt de Amerikaanse start-up Clearview AI zo’n zoekmachine aan overheden wereldwijd, zodat zij een foto of stilstaand beeld uit een beveiligingscamera kunnen vergelijken met meer dan 10 miljard van het web geschraapte foto’s. Zo kunnen zij in een handomdraai een kennelijk krankzinnig accurate match en achterliggend dossier verkrijgen.
Brits toezicht
Op 4 december bracht website Politico het nieuws dat Clearview AI in de Verenigde Staten een patent heeft bemachtigd, op basis waarvan de start-up kunstmatig intelligente gezichtherkenningssoftware exclusief aan overheden én consumenten kan aanbieden. De Britse datatoezichthouder ICO denkt daar anders over.
Eind november kondigde de ICO een boete van €20 mln aan wegens evidente schendingen van de Britse evenknie van privacywet AVG. Nog belangrijker, en nauwelijks opgepikt door de media, is het daarmee gepaard gaande verwerkingsverbod: Clearview AI mag voortaan geen data van Britse ingezetenen gebruiken en moet alle data van Britten verwijderen uit de eigen database.
Te weinig, te traag
De aankondiging van de ICO zegt veel over de staat van het datatoezicht in onze informatiesamenleving van eind 2021: belangrijker dan ooit, maar nog steeds te weinig en te traag. De afgelopen decennia beloofden regeringen datatoezicht te versterken, maar ontbrak steeds de daad bij dat woord. Rutte IV belooft nu beterschap, het is ook de hoogste tijd toezicht op een gezonde informatiesamenleving kernprioriteit te maken. Continue reading 96e FD Column: Rutte IV: na woorden nu ook daden voor versterking datatoezicht→
Deze column was het weekendessay van Het Financieele Dagblad van 22 augustus 2020. Volg deze link voor mijn eerdere FD columns.
In het kort
De regering intensiveert systematisch het digitaal volgen van burgers
Hierdoor staat de vrije samenleving steeds meer op het spel
Dat vereist een rotsvaste rechtsstaat én waakzame burgers
De zomermaanden van 2020 staan niet alleen in het teken van warmterecords. Ook slaapwandelde Nederland de afgelopen weken verder richting een totale surveillancesamenleving.
Illustratie: Max Kisman voor Het Financieele Dagblad
In juni beloonde de Tweede Kamer sluwe vertragingstactieken van het kabinet. Het parlement accepteerde de reparatiewet voor de ‘sleepwet’ voor inlichtingen- en veiligheidsdiensten vrijwel onaangepast. De reparatiewet was toegezegd na het historisch verloren referendum in 2018. In juli bleek dat de Belastingdienst (in ieder geval sinds begin 2014) in het geheim miljoenen Nederlanders stelselmatig en zonder concrete aanleiding discrimineert op basis van nationaliteit. En in augustus, net toen iedereen op zomervakantie was, lanceerde het kabinet haar nieuwe corona-app, ondanks breed maatschappelijk verzet in de lente en kersverse kritiek op deze versie van privacywaakhond Autoriteit Persoonsgegevens.
Waar de overheid de waakzaamheid van burgers en toezichthouders door sluwheid, geheimhouding of zomertijd neutraliseert, staat de vrije samenleving op het spel. Gelukkig corrigeert de rechter in Nederland en Europa steeds vaker de uitvoerende en wetgevende macht, maar dat gebeurt alleen als burgers daarom vragen en vaak pas jaren later.
Maatschappelijke vrijheid staat of valt altijd al bij burgerlijke en juridische tegenmacht. Maar in jarenlange afwachting van een breed beschikbaar vaccin zal de roep om een Chinese surveillancestaat in de polder op te tuigen met corona-apps, immuniteitspaspoorten en spoedwetten stevig aanzwellen. In coronatijd zijn eeuwige waakzaamheid en een rotsvaste rechtstaat harder nodig dan ooit. Continue reading 80e FD Column: We slaapwandelen richting de surveillancestaat→
Deze column staat in Het Financieele Dagblad van 23 juli 2020. Volg deze link voor mijn eerdere FD columns.
In de wereld van intercontinentaal dataverkeer heeft de Europese Commissie (EC) al decennia patent op juridische luchtkastelen, dansen op de vulkaan en gezichtsverlies. Het Europees Hof van Justitie (EU-Hof) heeft er schoon genoeg van. Vorige week vernietigde het EU-Hof voor de tweede keer een bilaterale deal (Schrems II) voor datatransport tussen Europa en de Verenigde Staten, het zogenaamde Privacy Shield. Eind 2015 had het EU-Hof de voorloper al verpulverd (Schrems I).
Daarnaast formuleerde het EU-Hof strenge algemene criteria voor alle andere mechanismen, waaronder data-export naar alle andere landen buiten de EU. Bovendien verduidelijkte het Hof dat de datatransporterende organisaties zelf verantwoordelijk – en dus aansprakelijk – zijn wanneer een datatransport niet aan die strenge criteria voldoet.
‘De geopolitieke en economische gevolgen van de uitspraak van het EU-Hof vorige week zijn reusachtig’
Wereldwijd, ook vorige week in het FD, spreken juridische experts de hoop uit dat de EC nu eindelijk burgers en bedrijven te hulp schiet door de Amerikaanse overheid ervan te overtuigen de privacy van Europeanen te respecteren. Die ijdele hoop miskent de decennialange onmacht van de Europese Unie (EU) om ook maar iets betekenisvols af te dwingen in Washington. De Amerikaanse overheid luistert wél naar het Amerikaanse bedrijfsleven. Zonder de door het EU-Hof gevraagde verbeteringen in Amerikaanse wetgeving riskeren zij, en hun Europese zakenpartners, megaboetes en massaschadeclaims vanwege schending van Europese privacywetgeving. Niet de EC, maar het multinationale bedrijfsleven is onze enige kans op respect van de Amerikaanse, Chinese, binnenkort de Britse en welke niet-Europese overheid dan ook voor Europese datagrondrechten. Continue reading 79e FD Column: Privacy voor Europese data buiten de EU komt niet van Europese politiek, maar van multinationals→
Deze column staat in Het Financieele Dagblad van 6 februari 2020. Volg deze link voor mijn eerdere FD columns.
Net als iedere nieuwe ceo of voetbaltrainer, grossiert de nieuwe Europese Commissie (EC) in grootse ambities. Na klimaatverandering volgt het realiseren van Europese waarden en soevereiniteit in de digitale wereld als het tweede grote voornemen van de nieuwe ploeg, vooral ten aanzien van kunstmatige intelligentie (AI).
Ook al presenteert de Commissie haar concrete AI-plannen tot 2024 pas medio februari, geheel volgens traditie lekten de beleidsplannen recent toch uit. Net Prinsjesdag. De EC promoot ‘menswaardige’ AI, maar wil daartoe geen ‘specifieke resultaatverplichtingen en nieuwe rechten voor burgers’ in het leven roepen. De Commissie zet in op een nieuwe alomvattende AI-wet, naar model van de Europese privacywet AVG.
Menswaardigheid
De AVG is een significant geopolitiek succes, omdat de Europese wet nu wereldwijd wordt gekopieerd – van Brazilië tot India en Japan. Weliswaar vormt de AVG daarom een aantrekkelijk politiek frame voor de Commissie om haar AI-beleid in te gieten, maar geen adequate juridische mal. Door de AVG als blauwdruk te nemen, kan de politiek – net als bij de AVG – mooie sier maken met een ‘nieuwe AI-wet’ en – net als bij privacy – vermoeden dat het daarmee wel geregeld is, terwijl de bescherming van onze menswaardigheid in de praktijk vaak uitblijft. Europa heeft geen algemene AI-wet nodig, maar context-specifieke regels en effectief toezicht om de inbedding van AI in ons dagelijks leven menswaardig te maken. Continue reading 75e FD Column: Reguleer AI niet als privacy via een algemene wet, maar met contextuele regels en specifiek toezicht→
Deze column staat in Het Financieele Dagblad van 7 februari 2019. Volg deze link voor mijn eerdere FD columns.
Hoe succesvoller wetenschap en technologie voortschrijden, hoe ondoorzichtiger en obscuurder zij worden’. Naarmate de tijd vordert, lijkt deze diepzinnige uitspraak van de Franse filosoof Bruno Latour, uit 1999, onze hypertechnologische wereld alsmaar beter te beschrijven. De kunstmatige intelligentie (AI) van zelflerende computersystemen destilleert opzienbarende inzichten uit gigantische bergen inputdata. Tegelijkertijd lukt het ontwikkelaars van AI-systemen en wetenschappers vaak niet om vooraf te voorspellen of achteraf te verklaren hoe zelflerende systemen zulke bovenmenselijke prestaties leveren. Sterker nog: steeds vaker hoor je dat uitlegbaarheid van de werking van AI-systemen aan gewone stervelingen een rem zou vormen op de voorspellende kracht van AI.
Zwarte doos
Toch beginnen wetgevers en rechters het recht als werktuig te gebruiken om de ‘zwarte doos’ van technologie en wetenschap open te breken. De strenge Europese privacywet AVG en baanbrekende rechterlijke uitspraken verlangen transparantie van inputdata en uitlegbaarheid van besluiten die door machines worden genomen. Of het nu gaat om zelfrijdende auto’s, beleggingsbeslissingen of automatische gezichtsherkenning op straat, innovatie en recht liggen op ramkoers. In tegenstelling tot het veelgehoorde determinisme van ontwikkelaars en Latour – de technologie werkt nu eenmaal zo, dus vergeet het maar met je uitlegbaarheid – zal het recht uitlegbaarheid afdwingen. Althans, in Europa. Continue reading 62e FD Column: Recht en rechtspraak waarborg tegen oncontroleerbare kunstmatige intelligentie→
Deze column staat in Het Financieele Dagblad van 29 november 2018. Volg deze link voor mijn eerdere FD columns.
Internetreuzen als Amazon, Google en Microsoft zetten al jarenlang in op kunstmatige intelligentie (AI). Toch gaat er veel mis als zelflerende algoritmes losgaan op de werknemers, foto’s of klanten. Vorige maand onthulde Reuters dat Amazon na vier jaar een hr-tool om door cv’s van sollicitanten te scannen weer in de ban doet, omdat die consequent vrouwen discrimineert. Google toonde Afro-Amerikanen als je zocht op ‘gorilla’ en chatbot TayTweets van Microsoft ontwikkelde zichzelf binnen een dag tot een racist en complotdenker (en Trumpfan). Blijkbaar kunnen zelfs de bestbetaalde geniën bij internetreuzen hun algoritmes niet opvoeden.
Organisaties en beleidsmakers moeten lering trekken uit deze incidenten. Maak maatschappelijke waarden en heldere doeleinden onderdeel van trainingsdata en analysetools om AI succesvol en acceptabel te maken.
Kinderziekten horen bij technologische disruptie. Socioloog Manuel Castells sloeg in 1995 de spijker op zijn kop in zijn standaardwerk The Rise of the Network Society. Hij schreef dat elke technologische omwenteling gepaard gaat met ‘perverse effecten’. In de jaren ’80 en ’90 hebben geeks, bedrijven en overheden cruciale ontwerpkeuzes gemaakt die nog steeds het DNA van het internet bepalen: connectiviteit was prioriteit, iedereen moest kunnen aanhaken. Privacy en cybersecurity daarentegen werden uit de kernprotocollen van het internet gehouden. Bijkomend voordeel was dat de Amerikaanse overheid makkelijk kon meeluisteren. Maar nu zit de wereld opgescheept met de perverse effecten van 30 jaar oude ontwerpkeuzes: privacy staat onder druk, cybercrime tiert welig en iedereen bespioneert iedereen.
Gezonde verstand
Net als destijds met het internet, willen (vooral Amerikaanse) leveranciers ons weer doen geloven dat AI ‘een revolutie zal ontketenen in de wereld van x’, waarbij variabele x elke waarde aanneemt die bij een meeting, congres of pitch centraal staat. ‘Geen restricties op onze innovatie, u hoeft alleen bij het kruisje te tekenen.’ Tijdens diezelfde bijeenkomsten werd je jarenlang weggehoond als je wees op de perverse effecten van AI en regelgeving, gedragscodes of zelfs gezond verstand om de boel bij elkaar te houden.
Gelukkig lijkt het gezonde verstand langzaam terug te keren in het AI-debat. Niet alleen zorgen de incidenten voor groeiende scepsis bij afnemers. Ook de nieuwe Europese privacywet AVG vereist bij ‘geautomatiseerde besluitvorming’ altijd eerlijkheid, transparantie en uitlegbaarheid van de beslismodellen, en vaak voorafgaande expliciete toestemming van degene wiens data wordt geanalyseerd. Zonder verdere uitleg stellen dat een zelflerende hr-tool, zoekmachine of chatbot op hol is geslagen, volstaat niet langer en kan leiden tot serieuze AVG-boetes en reputatieschade.
Met de ontwerpkeuzes van vandaag leggen wij de fundamenten voor de gezonde inzet van AI in de komende decennia.
Maar hoe anticipeer je op perverse effecten bij een technologie die volop in ontwikkeling is? In zijn boek The Social Control of Technology van 1980 beschreef de Britse wetenschapper David Collingridge dit dilemma: ‘als ingrijpen op innovatie eenvoudig is, is de noodzaak nog niet duidelijk; als iedereen de noodzaak begrijpt, is ingrijpen duur, complex en langdurig.’ Hij nam onder meer benzine als voorbeeld. Bij de introductie van de auto was de milieuschade van loodhoudende benzine beperkt. Toen de auto eenmaal mainstream was, heeft het pijn en moeite gekost over te schakelen op loodvrije benzine. Het Collingridge dilemma overwin je door te investeren in kennisontwikkeling, afhankelijkheid van lobby-invloed uit te sluiten en transparant te zijn over voor- en nadelen van technologische omwentelingen.
Organisaties doen er dus verstandig aan te investeren in kennisontwikkeling, einddoelen helder te definiëren en de trainingsdata te checken op (juridische) bruikbaarheid, kwaliteit en vooringenomenheid. Zo kun je ook beter voldoen aan de AVG-vereisten. In mijn praktijk zie ik verstandige (vaak: kleine) AI-projecten razend succesvol worden en bij De Brauw helpt AI advocaten adviseren bij fusies- en overnames en in interne onderzoeken. Maar gooi je data over de schutting en hoop je op de magische saus van AI, dan stapelen incidenten zich vaak op tot teleurstellingen. Amazon, Google en Microsoft maakten de fout alleen te vertrouwen op hun briljante geeks, en sociale wetenschap, recht en diversiteit geen plek te geven aan de ontwerptafel. In hun projecten gold de nu bekende vuistregel: is de inputdata rommel, dan is de uitkomst ook rommel.
Tempo
Beleidsmakers in Nederland en Europa dienen vooral passende maatschappelijke kaders te scheppen voor AI. Waar de VS en China AI reguleren als handelspolitiek en machtsinstrument, kent Europa een sterke grondrechtentraditie. Niet geld of de Staat, maar de mens staat in principe centraal. Vermoeiend allicht, maar het zorgt voor een relatief harmonieuze, gezonde en vrije samenleving. Het verplicht namelijk perverse effecten als discriminatie en privacyschendingen vroegtijdig te voorkomen.
Tempo is een veel groter probleem in Europa en Nederland. Door een gebrek aan visie komt de noodzakelijke investering in kennis nu pas op gang en leunt het continent te veel op lobbyisten en technologie uit de VS – met cloud computing ging het tien jaar terug precies zo. De EU heeft pas net een ‘expertgroep’ (vol lobbyisten) verzameld die gaat meedenken over Europees AI-beleid. Daarmee loopt de EU minstens vier jaar achter: Amazon begon al in 2014 met het recruitmentproject. Hoog tijd voor de vijfde versnelling. Met de ontwerpkeuzes van vandaag leggen wij de fundamenten voor de gezonde inzet van AI in de komende decennia.
Deze column stond in Het Financieele Dagblad van 1 november 2018. Volg deze link voor mijn eerdere FD columns.
Het is algemeen bekend dat je telefoon of laptop meteen gehackt en afgeluisterd wordt, zodra je in China aankomt. Recent onderzoek van het U.S. Naval War College en Tel Aviv University toont nu aan dat de Chinese overheid internetverkeer ook wegplukt uit het Westen, in China vliegensvlug kopieert, en de datastroom weer doorstuurt naar het Westen. Zo heeft China het internetverkeer van buitenlandse overheden, banken en journalisten afgeluisterd.
Waarom geen wereldnieuws, geen oorverdovende veroordeling uit het Westen? Amerikaanse inlichtingendiensten doen het ook al jaren. En het oplossen van de fundamentele kwetsbaarheid van het internet die deze hack mogelijk maakt, betekent dat zij diezelfde truc niet meer kunnen uitvoeren. Ondertussen kunnen organisaties en individuen zichzelf niet compleet beschermen tegen deze hack. Met hun structurele politieke en economische spionage vormen overheden, China en de VS voorop, de grootste bedreiging voor een veilig internet. Continue reading 55e FD Column: Agressieve Chinese hacks kapen webverkeer bedrijven en overheden→
Deze column stond in Het Financieele Dagblad van 18 oktober 2018. Volg deze link voor mijn eerdere FD columns.
Het was even wereldnieuws en toen weer niet. Bloomberg Businessweek pakte op de voorpagina van 4 oktober groots uit met de claim dat Chinese spionnen de distributieketen van Amerikaanse servergigant Supermicro hadden geïnfiltreerd. Meer dan 30 grote Amerikaanse afnemers van Supermicro, waaronder Apple en de cloudreus Amazon, waren gehackt en af te luisteren door China. Kortom, China zou al jaren een groot deel van het Amerikaanse internet in haar macht hebben.
Supermicro, Apple, andere bedrijven en Amerikaanse overheidsfunctionarissen ontkennen het nieuws hardnekkig. Daarmee is de mediastorm voorlopig gaan liggen. Technische experts duiden het nieuws als geloofwaardig, maar de hack als omslachtig en riskant – er zijn simpeler manieren om met een kleinere pakkans hetzelfde effect te sorteren.
Of de Supermicro hack nu (deels) klopt of niet, het nieuws herinnert ons aan het feit dat internetcommunicatie fundamenteel onveilig is door twee wederzijds afhankelijke krachten: prijsdruk, en de niet te stillen hackhonger van machtige inlichtingendiensten. Cyber security is immers niet zozeer een technisch, maar een economisch en politiek probleem. De hamvraag is dus, hoeveel geld en macht daadwerkelijke cybersecurity ons waard is. Continue reading 54e FD Column: Internet is fundamenteel onveilig en zal er ook na de Supermicro-hack niet veiliger op worden→
Deze column stond in Het Financieele Dagblad van 6 september 2018. Volg deze link voor mijn eerdere FD columns.
Vandaag heeft China te dealen met ‘Westerse’ uitvindingen als het zeerecht, internet en de Wereldhandelsorganisatie. Morgen dreigt China de technologische realiteit voor het Westen te dicteren. Een verdeeld Westen dient zich nu met urgentie te bezinnen op de vraag wat een menswaardig bestaan is in een hypertechnologische wereld waarin Chinese technologie ons leven gaat beïnvloeden.
Deze column stond in Het Financieele Dagblad van 22 februari 2018. Volg deze link voor mijn eerdere FD columns.
Sportief spektakel en geopolitiek theater gaan zoals altijd hand in hand bij de Olympische Spelen. Ook in Pyeongchang. Waar de historische toenadering voor de bühne tussen Zuid- en Noord-Korea niemand ontgaat, voltrekt zich achter de schermen een digitaal drama via cyberaanvallen aan het adres van Zuid-Korea en het IOC. In bredere zin is een mondiale neerwaartse spiraal van digitale oorlogsvoering tussen alles en iedereen een tragisch feit — of het nu het organiseren van nationale verkiezingen of vredelievende sportevenementen betreft. Vooral omdat het Westen momenteel geen enkel leiderschap toont, is continue digitale oorlogsvoering de nieuwe geopolitieke realiteit geworden.
Klik op het plaatje om de column uit de krant te lezen. De tekst staat ook hieronder omdat Hans daar altijd om zeurde. Volg deze link voor mijn eerdere FD columns.
Bewuste digitale keuze is voor gebruiker belangrijker dan ooit
Wie heeft de sleutel tot jouw data in de wereldwijde cloud? En wie mag onder welke voorwaarden meekijken? Medio 2018 zal het Amerikaanse Hooggerechtshof de knoop doorhakken in een langslepende strijd tussen Microsoft en de Amerikaanse politie over toegang tot e-mails in de cloud, opgeslagen op servers buiten de VS.
De zaak staat symbool voor een spanningveld op internet dat in het nieuwe jaar nog pijnlijker zichtbaar zal worden: innovatie en wetenschap globaliseren, politiek en bestuur regionaliseren. Door het achterblijven van internationale consensus over cruciale cybervraagstukken is maatschappelijk verantwoorde en democratisch gelegitimeerdeinternetinnovatie steeds lastiger te realiseren – of het nu gaat om broodnodig beleid rondom privacy, cybersecurity, nepnieuws of kunstmatige intelligentie. Soms kan een lokale rechter of toezichthouder iets bijsturen, maar gewone gebruikers rest meestal weinig anders dan de hoop dat buitenlandse opsporingsdiensten, ondernemingen en wetenschappers hun belangen respecteren. Continue reading 43e FD Column: Bewuste digitale keuze is voor gebruiker belangrijker dan ooit→
Klik op het plaatje om de column uit de krant te lezen. De tekst staat ook hieronder omdat Hans daar altijd om zeurt. Volg deze link voor mijn eerdere FD columns.
Tijdperk Trump – Internetbeleid glipt het Westen door de vingers
De globaliseringselite op het World Economic Forum in Davos en anarchisten op het hackerscongres 33c3 in Hamburg zijn opvallend eensgezind: Donald Trump is onvoorspelbaar (en dus eng). De internetagenda van de kersverse president was uiteraard in Hamburg en zelfs in Davos een hoofdthema, omdat de EU en de VS op korte termijn consensus moeten bereiken over brandende kwesties als privacy en cybersecurity. In feite laat Trump al na een paar dagen zien dat die noodzakelijke consensus onhaalbaar is. Door de steeds diepere breuk tussen de EU en de VS verliest het Westen de grip op de kernwaarden van het mondiale internet. Burgers, innovatie en vooral multinationals zijn het kind van de rekening. Continue reading 32e FD Column: Tijdperk Trump – Internetbeleid glipt het Westen door de vingers→