Je blijft als ontwikkelaar moreel verantwoordelijk voor de technologie die je maakt, aldus Bart Wernaart. Hij is de kersverse lector Moral Design Strategy aan Fontys Hogescholen in Eindhoven die op 1 juni van start is gegaan en houdt zich bezig met de ethische keuzes bij het ontwerp van machines.

Om maar met de deur in huis te vallen: techneuten en ethiek, gaat dat wel samen? “Techneuten zijn inderdaad meestal niet zo erg mee bezig met ethiek”, beaamt Wernaart. “Ze zijn vooral gefocust op de intrinsieke waarden van een technologie. Dus het moet optimaal en efficiënt zijn, het moet werken en er een beetje leuk uit zien. Ze zijn niet automatisch bezig met de impact die hun creaties op de maatschappij hebben, de externe waarden.”

Zijn lectoraat moet dat veranderen. “Eigenlijk zou ethiek al aan het begin van het proces de kern in je design moeten zijn. Als je nieuwe producten en diensten op basis van waarden gaat maken, dan krijg je hele andere toepassingen dan we nu hebben.” Hij schroomt niet om een ouderwets woord te gebruiken: “Technologie moet deugdzaam worden ontwikkeld.”

De deugden waar hij op doelt zijn millennia-oude concepten die teruggaan tot de oude Grieken, zoals matigheid, moed, wijsheid en rechtvaardigheid. Die zijn volgens Wernaart ook voor technologie relevant. Hij neemt matigheid als voorbeeld. “Jezelf matigen is een deugd die we al heel lang kennen. Mateloosheid is niet goed voor mensen, op allerlei gebieden, dus ook op het gebied van technologie.”

“Het is belangrijk dat je niet te veel data tot je neemt op een dag. Dat zie je bij de coronacrisis. Aan het begin zaten mensen steeds te kijken of er nog nieuws was. Die mensen werden knettergek. Je kunt overal lezen wat je maar wilt. Als je wilt lezen dat de aarde plat is en dat ook smurfen daadwerkelijk bestaan, dan kun je dat vast wel ergens vinden. Al die dataprikkels blijken niet goed voor mensen.”

Dat ethische ontwerpen weleens op gespannen voet zouden kunnen staan met de verdienmodellen van technologiebedrijven onderschrijft hij, maar hij voegt eraan toe dat de basis voor een verdienmodel in de ontwerpfase wordt gelegd. “Als relevante waarden van gebruikers en de maatschappij al in de ontwerpfase het uitgangspunt zijn, krijg je andere, meer duurzame producten en diensten. De daarbij behorende verdienmodellen worden dan ook anders.”

Het is volgens hem wel tijd voor nieuwe deugden. “Voor een programmeur is een andere set deugden van belang dan als je arts bent. Dan zijn juist de zorgzame deugden belangrijker, zoals geloof, hoop en naastenliefde. We hebben nu techno-morele deugden nodig.”

Zijn onderzoek is erop gericht om deze techno-morele designprincipes uit de maatschappij te filteren. “Het is een drieluik: we verzamelen morele data en brengen die in kaart in moral labs. Daar distilleren we vervolgens waarden uit die de input kunnen zijn voor het ontwerpproces. Wij gaan dus niet bepalen wat goed of slecht is, maar we leggen vast wat er in de maatschappij gebeurt. Daarnaast denken we op hoog niveau mee bij het ontwikkelen van toepassingen. We publiceren en zitten aan tafel op plaatsen waar het ertoe doet.”

“Laten we wel wezen. Wij zijn een kennisinstelling; we gaan Facebook niet veranderen. Maar wat we wel kunnen doen, is het debat op straat brengen. We gaan dus letterlijk de wijk in. Zo hebben we een oude Arcade flipperkast omgebouwd tot een soort game, waarmee je techno-ethische keuzes maakt door te swipen. Een beetje een techno-ethisch Tinder model eigenlijk. Daarmee maken we de onderwerpen bespreekbaar. Het gaat om lokale techno-ethische vraagstukken waar mensen rechtstreeks mee te maken hebben, maar waarvan ze vaak geen idee hebben dat ze ermee te maken hebben. 

“Een mooi voorbeeld is het Sensing project in Roermond, waar een surveillancesysteem gebruikt wordt om autodiefstallen en zakkenrollen tegen te gaan. De algoritmische systemen die hier achter zitten hebben lijken een racistische bias te hebben: het pikt mensen met Oost Europese komaf eruit. De gemeente heeft zelfs een rapportage van Amnesty International op haar dak gekregen.”

Er staat nog een ander gamification project op de agenda. “In het najaar willen we een ethische situation room inrichten. We laten dan zoveel mogelijk studenten morele data verzamelen, in verschillende steden, die ze vervolgens naar een soort zenuwcentrum sturen, waar wij dan zitten met grote beeldschermen. Ze gaan beelden en teksten vangen, die live op die schermen binnenkomen. Daar distilleren we vervolgens ook weer morele waarden uit die bruikbaar zijn voor ontwikkelaars.”

Zijn doelstelling is hierbij tweeledig. “Allereerst moet het debat dus de straat in, want de ethische discussie moet bottom-up plaatsvinden en niet top-down zoals nu het geval is. Daarnaast moet het lectoraat toekomstbestendige strategieën opleveren, gericht op duurzame, morele ontwikkeling van technologie.”

‘We brengen het debat op straat, want de ethische discussie moet bottom-up plaatsvinden’

“We willen vooral bereiken dat er bij technologieontwikkeling wordt nagedacht over de mogelijke maatschappelijke impact. Waarde-gedreven technologie is niet zo gebonden aan tijd. Denk aan de industriële revolutie. Het was mooi geweest als we toen ook waarde-gedreven hadden geïnnoveerd. Achteraf gezien hadden we veel sociale kwesties van de 19e eeuw kunnen voorkomen.”

Voor wie het heeft gemist: inmiddels zijn we al bij de vierde industriële revolutie aanbeland. Terwijl de werkende mens in de eerdere revoluties donkere fabriekshallen en met TL verlichtte kantoren in werden gedreven, lijken mensen in deze laatste revolutie juist het platteland op te vluchten, eindelijk echt vrij gemaakt van de fysieke werkplek.

Deze systemische verschuiving wordt veroorzaakt door radicale technologieën als kunstmatige intelligentie (AI), blockchain, 3D printen, robotica, 5G en – straks – kwantumcomputers. We zien fenomenen als het Internet of Things, met zorgtoepassingen die voorkomen dat oma in pyjama over straat loopt. Er komen geprinte organen en lichaamsdelen, maar ook autonome wapensystemen die zonder menselijke tussenkomst bepalen wie er wel en niet blijft leven.

"Alleen al de aanwezigheid van het pistool in de samenleving heeft impact, ongeacht de intentie van de bedenker", zegt Wernaart. "De moraliteit zit in het pistool zelf." (foto: Rijksmuseum). Tekst gaat verder onder de foto.

Veel van deze technologie staat nog in de kinderschoenen. Wat ze ons precies gaan brengen is vooralsnog onduidelijk, te meer omdat de technologieën elkaar onderling ook weer beïnvloeden. Het is wel zeker dat ze de mens existentieel raken en we binnenkort pijnlijke ethische keuzes moeten maken nu de fysieke, digitale en biologische sferen samensmelten. En die dilemma’s zullen in een steeds sneller tempo aan ons worden voorgelegd.

“Omdat de mogelijke impact van veel nieuwe technologieën zo groot is, is het des te belangrijker dat je die externe waarden gaat internaliseren”, aldus Wernaart. “Wat je nu ziet is vooral een doekje na het bloeden na afloop. Als iets schadelijk blijkt, wordt er een wet gemaakt. Of, in het geval van Facebook, wordt er een Oversight Board geïnstalleerd en de technologie een beetje aangepast.”

Hij wijst ook op het morele autoriteitsvraagstuk. “Vooral bij complexe technologie met veel impact moet je je afvragen: mag ik daar dan uiteindelijk over gaan? Je ziet dat dit toch vaak misgaat omdat daar een enthousiaste, maar ook opportunistische, startup achter zit.”

“Neem die grappige deepfake app waarmee je je opa en oma tot leven kunt wekken. Die jongens hebben gewoon lol, die zitten in de kroeg en die denken bij zichzelf, hee dat is gaaf. Dat is nou typisch zo’n voorbeeld van technici die gefocust zijn op de intrinsieke waarden van technologie. Oh het werkt. Gaaf. We gaan het verkopen!”

“Als dat je focus is – begrijpelijk – maar als je vervolgens niet nadenkt over hoe dat op een gegeven moment impact op de samenleving zou kunnen hebben, en dat niet meeneemt in je design proces, dan heeft dat consequenties. Daar zitten voor bedrijven bovendien ook imago-aspecten en veiligheidsrisico’s aan vast. Daarom zijn er hier in de Brainport regio veel bedrijven die hierover in gesprek willen. De wil is er zeker.”

‘De technologie zelf vertegenwoordigt een ethische waarde en heeft een eigen dynamiek’

Als advies geeft Wernaart mee dat je de technologie allereerst met een bepaalde intentie moet maken. “Wat die intentie ook is. Denk er goed over na en besef tegelijkertijd dat het gebruik van een technologie staat los van de intentie van degene die het maakt. Het heeft een eigen dynamiek. De technologie zelf vertegenwoordigt ook een eigen ethische waarde.”

Als voorbeeld noemt hij pistolen. “Degene die het maakt, kan dat met een bepaalde intentie doen, maar puur de aanwezigheid van het pistool in de samenleving heeft impact. Ongeacht de intentie van de bedenker van het pistool. Als er meer pistolen zijn, dan wordt er simpelweg meer gebruik van gemaakt. De moraliteit hiervan zit in het pistool zelf. Het is dus niet zo dat technologie neutraal is. Technologie heeft altijd een ethische lading, ook al is dat niet zo bedoeld door degene die het gemaakt heeft.”

“Als ontwikkelaar is het daarom belangrijk alert blijven of hetgeen je er aan de voorkant instopt, er ook daadwerkelijk aan de achterkant uitkomt. Je moet dus steeds een paar stappen terugzetten en gaan beschouwen: hoe kan ik er voor zorgen dat we in het designproces zo inrichten dat de samenleving hier wat aan heeft. Blijven monitoren dus of de bedoelde waarden ook overeenkomen met de intentie, en feedbackloops inbouwen.”

Heb je het dus eigenlijk over een voortdurende verantwoordelijkheid en een oneindig ontwerpproces, waarin je aan een product blijft sleutelen – een permanente bèta-fase? “Ja”, beaamt de ethicus. “Ook de gebruiker of de wetgever dragen overigens verantwoordelijkheid, maar als ontwikkelaar heb je een bijzondere ethische positie, die ook een bijzondere verantwoordelijkheid met zich meebrengt. Zeker als technologie veel impact heeft.”

Geïnteresseerden kunnen een kijkje nemen op de website (fontys.nl/moraldesignstrategy) of contact opnemen via b.wernaart@fontys.nl 

Blijf op de hoogte van het laatste IA-nieuws en ontvang tweewekelijks een e-mail.

In deze editie onder andere: ‘Techniek promoten’, ‘Verschuivende polen’ en ‘ATEX, alles duidelijk?’

Bent u nog niet bekend met Automatie | PMA? Vraag dan hier uw proefabonnement aan en ontvang 2 gratis proefnummers.

© 2022 Automatie | PMA. All rights reserved.