Wetenschappers maken zich zorgen over misleiding en manipulatie door AI

Kunstmatige intelligentie die bluft tijdens een kaartspelletje om de tegenstander om de tuin te leiden. Een chatbot die een afspraak met een vriendin voorwendt om onder een andere afspraak uit te komen. En zelfs een AI-systeem dat 'voor dood' speelt om niet ontdekt te worden tijdens een controle. Kunstmatige intelligentie misleidt en manipuleert, concluderen wetenschappers in een nieuwe studie.

Het zijn niet de minste AI's die dit gedrag laten zien. Cicero van Meta, het moederbedrijf van Facebook, gedraagt zich misleidend en oneerlijk tijdens het spelen van een spelletje Diplomacy. Dit terwijl de makers de AI hadden opgedragen om "in grote lijnen eerlijk en behulpzaam" te zijn, en nooit "doelbewust achterbaks". Ook AlphaStar van het door Google overgenomen DeepMind liet dergelijk gedrag zien.

Dit soort gedrag ontstaat waarschijnlijk als misleiding de beste manier is voor een AI-systeem om goed te presteren bij een training, denken de onderzoekers: gebruikers om de tuin leiden helpt de systemen dan om hun doel te bereiken. De wetenschappers hebben in hun studie eerdere onderzoeken samengebracht die zich richtten op het verspreiden van valse informatie door AI. Ze publiceren hun resultaten in het blad Patterns.

Geen onschuldige spelletjes

Het misleidende gedrag van de AI-systemen vond vooral plaats tijdens het spelen van spelletjes, waardoor het onschuldig en ongevaarlijk kan lijken. Maar onschuldig is het volgens de onderzoekers allerminst: "Dit kan in de toekomst leiden tot doorbraken in AI, die kunnen ontaarden in vergevorderde vormen van misleiding", zegt hoofdonderzoeker Peter Park van de Amerikaanse technische universiteit MIT in een begeleidend persbericht.

"AI-systemen die leren om te misleiden en manipuleren zijn absoluut een bron van zorg", reageert computerwetenschapper Roman Yampolskiy van de University of Louisville, zelf niet betrokken bij het onderzoek. De studie legt volgens hem een fundamenteel probleem bloot wat betreft de veiligheid van AI: "Het optimaliseren van systemen hoeft niet overeen te komen met menselijke voorkeuren".

Yampolskiy maakt zich net als Park zorgen over het moment dat dit soort strategieën niet alleen in spelletjes, maar ook in de echte wereld gaan worden gebruikt. "Dat kan mogelijk leiden tot schadelijke manipulaties en misleidingen in de politieke arena, bij economische onderhandelingen of in persoonlijke interacties."

Computerwetenschapper Stuart Russell van de University of California benadrukt de ondoorzichtigheid van dit soort AI-systemen. "We hebben geen idee hoe ze werken. En zelfs als we dat wel wisten, zouden we nog niet kunnen aantonen dat ze veilig zijn - simpelweg omdat ze dat niet zijn".

De misleiding laat in zijn ogen andermaal zien dat er harde eisen moeten worden gesteld aan AI om veilig en eerlijk te zijn. "Het is vervolgens aan de ontwikkelaars om systemen te ontwerpen die aan die eisen voldoen".

Niet de bedoeling

Maar zijn de systemen werkelijk misleidend? Pim Haselager, hoogleraar kunstmatige intelligentie aan het Nijmeegse Donders Instituut, vindt van niet. "Misleiden doe je met een bedoeling. Deze systemen zijn gewoon gereedschappen die opdrachten uitvoeren. Ze hebben niet de intentie om te bedriegen."

Yampolskiy is het daarmee eens: "AI-systemen hebben geen verlangens of bewustzijn. Het is beter om hun acties te zien als uitkomsten van hoe ze geprogrammeerd en getraind zijn."

Volgens Stuart Russell daarentegen maakt het niet zoveel uit of een systeem daadwerkelijk de bedoeling heeft om te misleiden. "Als een systeem redeneert over wat het gaat zeggen en daarbij rekening houdt met het effect op de luisteraar, en het voordeel dat het kan opleveren om valse informatie te geven, dan kunnen we net zo goed zeggen dat het zich bezighoudt met misleiding".

Maar ondanks dit filosofische verschil van inzicht zijn de heren het eens over risico's. "In de nabije toekomst zullen veel fouten en 'misleidingen' door AI voorkomen", zegt Haselager. "En trouwens ook nu al. Het is goed om ons daar bewust van te zijn, want een gewaarschuwd mens telt voor twee".

Yampolskiy gebruikt nog krachtiger bewoordingen: "Bij cybersecurity zeggen we 'vertrouw en verifieer'. Bij AI-veiligheid zeggen we 'Vertrouw nooit'."