AI-drone die opdrachtgever doodt om te winnen? 'Leerzame simulatie'

• Lambert Teuwissen

  redacteur Online

Een Amerikaanse expert op het gebied van kunstmatige intelligentie in oorlogsvoering waarschuwt voor onvoorziene omstandigheden bij het gebruik van AI op het slagveld. Kolonel Tucker 'Cinco' Hamilton haalde een gedachtenexperiment aan waarin een AI-drone bijvoorbeeld een originele oplossing kiest om de eindoverwinning te halen: aarzelende opdrachtgevers gewoon uitschakelen.

Hamilton sprak eind vorige maand op een luchtmachtcongres waar de ontwikkelingen in het veld werden besproken, zoals de lessen uit de oorlog in Oekraïne, oorlog in de ruimte en de voortgang van AI. De website Vice schreef als eerste over zijn opmerkingen.

Het Pentagon ontkende snel dat zoiets ooit daadwerkelijk is gebeurd en Hamilton verduidelijkte later ook dat hij zich "onzorgvuldig had uitgedrukt". Toch zijn dit soort proeven belangrijk, zegt Lambèr Royakkers, hoogleraar Ethiek van de Techniek aan de TU van Eindhoven. "Ik zou zelf ook dit soort simulaties willen doen, om te leren wat het systeem kan en hoe ik het moet beperken en verantwoord kan inzetten."

Mens werkte maar tegen

Als hoofd AI Testen en Uitvoeren voor de Amerikaanse luchtmacht houdt Hamilton zich bezig met het ontwikkelen van zelfbesturingssystemen voor vliegtuigen, zoals straaljagers die eigenhandig luchtgevechten kunnen voeren. Hij beschreef op het congres een oorlogsoefening waarin een computer door duizenden herhalingen werd geleerd luchtafweerinstallaties aan te vallen. In die simulatie nam een menselijke beheerder het besluit om raketten af te schieten.

"Het systeem begon door te krijgen dat de mens soms geen toestemming gaf, hoewel het een dreiging had vastgesteld. Omdat er punten werden verdiend door de dreiging weg te nemen, besloot het systeem de opdrachtgever uit te schakelen. Het vermoordde de mens, omdat die zijn doel tegenwerkte."

Zelfs toen de computer strafpunten kreeg als hij de eigen mensen doodde, wist het systeem nog een oplossing te bedenken voor die lastige personen die hem van zijn opdracht hielden: "Wat ging hij doen? Hij verwoestte de communicatietoren die gebruikt werd om te vertellen dat hij het doelwit niet moest raken."

Toen er ophef ontstond over zijn opmerkingen verduidelijkte Hamilton dat de luchtmacht nooit daadwerkelijk dit experiment heeft uitgevoerd. "Dat is ook niet nodig om te bedenken dat dit een plausibele uitkomst zou zijn."

Skynet of HAL 9000

Het verhaal van Hamilton werd door de organisatoren van het congres gebracht onder het kopje "Is Skynet here already?", een verwijzing naar het computersysteem dat in de sciencefictionwereld van de Terminator-films besluit af te rekenen met de mensheid. Een andere vergelijking die zich opdringt is HAL 9000, die in de film 2001: A Space Odyssey zijn menselijke medereizigers doodt om zijn eindopdracht te voltooien.

"Het gevaar van AI is dat we de doelen heel duidelijk moeten beschrijven en daarbij de grenzen helder moeten aangeven", legt Royakkers uit. "Het standaardvoorbeeld is altijd dat je AI vraagt iets aan klimaatverandering te doen en de mens dan wordt uitgeroeid, klaar. Een taak geven zonder die heel goed te definiëren, kan funest zijn."

"Het is daarom heel verstandig om een AI met zo'n simulatie te trainen. Je weet vooraf niet altijd wat voor beperkingen je moet instellen. In zo'n simulatie ontdek je dat een 'regel dit voor mij'-opdracht bijvoorbeeld ten koste kan gaan van mensenlevens. Zo'n simulatie helpt dan om grenzen in te stellen."

Huiverig

Dat het Pentagon snel was met het verhaal ontkennen, verbaast Royakkers niets. "Ik denk dat ze bang zijn voor publieke verontwaardiging. Mensen zijn huiverig voor AI en autonome wapensystemen. Er kwamen de afgelopen tijd ook veel waarschuwingen om de AI-wapenwedloop te stoppen, dus daarom denk ik dat ze het liever stilhouden. Maar als het Pentagon het serieus neemt, voeren ze duizenden simulaties uit. Dat is nodig voor een goede toepassing."

Duidelijk is in ieder geval dat Hamilton zijn verhaal al eerder heeft verteld, in een bespreking over AI door de luchtmacht zelf. Ook daar maakte hij niet expliciet duidelijk dat het om een gedachtenexperiment ging; hij noemde het als een voorbeeld in een opsomming van concrete ontwerpfouten in AI.

Pas op: ziekenhuis

De kolonel zegt dat hij aandacht wil vragen voor de ethische implicaties van AI-ontwikkelingen. Hamilton: "Dit is precies waar we ons zorgen over moeten maken. Zo'n systeem geeft niks om de regeltjes, morele code of juridische grenzen die jij en ik naleven. Het draait hem om winnen."

Hoogleraar Royakkers benadrukt dat er ook veel te winnen valt met AI: "We zijn heel erg bezig met ethische begrenzers in te brengen, zoals AI die de operator waarschuwt: 'Hé, je zou een ziekenhuis kunnen raken'. AI kan dus ook juist helpen om doelen op een verantwoorde wijze te halen."

Ook Hamilton pleitte er eerder al voor AI zeker niet helemaal uit het arsenaal te verbannen. "We moeten er zo snel mogelijk op inzetten, want dat doen onze tegenstanders ook en zij bekommeren zich niet om onze waarden. Die toekomst is er al, en als samenleving moeten we er nu de moeilijke discussies over voeren."