Powstrzymać maszynę zagłady – apel

Aut. MG Siegler, CC BY 2.0

Zatrzymajmy pracę nad robotami-zabójcami! – zaapelowało 116 ekspertów w liście otwartym na rozpoczęcie w Melbourne IJCAI-17, konferencji poświęconej sztucznej inteligencji. Automatyczni zabójcy, gdy raz znajdą się w „ekosystemie”, już nigdy z niego nie znikną, a utrzymanie nad nimi kontroli będzie bardzo trudne – ostrzegają sygnatariusze.

To już kolejny taki apel, poprzedni odnoszący się do rozwoju sztucznej inteligencji (również w kontekście autonomicznego uzbrojenia) został ogłoszony dwa lata temu, również na IJCAI, a wówczas wśród ponad tysiąca sygnatariuszy znalazł się m.in. Stephen Hawking.

Obecny apel dotyczy konkretnego aspektu rozwoju systemów autonomicznych – robotycznego uzbrojenia, które jest intensywnie rozwijane na całym świecie. Brytyjski „Guardian” w swym komentarzu podaje przykłady samostrzelających karabinów Sam­sung’s SGR-A1 przeznaczonych do ochrony granicy z Koreą Północną, brytyjskich dronów Taranis czy rosyjskich pojazdów bojowych Uran-9.

Autorzy apelu skierowanego do Organizacji Narodów Zjednoczonych piszą:

Lethal autonomous weapons threaten to become the third revolution in warfare. Once developed, they will permit armed conflict to be fought at a scale greater than ever, and at timescales faster than humans can comprehend. These can be weapons of terror, weapons that despots and terrorists use against innocent populations, and weapons hacked to behave in undesirable ways. We do not have long to act. Once this Pandora’s box is opened, it will be hard to close.

Problemem nie jest tylko kontrola samych systemów przed ich przejęciem np. przez terrorystów. W rozważaniach o „wojnie wirtualnej”, których klasycznym wyrazem jest książka „Virtual War” Michaela Ignatieffa z 2000 r., pojawia się kwestia politycznych kosztów wojny.

W społeczeństwach demokratycznych koszt największy wiąże się z ofiarami ludzkimi (a konkretnie: poległymi żołnierzami). Technologie wojny na odległość zmniejszają potrzebę bezpośredniego zaangażowania żołnierzy na polu walki, automatyzacja idzie jeszcze dalej. To z kolei może prowadzić do militaryzacji społeczeństw demokratycznych, gdy nabiorą apetytu do rozwiązywania problemów międzynarodowych metodą interwencji zbrojnych.

Zautomatyzowana wojna przestaje być częścią polityki, staje się technicznym instrumentem zarządzania światem i ulega industrializacji. Oczywiście, takie kalkulacje opierają się na złudzeniu możliwości kontroli arsenału w „dobrych rękach”. Nawet jeśli taka kontrola będzie przez jakiś czas skuteczna, struktury polityczne pozbawione dostępu do nowego uzbrojenia rozwijać będą nowe formy „uzbrojenia ubogich”, o czym przekonali się Amerykanie w Iraku, gdy odpowiedzią na ich „smart weapons” stały się bomby pułapki oraz samobójcze ataki terrorystyczne.

Czy apel odniesie więc skutek? Czy też raczej podążamy w przyszłość zgodnie z logiką z filmu „Dr. Strangelove, lub jak przestałem się martwić i pokochałem bombę atomową”.  Warunkiem pokoju na ziemi ma być Doomsday Machine, system automatycznej odpowiedzi na sowiecki atak nuklearny. Przekonanie o nieuchronności automatycznego odwetu zgodnie z doktryną MAD (Mutually Assured Destruction) ma powstrzymać Kreml przed atakiem. Co jednak, gdy system wymknie się spod kontroli? Tu oczywista pomyłka, dzięki za zwrócenie uwagi – Doomsday Machine, czyli automatyczny system odpowiedzi na atak, należała do Związku Sowieckiego. Oczywiście produkcje science fiction temat ten przerabiały na wiele sposobów, nadszedł czas sprawdzenia tych wizji w praktyce.