- AfA TOP 3: Regulierung autonomer Waffensysteme

Inhaltshinweise: Kriegsthemen und militärische Gewalt; Verletzung von Zivilisten; Verletzung der Menschenwürde

Kurzzusammenfassung

Autonome Waffensysteme (AWS) stellen eine der bedeutendsten sicherheitspolitischen Herausforderungen der Gegenwart dar. Diese Systeme können selbständig Ziele identifizieren und bekämpfen, ohne dass ein Mensch direkt eingreifen muss. Trotz fehlender internationaler Definition kategorisiert das US-Verteidigungsministerium drei Autonomiegrade: Vollautonome Systeme ("human out of the loop"), überwachte autonome Systeme ("human on the loop") und semi-autonome Systeme ("human in the loop").

Die internationale Gemeinschaft diskutiert seit 2014 über AWS-Regulierung, wobei 2019 elf Leitprinzipien verabschiedet wurden. Ein bedeutender Fortschritt war die UN-Resolution 78/241 im Dezember 2023, gefolgt von Resolution 79/L.77 im Oktober 2024, die von 161 Staaten unterstützt wurde.

Zentrale Herausforderungen umfassen die fehlende einheitliche Definition, Regulierungsschwierigkeiten bei der Entwicklung und das "Black-Box-Problem" bei der Entscheidungsfindungen durch neuronale Netzwerke. Besonders kritisch sind die rechtlich-ethischen Fragen zur Verantwortungszuweisung und die Einhaltung des humanitären Völkerrechts.

Als Lösungsansätze werden das Prinzip der "bedeutsamen menschlichen Kontrolle" sowie ein zweigliedriger Regulierungsansatz vorgeschlagen, der bestimmte AWS vollständig verbietet und andere strikt reguliert. Über 115 Staaten befürworten inzwischen Verhandlungen über einen verbindlichen Vertrag, was die wachsende internationale Unterstützung für eine AWS-Regulierung verdeutlicht.

Einleitung

Während Drohnen bereits zum militärischen Alltag gehören, steht die nächste technologische Revolution vor der Tür - autonome Waffensysteme, die selbstständig über Leben und Tod entscheiden können. Diese Entwicklung wirft nicht nur ethische Fragen auf, sondern stellt auch das internationale Völkerrecht vor beispiellose Herausforderungen. Die wachsende Bedeutung künstlicher Intelligenz in militärischen Anwendungen und das Fehlen klarer internationaler Regelungen machen das Thema zu einer der drängendsten sicherheitspolitischen Fragen unserer Zeit. Der Ausschuss für Abrüstungsfragen steht vor der komplexen Aufgabe, einen Rahmen zu schaffen, der sowohl technologischen Fortschritt als auch humanitäre Grundsätze berücksichtigt.

Hintergrund und Grundsätzliches

Bislang existiert keine international anerkannte Definition von autonomen Waffensystemen (AWS). Das Internationale Komitee vom Roten Kreuz (International Committee of the Red Cross, ICRC) definiert sie wie folgt: 

Ein Waffensystem mit Autonomie in seinen kritischen Funktionen, d.h. ein Waffensystem, das selektieren kann (suchen, entdecken, identifizieren, verfolgen oder auswählen) und Ziele ohne menschliches Eingreifen angreifen kann (Gewaltanwendung, Neutralisierung, Beschädigung oder Zerstörung). 

Die rasante Entwicklung im Bereich des maschinellem Lernen, Sensortechnologien und robotischen Plattformen ermöglicht zunehmend komplexere autonome Systeme. Bereits heute existieren Systeme wie das Nahbereichsverteidigungssystem Phalanx oder die Harpy-Drohne, die autonom Ziele erfassen und bekämpfen können. Diese Systeme basieren jedoch auf klar erkennbaren Signaturen wie Radaremissionen und operieren in relativ kontrollierten Umgebungen.

Ein UN-Bericht dokumentiert den ersten bekannten autonomen Angriff durch eine Militärdrohne in Libyen im Jahr 2020. Weiterhin gibt es Vorwürfe, dass im Gaza-Krieg ein System, welches Geheimdienstinformationen zur Auswahl von Bombenzielen auswertet, verwendet wurde. Es wird ebenfalls gemutmaßt, dass autonome Angriffsdrohnen im Ukraine-Konflikt verwendet wurden.

Das US-Verteidigungsministerium kategorisiert verschiedene Autonomiegrade: "Human out of the loop" (vollautonome Systeme), "human on the loop" (überwachte autonome Systeme) und "semi-autonome" oder "human in the loop" Systeme, bei denen Menschen die Zielauswahl aktiv kontrollieren.

Befürworter betonen die operativen Vorteile autonomer Systeme:

• Schnellere Entscheidungsfindung in kritischen Situationen
• Reduzierung von Risiken für eigene Streitkräfte
• Kosteneffizienz im Vergleich zu bemannten Systemen
• Resistenz gegen die gezielte Störung von Steuerungssignalen (Jamming)

Diese Vorteile stehen jedoch schwerwiegenden Bedenken gegenüber. Auf diese wird im späteren Verlauf dieses Textes genauer Bezug genommen:

• Ethische Bedenken hinsichtlich der Entscheidung über Leben und Tod, die an Maschinen delegiert wird (Reduziert Menschen auf Datenstruktur, verletzt Menschenwürde)
• Mangelnde Verlässlichkeit und Vorhersagbarkeit der Systeme, insbesondere in unerwarteten oder komplexen Situationen
• Die Unterscheidung zwischen Kombattanten und Zivilisten durch autonome Systeme kann in vielen Fällen nicht gewährleistet werden
• Fragen der Verantwortlichkeit bei Fehlentscheidungen bleiben ungeklärt

Besonders wichtig ist die Vereinbarkeit mit dem humanitären Völkerrecht, das klare Anforderungen an den Einsatz von Waffen stellt. Die fundamentalen Prinzipien - die Unterscheidung zwischen Kombattanten und Zivilisten, die Verhältnismäßigkeit der Gewaltanwendung und die Vermeidung unnötigen Leids - müssen auch bei AWS gewährleistet sein.

Aktuelles

Die internationale Staatengemeinschaft diskutiert seit 2014 über die Regulierung autonomer Waffensysteme (AWS) im Rahmen der Konvention über bestimmte konventionelle Waffen (Convention on Certain Conventional Weapons, CCW). Aufgrund des im geltenden Konsensprinzips konnten bisher keine verbindlichen Beschränkungen vereinbart werden.

Ein wichtiger Meilenstein war 2019 die Verabschiedung von elf Leitprinzipien für letale autonome Waffensysteme. Diese bekräftigen die vollständige Anwendbarkeit des humanitären Völkerrechts, die Notwendigkeit menschlicher Kontrolle über den Waffeneinsatz sowie die Pflicht der Staaten zur völkerrechtlichen Prüfung bereits während der Entwicklungsphase.

Im Dezember 2023 verabschiedete die UN-Generalversammlung mit Resolution 78/241 erstmals eine wegweisende Entschließung zu AWS. Die Resolution wurde mit 164 Ja-Stimmen, 8 Enthaltungen und 5 Gegenstimmen angenommen. Der UN-Generalsekretär wurde beauftragt, bis Ende 2024 einen umfassenden Bericht über die Positionen der Mitgliedstaaten zu AWS vorzulegen.

Im Oktober 2023 forderten der UN-Generalsekretär und die IKRK-Präsidentin die Staatengemeinschaft auf, bis 2026 ein rechtsverbindliches Instrument zur Regulierung von AWS auszuhandeln. Die jüngste Entwicklung war die Verabschiedung einer zweiten UN-Resolution (79/L.77) im Oktober 2024 mit der Unterstützung von 161 Staaten. Die Resolution betont die "schwerwiegenden Herausforderungen und Bedenken" bezüglich der humanitären, rechtlichen, sicherheitspolitischen und ethischen Aspekte von AWS.

Parallel finden verschiedene regionale Konferenzen statt, wie beispielsweise im April 2024 eine ECOWAS-Konferenz in Sierra Leone, die die afrikanische Position zu AWS koordiniert. Die breite internationale Unterstützung für eine AWS-Regulierung zeigt sich auch in der wachsenden Zahl von über 115 Staaten, die Verhandlungen über einen verbindlichen Vertrag befürworten.

Probleme

Die Entwicklung und der potenzielle Einsatz autonomer Waffensysteme werfen zahlreiche kritische Probleme auf verschiedenen Ebenen auf:

Definitionsfrage

Die internationale Staatengemeinschaft konnte sich bisher auf keine einheitliche Definition einigen. Das erschwert die Entwicklung eines einheitlichen Regulierungsrahmens erheblich.
Die zuvor erwähnte Definition des ICRC (Waffensysteme, die ohne menschliche Intervention Ziele auswählen und bekämpfen können) ist nicht komplett unumstritten, da sie auch einfache automatisierte Systeme - wie z.B. Landminen und automatisierte Rakenabwehrsysteme -  einschließen könnte.

Regulierung der Entwicklung

Zahlreiche zivile Innovationen, wie beispielsweise im Bereich des maschinellen Sehens oder der automatisierten Entscheidungsfindung, können mit relativ geringem Aufwand für militärische Anwendungen adaptiert werden. Dies erschwert eine effektive Regulierung der Entwicklung autonomer Waffensysteme erheblich.

Ein weiteres Problem liegt in der technischen Ähnlichkeit zwischen teilautonomen und vollautonomen Systemen. Die Hardware unterscheidet sich kaum, wodurch ein Übergang von menschlich kontrollierten zu vollautonomen Systemen teilweise nur durch Software-Aktualisierungen möglich ist. Dies bedeutet, dass Staaten in Krisenzeiten oder während eines Konflikts ihre teilautonomen Systeme sehr schnell in vollautonome Waffensysteme umwandeln könnten.

Technische Problematik

Bei der Verwendung von neuronalen Netzwerken ist es in den meisten Fällen nur sehr begrenzt möglich, die Entscheidungen des Systems nachzuvollziehen oder vorherzusehen (Black-Box-Problem). Dies macht es unmöglich, ihre Konformität mit einer rechtlichen Grundlage, wie z.B. dem humanitären Völkerrecht, zu garantieren.

Rechtlich-ethische Problematik

Das aktuelle Rechtssystem ist auf menschliche Akteure ausgerichtet und nicht auf algorithmische Entscheidungssysteme. Eine zentrale Frage ist die Verantwortungszuweisung bei AWS-Einsätzen, insbesondere wenn Algorithmen nicht nachvollziehbare Entscheidungen treffen. Auch die Einhaltung des humanitären Völkerrechts, etwa bei der Unterscheidung zwischen Kombattanten und Zivilisten, ist problematisch.

Sicherheitspolitische Risiken

Die Verfügbarkeit von AWS könnte die Hemmschwelle für bewaffnete Konflikte senken. Bereits heute zeichnet sich ein globaler Rüstungswettlauf ab, wobei besonders die USA, China und Russland in diese Technologie investieren.

Lösungsansätze

Hier werden kurz drei häufiger diskutierte Ansätze zur Verbesserung der Regulierung von AWS vorgestellt. Sie widersprechen sich nicht, können also kombiniert werden.

Meaningful Human Control als Grundprinzip

Das Konzept der "bedeutsamen menschlichen Kontrolle" hat sich als zentraler Ansatzpunkt für die Regulierung autonomer Waffensysteme etabliert. Dieses Prinzip geht über die bloße menschliche Präsenz im Entscheidungsprozess hinaus und fordert, dass Menschen substantielle Kontrolle über kritische Entscheidungen behalten müssen. Dabei muss die rechtliche und moralische Verantwortung klar beim Menschen liegen.

Ein Problem mit diesem Lösungsansatz ist der sogenannte Automation Bias, also die menschliche Tendenz, Systemen zur automatischen Entscheidungsfindung stark zu vertrauen.

Zweigliedriger Regulierungsansatz

Ein vielversprechender Kompromiss zeichnet sich in Form eines zweigliedrigen Ansatzes ab: Bestimmte autonome Waffensysteme werden vollständig verboten, während andere unter strikter Regulierung erlaubt bleiben:

• Strikte Verbote für Waffensysteme, die vollständig außerhalb menschlicher Kontrolle operieren oder gegen fundamentale völkerrechtliche Prinzipien verstoßen
• Regulierung für andere autonome Waffensysteme durch:
  • Sicherstellung ausreichender menschlicher Kontrolle
  • Klare Verantwortungszuweisung
  • Technische Sicherheitsanforderungen

Spezifisches Verbot von Anti-Personen-Systemen

Nach dem Vorbild der Ottawa-Konvention zum Verbot von Anti-Personen-Minen könnte ein fokussiertes Verbot von autonomen Waffensystemen erfolgen, die speziell gegen Menschen gerichtet sind. Solche Systeme verletzen die Menschenwürde und verstoßen gegen ethische Prinzipien. Es handelt sich hierbei um eine von drei Empfehlungen, die das ICRC derzeit ausspricht.

Punkte zur Diskussion

Lexikon

Automation Bias: Die menschliche Tendenz, Entscheidungen und Empfehlungen automatisierter Systeme unkritisch zu akzeptieren und ihnen mehr zu vertrauen als menschlichen Entscheidungen.

Autonomie wird häufig als die Fähigkeit zur Selbstbestimmung und selbständigen Entscheidungsfindung definiert. Autonome Systeme sind Systeme, die in der Lage sind, in einer realen Umgebung über einen längeren Zeitraum hinweg ohne jegliche externe Steuerung zu arbeiten. 

AWS (Autonomous Weapon Systems, Autonome Waffensysteme): Auch bekannt als "Lethal Autonomous Weapon Systems" (LAWS) oder "Tödliche autonome Waffen". Es gibt derzeit keine allgemein akzeptierte Definition für AWS, siehe die entsprechenden Abschnitte in Hintergrund und Grundsätzliches und Probleme.

Black-Box-Problem: Beschreibt die fehlende Transparenz und Nachvollziehbarkeit der Entscheidungsprozesse in KI-Systemen. Obwohl diese Systeme Eingaben verarbeiten und Ergebnisse liefern, bleiben ihre internen Funktionsweisen und Entscheidungsabläufe für Menschen undurchsichtig und nicht nachvollziehbar.

CCW (Convention on Certain Conventional Weapons): Ein 1980 unterzeichnetes UN-Übereinkommen, das den Einsatz bestimmter konventioneller Waffen verbietet oder einschränkt, die übermäßiges Leid verursachen oder unterschiedslos wirken können. Die Konvention trat 1983 in Kraft. 

ECOWAS (Economic Community of West African States): Die Wirtschaftsgemeinschaft westafrikanischer Staaten ist ein Zusammenschluss von 15 westafrikanischen Ländern. Diese Organisation arbeitet nicht nur wirtschaftlich zusammen, sondern beschäftigt sich auch mit der Sicherheitspolitik in der Region.

Humanitäres Völkerrecht: Auch Kriegsvölkerrecht genannt, ist ein Teil des internationalen Rechts, der das Verhalten in bewaffneten Konflikten regelt. Es soll Zivilisten schützen und unnötiges Leid verhindern. Dazu gehören zum Beispiel die Genfer Konventionen.

Internationales Komitee vom Roten Kreuz (ICRC): Eine unabhängige humanitäre Organisation mit Sitz in Genf, die sich weltweit für den Schutz von Kriegsopfern einsetzt. Zu ihren Hauptaufgaben gehören die Koordinierung von Hilfsaktionen in Konflikten, der Besuch von Kriegsgefangenen und die Weiterentwicklung des humanitären Völkerrechts.

Kombattanten: Dies sind Personen, die nach dem Kriegsvölkerrecht berechtigt sind, an Kampfhandlungen teilzunehmen. Dazu gehören in der Regel Angehörige regulärer Streitkräfte. Sie müssen sich von der Zivilbevölkerung unterscheiden, beispielsweise durch das Tragen von Uniformen.

UN-Konvention: Ein völkerrechtlich bindender Vertrag zwischen den Mitgliedsstaaten der Vereinten Nationen. Nach der Annahme durch die UN-Generalversammlung wird eine Konvention für die Vertragsstaaten bindend, sobald sie von den Landesvertretern unterzeichnet und durch nationale Gremien ratifiziert wurde. Die Umsetzung der Konventionen wird von speziellen UN-Kommissionen überwacht, wobei die Vertragsstaaten regelmäßig Berichte über ihre Fortschritte vorlegen müssen.

Für die Recherche

Die folgenden Seiten bieten einen guten Überblick in das Thema:

Weitere Übersicht zum aktuellen Stand:
https://dgvn.de/meldung/autonome-waffensysteme-keine-regulierung-in-sicht

Beitrag des Österreichischen Außenministeriums:
https://www.bmeia.gv.at/themen/abruestung/konventionelle-waffen/autonome-waffensysteme

Resource des Bundestags:
https://www.bundestag.de/resource/blob/801014/c288edd4dd00f40bf037c489c3904aa2/TAB-Fokus_26-data.pdf

Die verschiedenen Positionen der Staaten sind hier zusammengefasst. Es ist aber vermutlich sinnvoll, nochmal spezifischer nach der Position des vertretenen Landes zu suchen.
https://automatedresearch.org/state-positions/ (Englisch)
https://www.hrw.org/report/2020/08/10/stopping-killer-robots/country-positions-banning-fully-autonomous-weapons-and (Englisch)
https://crsreports.congress.gov/product/pdf/IF/IF11294/6 (Englisch)

Generell gibt es zu dem Thema sehr viele gute Quellen auf Englisch. Je nach Sprachkenntnissen könnte es hilfreich sein, diese (ggf. mit einem Webseiten-Übersetzer) zu sichten. Einige Beispiele dafür sind:
https://autonomousweapons.org/solutions/
https://www.icrc.org/en/document/joint-call-un-and-icrc-establish-prohibitions-and-restrictions-autonomous-weapons-systems

Quellenangaben

United Nations General Assembly: Lethal autonomous weapons systems. UN Doc. A/RES/78/241. (22. Dezember 2023)
https://documents.un.org/doc/undoc/gen/n23/431/11/pdf/n2343111.pdf
- Von der UN-Generalversammlung verabschiedete Resolution, die den rechtlichen Rahmen für autonome Waffensysteme bekräftigt und den UN-Generalsekretär beauftragt, Stellungnahmen der Mitgliedstaaten einzuholen. (Englisch)

United Nations General Assembly: Lethal autonomous weapons systems. UN Doc. A/C.1/79/L.77. (18. Oktober 2024)
https://documents.un.org/doc/undoc/ltd/n24/305/45/pdf/n2430545.pdf
- Resolutionsentwurf der UN-Generalversammlung zu autonomen Waffensystemen, der die dringliche Notwendigkeit internationaler Regelungen betont und konkrete Schritte für 2025 festlegt. (Englisch)

Stop Killer Robots: 164 States Vote Against the Machine. (2023)
https://www.stopkillerrobots.org/news/164-states-vote-against-the-machine/
- Berichtet über die UN-Resolution zu autonomen Waffensystemen und die breite internationale Unterstützung für Verhandlungen über ein rechtlich bindendes Instrument. (Englisch)

Santoni de Sio, Filippo; van den Hoven, Jeroen: Toward a Normative Model of Meaningful Human Control over Weapons Systems. Ethics & International Affairs. (2018)
https://www.cambridge.org/core/journals/ethics-and-international-affairs/article/toward-a-normative-model-of-meaningful-human-control-over-weapons-systems/A3FD9EC4CBD6EA77439211537B94A444
- Entwickelt ein normatives Modell für die bedeutsame menschliche Kontrolle über Waffensysteme. (Englisch)

Guterres, António; Spoljaric Egger, Mirjana: Joint call by the United Nations Secretary-General and the President of the International Committee of the Red Cross for States to establish new prohibitions and restrictions on Autonomous Weapon Systems. (2023)
https://www.icrc.org/en/document/joint-call-un-and-icrc-establish-prohibitions-and-restrictions-autonomous-weapons-systems
- Gemeinsamer Aufruf des UN-Generalsekretärs und der IKRK-Präsidentin zur Schaffung neuer Verbote und Beschränkungen für autonome Waffensysteme. (Englisch)

United Nations Security Council: Letter dated 8 March 2021 from the Panel of Experts on Libya established pursuant to resolution 1973 (2011) addressed to the President of the Security Council. S/2021/229. (2021)
https://documents.un.org/doc/undoc/gen/n21/037/72/pdf/n2103772.pdf
- UN-Expertenbericht über die Situation in Libyen mit Fokus auf Waffenembargo und autonome Waffensysteme. (Englisch)

Ighobor, Kingsley: Unregulated Autonomous Weapons Systems pose risk to Africa. Africa Renewal. (2024)
https://www.un.org/africarenewal/magazine/may-2024/unregulated-autonomous-weapons-systems-pose-risk-africa
- Interview über die Risiken unregulierter autonomer Waffensysteme für Afrika und die ECOWAS-Konferenz in Sierra Leone. (Englisch)

ICRC: ICRC position on autonomous weapon systems. Mai (2021)
https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems
- Offizielle Position des Internationalen Komitees vom Roten Kreuz zu autonomen Waffensystemen mit Empfehlungen für neue rechtlich bindende Regeln zur Regulierung dieser Technologie (Englisch).

Grünwald, Reinhard; Kehl, Christoph: Autonome Waffensysteme. TAB-Fokus Nr. 26. Oktober (2020)
https://www.bundestag.de/resource/blob/801014/c288edd4dd00f40bf037c489c3904aa2/TAB-Fokus_26-data.pdf
- Analyse des Büros für Technikfolgen-Abschätzung beim Deutschen Bundestag zu technischen, rechtlichen und ethischen Aspekten autonomer Waffensysteme (Deutsch).

Taddeo, Mariarosaria & Blanchard, Alexander: A Comparative Analysis of the Definitions of Autonomous Weapons Systems. Science and Engineering Ethics, Volume 28, Article 37. (2022)
https://link.springer.com/article/10.1007/s11948-022-00392-3
- Eine vergleichende Analyse von 12 offiziellen Definitionen autonomer Waffensysteme (AWS) von Staaten und internationalen Organisationen. Die Autoren identifizieren vier Schlüsselaspekte von AWS (Autonomie, Anpassungsfähigkeit, menschliche Kontrolle und Einsatzzweck) und entwickeln daraus eine wertneutrale Definition. (Englisch)

Sayler, Kelley M.: International Discussions Concerning Lethal Autonomous Weapon Systems. Congressional Research Service Report IF11294. (2023)
https://crsreports.congress.gov/product/pdf/IF/IF11294/6
- Eine umfassende Analyse der internationalen Diskussionen zu letalen autonomen Waffensystemen (LAWS) im Rahmen der UN-Waffenkonvention (CCW). Der Bericht beleuchtet verschiedene nationale Positionen, ethische Bedenken und potenzielle Regulierungsansätze. (Englisch)