Conversation

Notices

1. Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:53 JST Digitalcourage

   Im Europäischen Parlament werden gerade Änderungsanträge zum KI-Gesetz (#AIAct) verhandelt. Aktuell geht es insbesondere um das Thema #Emotionserkennung. Das ist eine Technologie, deren wissenschaftliche Basis höchst umstritten ist, die aber gefährliche Anwendungsfälle hat. Dazu gehört z.B. die Anwendung von „KI“ für eine neue Generation an „Lügendetektoren“ (sogenannte „KI-Polygraphen“). Der Einsatz von Lügendetektoren ist in Deutschland bislang als rechtsstaatlich nicht vertretbar anerkannt, könnte auf diesem Umweg aber erneut zugelassen werden. Nachfolgend wollen wir das Thema und unsere Position dazu genauer erklären (längerer Thread) …

   • Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:46 JST Digitalcourage

     in reply to

     Außerdem wollen wir noch an die anderen Stellen erinnern, an denen der Gesetzesentwurf nachgeschärft werden muss. Wir fordern Lücken im geplanten Verbot biometrischer Massenüberwachung zu schließen: bisher soll nur die Identifizierung anhand biometrischer Daten zur Echtzeit-Überwachung an öffentlichen Plätzen verboten werden. Retrograde (zeitlich nachgelagerte) Überwachung ist aber genauso gefährlich. Außerdem sind bisher zu viele Ausnahmen vorgesehen und das Verbot soll sich nur auf Strafverfolgungsbehörden beziehen. Dabei haben Unternehmen wie Clearview AI in der Vergangenheit gezeigt, dass wir uns auch vor dem Missbrauch biometrischer Daten durch private Überwachungsakteur.innen schützen müssen. Die Bundesregierung hat sich im Rat der EU dafür engagiert die vorgesehenen Ausnahmeregelungen beizubehalten – entgegen dem konsequenten Verbot, dass sie im Koalitionsvertrag der Ampel versprochen hat. Hier ist die Position des Europäischen Parlaments daher umso wichtiger.

   • Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:47 JST Digitalcourage

     in reply to

     Die Hohe Kommissarin der Vereinten Nationen für Menschenrechte, Michelle Bachelet, hat in ihrem Jahresbericht 2021 davor gewarnt, dass Emotionserkennung, z. B. um Personen für Polizeikontrollen oder Verhaftungen auszusondern oder den Wahrheitsgehalt von Aussagen bei Verhören zu bewerten, unsere Menschenrechte verletzen kann.

     Auch der europäische Datenschutzbeauftragte und der Ausschuss der Datenschutzbeauftragten der Mitgliedsstaaten der EU haben vor der Verwendung von „KI“ zur Ableitung von Rückschlüssen auf Emotionen von Menschen gewarnt und ein Verbot im KI-Gesetz gefordert. Die Abgeordneten im Europäischen Parlament sollten diese Warnungen aus Zivilgesellschaft und Fachbehörden ernst nehmen und die Menschen in der EU vor der gefährlichen Emotionserkennung schützen.

     Aral Balkan repeated this.
   • Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:48 JST Digitalcourage

     in reply to

     In Fällen, bei denen Emotionserkennung zur medizinischen Anwendung ausnahmsweise erlaubt werden kann, muss dies unter Kriterien erfolgen, die eine sinnvolle und verhältnismäßige Anwendung gewährleisten. Dazu gehört:

     - alle betroffenen Gruppen und relevanten Expert.innen bei der Entwicklung einbinden, einschließlich Patient.innenverbänden und Datenschutzexpert.innen;

     - Systeme müssen wissenschaftliche und klinische Validität nachweisen;

     - klare Hinweise auf die Grenzen solcher Technologien und ihre potenziellen Risiken, die aus der Fehleranfälligkeit der Systeme resultieren;

     - in einer Weise entwickelt und eingesetzt werden, die die Rechte aller Personen, die davon betroffen sein könnten, respektiert.

     Wenn ein System nicht so entwickelt werden kann, dass es alle Kriterien erfüllt, dann sind die Risiken inakzeptabel, und es muss durch das KI-Gesetz verboten werden.

   • Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:50 JST Digitalcourage

     in reply to

     Wir empfehlen nachdrücklich, ein Verbot von Emotionserkennungssystemen, einschließlich „KI-Lügendetektoren“, in Artikel 5 des KI-Gesetzes aufzunehmen. Insbesondere auch bei folgenden Anwendungsfällen:

     - Bei der Erbringung von staatlichen Leistungen, wie z.B. Anträgen auf Wohngeld;

     - Arbeitgeber.innen, die damit am Arbeitsplatz Arbeitnehmer.innen überwachen um sie damit zu beurteilen, einzustufen oder zu kontrollieren;

     - in Bildungseinrichtungen um damit Schüler.innen und Lehrer.innen zu überwachen und sie damit automatisiert zu beurteilen und zu kontrollieren.

   • Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:51 JST Digitalcourage

     in reply to

     Inakzeptable Emotionserkennungssysteme werden leider bereits eingesetzt, auch in der EU:

     - gegen Geflüchtete an europäischen Außengrenzen: https://www.accessnow.org/eu-ai-act-migration/

     - In China, zur Überprüfung der Loyalität von Parteimitgliedern: https://www.biometricupdate.com/202207/china-develops-face-biometrics-ai-tool-to-test-party-member-loyalty

     - … oder gegen die Gruppe der Uiguren: https://www.bbc.com/news/technology-57101248

     - … oder zur Emotionserkennung bei Schulkindern in Hongkong: https://edition.cnn.com/2021/02/16/tech/emotion-recognition-ai-education-spc-intl-hnk/index.html

     - Oder als „intelligente Videoüberwachung“ von Siemens in Zügen um Sitzplätze zu überwachen und „aggressives Verhalten“ in Zugwagons automatisiert zu erkennen und zu melden. Das wurde laut Siemens bereits in Deutschland und Österreich eingesetzt, z.B. durch „‘Versteckte’ Kameras in den Anzeigen des Fahrgastinformationssystems“: https://www.mobility.siemens.com/global/de/portfolio/schiene/fahrzeuge/digitaler-zugbetrieb/intelligente-videoueberwachung.html

   • Digitalcourage (digitalcourage@digitalcourage.social)'s status on Wednesday, 15-Feb-2023 21:40:52 JST Digitalcourage

     in reply to

     Unabhängig von der Frage, ob KI-Systeme tatsächlich auf unseren emotionalen Zustand schließen können, ist deren Einsatz ein inakzeptablen Eingriff in unser privates Geistesleben und untergräbt unser Rechte auf Privatsphäre. Wenn Sicherheitskräfte Emotionserkennung nutzen, um potenziell „aggressive“ Personen in Menschenmengen oder bei Protesten zu erkennen und diese Personen proaktiv festzunehmen, bevor sie eine aggressive Handlung begangen haben, spielt es keine Rolle, ob die Schlussfolgerung fehlerhaft war oder nicht; die Folgen sind real und untergraben unsere Rechte auf Meinungs- und Versammlungsfreiheit.