KÜCHEN­han­del: Herr Dr. Plümer, für welche Unternehmen wird der AI Act über­haupt rel­e­vant? Betr­e­f­fen die Reg­u­lar­ien nur IT-Entwick­ler und Sys­te­man­bi­eter oder auch den Han­del, der Pro­duk­te wie z. B. Küchengeräte mit AI vertreibt? Und gibt es nun Tabus für den Ein­satz von Chat­bots und anderen KITools, um den Büroall­t­ag zu erle­ichtern, Bewer­bun­gen auszuw­erten oder Ser­vices für Kun­den zu verbessern?

Dr. Olaf Plümer: Der europäis­che AI Act betra­chtet vieles von der Meta-Ebene, trotz­dem gibt es ganz konkrete Bedin­gun­gen, die auch Möbel­her­steller und ‑händler betr­e­f­fen. Wenn beispiel­sweise im Kun­denser­vice ein Chat­bot einge­set­zt wird, dann muss dieser laut AIA als solch­er gekennze­ich­net sein. Viele Ein­schränkun­gen ergeben sich bere­its aus anderen europäis­chen Geset­zen. Ins­beson­dere die Daten­schutz-Grund­verord­nung reg­uliert viele Ein­sätze im Unternehmen. Nehmen wir Ihr Beispiel, die Auswer­tung aller einge­gan­genen Bewer­bun­gen einem KISys­tem zu über­lassen. Ein solch­es Sys­tem wäre ohne weit­eres imstande, auf der Basis vorgegeben­er Kri­te­rien selb­st zu entschei­den, wer dann zu einem Vorstel­lungs­ge­spräch ein­ge­laden wird. Dies ver­stößt nach Ein­schätzung von Daten­schutzex­perten ein­deutig gegen die DSGVO. Bere­its die Ein­ladung zu einem Vorstel­lungs­ge­spräch ist wegen möglich­er Diskri­m­inierun­gen rechtlich relevant.

KÜCHEN­han­del: In welchen Anwen­dungs­bere­ichen muss die Küchen­branche beson­ders auf­passen, dass sie nicht gegen die KI-Regeln verstößt?

Plümer: Es gibt im Pro­duk­tion­sprozess nüt­zliche Sys­teme – und lei­der auch Fall­stricke. Wenn beispiel­sweise KI mögliche Aus­fälle von Motoren erken­nen soll, bevor es zu einem Aus­fall kommt: Die Sys­teme erfassen dabei oft auch Dat­en der Men­schen, welche die Maschi­nen bedi­enen. Dann geht es meist
doch an irgen­dein­er Stelle um wenige per­so­n­en­be­zo­gene Dat­en. Solche KI-Sys­teme kön­nten jedoch auch ohne sie auskom­men. In diesen Fällen ist es zielführend und in der Regel auch mach­bar, die Dat­en her­auszu­fil­tern und nicht zu verwenden.

KÜCHEN­han­del: Im Mar­ket­ing sind KITools für per­son­al­isierte Einkauf­ser­leb­nisse im Kom­men, u. a. um Kun­den­wün­sche zu analysieren oder  Kun­den­pro­file zu erstellen: Worauf ist hier beim Ein­satz von Date­n­analyse- Tools zu achten?

Plümer: Dem AIA liegt ein risikobasiert­er Ansatz zugrunde. Es ist beispiel­sweise ver­boten, Kun­den nach ihrem Ver­hal­ten zu bew­erten, das so genan­nte Social Cred­it Scor­ing. Die Erstel­lung von Kun­den­pro­filen, wie wir sie aus den Ver­trieb­ssys­te­men ken­nen, fall­en m. E. eher unter die DSGVO. Die Analyse der Kun­den­wün­sche kön­nen hinge­gen geset­zeskon­form real­isiert wer­den. Hierzu wer­den keine per­so­n­en­be­zo­ge­nen Dat­en benötigt. Hil­fre­iche Ansätze bietet beispiel­sweise die IWO­furn mit dem KI-basierten Feed­back-Man­age­ment. KI bricht u. a. Tausende von her­steller­spez­i­fis­chen Far­ben auf Stan­dard­far­ben herunter. So kann der Han­del Verkauf­strends leichter ermitteln.

KÜCHEN­han­del: Wie verbindlich sind die Regeln und was dro­ht bei Verstoß?

Plümer: DSGVO und AIA sind EU-Verord­nun­gen und haben unmit­tel­bar Geset­zeskraft. Bei der DSGVO richt­en sich die Bußgelder nach dem  Unternehmen­su­m­satz sowie der Art und Schwere des Ver­stoßes. Die Verord­nung sieht für Ver­stöße Bußgelder von bis zu 20 Mil­lio­nen Euro oder für Unternehmen von bis zu vier Prozent des weltweit­en Jahre­sum­satzes vor. Ein Ver­stoß gegen den AI Act kön­nte sog­ar noch teur­er wer­den. Die EU sieht Strafen von bis zu 35 Mil­lio­nen Euro oder sieben Prozent des glob­alen Umsatzes vor.

KÜCHEN­han­del: Wie lässt sich ein Nach­weis erbrin­gen, dass kein inakzept­a­bles oder hohes Risiko vor­liegt? Sind Audits und Zer­ti­fikate vorgesehen?

Plümer: Den ersten Schritt müssen die Anbi­eter der KI-Sys­teme machen. Geschlossene KI-Sys­teme sind offe­nen vorzuziehen. Ein geschlossenes Sys­tem liegt vor, wenn die Kon­trolle über alle Ein- und Aus­gabe­dat­en voll­ständig beim Anwen­der bleibt. Weit­ere Bedin­gung ist, dass der Sys­te­man­bi­eter die Dat­en nicht zum Train­ing des Sys­tems ver­wen­det. Konkret gesprochen: Ich würde statt Chat­G­PT eher Copi­lot ver­wen­den, obwohl bei­des von Ope­nAI / Microsoft kommt.

KÜCHEN­han­del: Dro­ht ein neues Bürokratiemon­strum, das eher block­iert als den dig­i­tal­en Fortschritt voranbringt?

Plümer: Meine per­sön­liche Mei­n­ung ist,dass die Verord­nung drin­gend erforder­lich war – genau­so wie die US-amerikanis­che Exeku­ti­vanord­nung zur KI. Zwis­chen den ersten Entwür­fen und der ver­ab­schiede­ten Fas­sung wurde der AIA sin­nvoller­weise an aktuellen Her­aus­forderun­gen, beispiel­sweise durch die
gen­er­a­tiv­en KI angepasst.

KÜCHEN­han­del: Wann ist rechtlich­er Bei­s­tand erforderlich?

Plümer: Wenn ein Unternehmen keine Stan­dard­soft­ware, wie zum Beispiel Copi­lot, ein­set­zt, son­dern sich spez­i­fis­che KI-Sys­teme baut, sollte ein Experte vor der Freis­chal­tung hinzuge­zo­gen wer­den. Das Ver­fahren ken­nen die Unternehmen schon aus dem Bere­ich des Datenschutzes.

KÜCHEN­han­del: Wie soll­ten Unternehmen ihre Beschäftigten für eventuelle Com­pli­ance-Ver­stöße sensibilisieren?

Plümer: Allen Mitar­bei­t­en­den, die KI-Sys­te­menutzen, soll­ten entsprechende Schu­lun­gen  ange­boten wer­den. Das, was man wis­sen muss, ist über­schaubar. Es wäre schon hil­fre­ich, den Unter­schied zwis­chen einem Sprach­mod­ell und ein­er Such­mas­chine zu erfahren. Dass Sprach­mod­elle hal­luzinieren kön­nen, ist nicht jed­er Nutzerin und jedem Nutzer bewusst.

Ver­botene KI-Systeme

• unter­schwellige, manip­u­la­tive oder täuschende Tech­niken, um das Ver­hal­ten zu verz­er­ren und die bewusste Entschei­dungs­find­ung zu beein­trächti­gen, wodurch erhe­blich­er Schaden entsteht
• Aus­nutzung von Schwach­stellen im Zusam­men­hang mit Alter, Behin­derung oder sozioökonomis­chen Verhältnissen
• bio­metrische Kat­e­gorisierungssys­teme, die Rückschlüsse auf sen­si­ble Merk­male (Rasse, poli­tis­che Mei­n­un­gen, religiöse oder philosophis­che  Überzeu­gun­gen etc.) zulassen, außer bei recht­mäßig erwor­be­nen bio­metrischen Daten
• Soziales Scor­ing, d. h. die Bew­er­tung oder Klas­si­fizierung von Per­so­n­en oder Grup­pen auf­grund ihres Sozialver­hal­tens oder ihrer per­sön­lichen Eigen­schaften, was zu ein­er nachteili­gen Behand­lung führt
• die Bew­er­tung des Risikos, dass eine Per­son Straftat­en bege­ht, aus schließlich auf der Grund­lage von Pro­filen oder Per­sön­lichkeitsmerk­malen, außer
  in direk­tem Zusam­men­hang mit krim­inellen Aktivitäten
• Auf­bau von Gesicht­serken­nungs daten­banken durch ungezieltes Ausle­sen von Gesichts­bildern aus dem Inter­net oder aus Videoüberwachungsaufnahmen
• das Ableit­en von Emo­tio­nen am Arbeit­splatz oder in Bil­dung­sein­rich­tun­gen, außer aus medi­zinis­chen oder Sicher­heits grün­den (Auszug aus AI Act, Kapi­tel II, Art. 5,

Quelle: Future of Life Insti­tute; nähere Infor­ma­tio­nen inkl. KI-Geset­zes-Com­pli­ance-Check­er unter https://futureoflife.org)