#12 Deep Dive Deepfakes: Von Kontrollverlust bis Silencing | mit Jacqueline Sittig

00:00:00: In dieser Folge geht es um sexualisierte Gewalt.

00:00:03: Hinweise zu Hilfe für Betroffene haben wir den Shownotes verlinkt.

00:00:07: Sobald erkennbar ist, dass das Gesicht der Person dann hat die Ernietrigung stattgefunden und dann ist es im Endeffekt egal ob es jetzt super echt aussieht oder noch ein Wasserzeichen draufhat oder ob man sowieso erkennt, dass es gefaked ist.

00:00:24: Betreffen uns alle, aber eben nicht alle gleich.

00:00:26: Trotzdem ist es nicht nur eine Aufgabe auf einer individuellen Ebene sondern auch gesamtgesellschaftlich dass wir da einen Umgang finden.

00:00:41: Wir

00:00:42: haben drei verschiedene Unterrichtsempulse zu dem Thema Deep Fakes.

00:00:46: Die Links dazu findet ihr in den Show notes.

00:00:49: Anfang des Jahres sorgte der Bikini Prompt Trend für erste Schlagzeilen.

00:00:53: Grog, der KI Chatbot von X generierte mithilfe eines simplen Prompts innerhalb kürzester Zeit sexualisierte Bilder von überwiegend Frauen und Kindern basierend auf echten Fotos ohne Kenntnis oder Einverständnis der Betroffenen.

00:01:07: Der Fall Collin Fernandes brachte dann ein paar Monate später nochmal eine sehr viel größere mediale Aufmerksamkeit für das Thema, dass Ernüchternde die Gesetzeslage in Deutschland ist zu diesem Zeitpunkt noch völlig unzureichend um Betroffene zu schützen und Täter in die Verantwortung zu nehmen Und das nicht nur, wenn es um sexualisierte Deepfakes geht sondern auch bei anderen Arten digitaler Gewalt.

00:01:28: Die sich überwiegend gegen Frauen richten wie zum Beispiel digitaler Wojurismus, also heimlich Bilder und Videoaufnahmen in der Sauna gemacht werden.

00:01:37: Bundesjustizministerin Hubeck hat im April diesen Jahres einen Gesetzentwurf vorgestellt.

00:01:41: Dieser sieht unter anderem die Herstellung und Verbreitung von sexualisierten Deepfake ohne das Einverständnis der abgebildeten Person als eigenen Straftatbestand vor – bisher ist das nämlich keiner!

00:01:52: Bis das Gesetz in Kraft tritt, wird aber wohl noch etwas Zeit vergehen.

00:01:56: Das EU-Parlament hat im Juni, auch Maßnahmen zur Regulierung von KI beschlossen – unter anderem ein Verbot von KI Anwendungen mit denen sexualisierte Defekts erstellt werden können.

00:02:07: Diese Maßnahmen sollen ab dem zweiten Dezember XXV gelten.

00:02:11: Ihr seht es ist rechtlich gerade einiges in Bewegung und in dieser Folge wollen wir uns das genauer anschauen!

00:02:17: In der letzten und somit eigentlich ersten Folge zu diesem großen Thema Deepfakes haben wir mit Maria Pavelets gesprochen.

00:02:24: Da haben wir erstmal einen allgemeinen Blick auf dieses Phänomen Deepfake geworfen, und haben uns diesen Kernpunkt angeguckt.

00:02:31: und die Kernfrage, die uns alle bewegt – was tun wir damit?

00:02:35: Wie können wir Deepfaks noch von authentischen Inhalten erkennen?

00:02:38: Eine ganz wichtige Ableitung, die wir getroffen haben ist Mit den eigenen Sinnen wird das bald so gut wie nicht mehr funktionieren.

00:02:44: Das heißt wir brauchen andere Dinge, genau das haben wir aufgedröselt!

00:02:47: Wir brauchen Informationskompetenz, wir brauchen Quellenprüfung und wir brauchen Kontextprüfungen.

00:02:53: Zugleich haben wir aber auch angerissen dass ein ganz ganz wichtiges Thema bei Deepfakes tatsächlich eben ja sexualisierte oder sexualisierende Deepfags sind die ohne Einverständnis entstehen.

00:03:05: und genau darum wird es jetzt gehen in dieser zweiten Folge.

00:03:09: Deswegen freue ich mich auch ganz besonders, unsere heutige Gästin vorzustellen.

00:03:13: Jacqueline Sittig ist Juristin und promoviert zu Bildbasierter sexualisierter Gewalt als Ausdruck von geschlechtsspezifischer Gewalt insbesondere im Kontext von künstlicher Intelligenz.

00:03:25: also genau das Themenfeld was wir uns jetzt auch anschauen möchten.

00:03:29: Ich freue mich sehr auf das Gespräch

00:03:31: Und damit tauchen wir wieder

00:03:32: ein.

00:03:34: Hallo Jacqueline, schön dass du da bist und dir Zeit nehmen kannst.

00:03:38: Herzlich willkommen bei Spotlight Medienbildung!

00:03:41: Wir sprechen ja heute über sexualisierte Deep Fakes und wir wollen uns vor allem die rechtlichen Aspekte anschauen also genau dein Fachgebiet.

00:03:49: Zunächst einmal würde ich jetzt so die Frage in den Raum stellen was genau sind denn sexualisierte Deep Faks?

00:03:54: Was verstehen wir darunter?

00:03:56: Ja vielen Dank für die Einladung Mirna.

00:03:58: Ich freue mich dazu sein, ich freue mich auf unseren Austausch Und da seid ihr wirklich am Puls der Zeit.

00:04:03: Ich hab das Gefühl, an Deepfakes kommt man gar nicht mehr so richtig dran vorbei und gerade diese sexualisierte Ebene ist total interessant und auch ziemlich beängstigend.

00:04:11: Ja, nicht einvernehmlich sexualisierter Deepfake oder sexualisierte Deepfaks generell!

00:04:15: Das sind audiovisuelle Inhalte die manipuliert sind also Täuschungen und dein Geschehen war also Widerspiegeln dass es eigentlich gar nicht gab.

00:04:24: Das Problem ist, diese Deepfakes sind von der Qualität her so gut dass man sie als Täuschung mit dem bloßen Auge gar nicht mehr erkennen kann.

00:04:31: Und ... Dieepfags können verschiedene Ausprägungen haben und die sexualisierte Ebene das sind vor allem solche Deepfags, die Personen in einem intimen oder sexuell bezogenen Kontext darstellen.

00:04:42: also was kann es sein zum Beispiel um Unterwäsche oder eben auch ja in jeglichen Situationen die besonders intim sind?

00:04:51: Direkt, du hattest eben schon angesprochen.

00:04:53: Nicht einvernehmliche sexualisierte Deepfakes.

00:04:56: ist das auch der entscheidende Knackpunkt wo es dann problematisch oder auch irgendwie rechtlich relevant wird?

00:05:01: Genau!

00:05:02: Wenn wir über Deepfake sprechen da muss man ganz klar sagen nicht alle deepfakes sind rechts verletzend oder schädlich aber ein großer Anteil.

00:05:09: Aber wenn wir an die Filmindustrie beispielsweise denken, dann gibt es da einen riesigen Anwendungsbereich für Deepfakes und selbst in den pornografischen Formen kann das tatsächlich nützlich sein, Deepfake einzusetzen.

00:05:22: Das Problem ist, wenn eben das Einvernehmen fehlt also wenn der Konsens fehlt und die dargestellte Person nicht eingewilligt hat in dieser Situation dargestellt zu werden.

00:05:31: Dann haben wir eben ein großes Problem.

00:05:33: und dann sprechen wir von diesen nicht einvernehmlichen sexualisierten Deepfags denn diese sind wirklich schädlich.

00:05:38: man spricht auch Das würde ich jetzt auch einmal an der Stelle kurz erwähnen.

00:05:42: Nicht von Deepfake-Pornografie, sondern eben von sexualisierter Gewalt im Endeffekt.

00:05:50: Also Pornographie ist es dann wenn das einvernehmlich geschieht?

00:05:54: habe ich das richtig verstanden?

00:05:55: so

00:05:56: Genau, als Juristin ist mir natürlich die richtige Wortwahl besonders wichtig und damit spreche ich es eben auch im Punkt an.

00:06:01: Es ist ein neues Phänomen!

00:06:02: Die Begrifflichkeiten finden sich erst so richtig.

00:06:05: Man kann sich vorstellen dass pornografische Deepfakes wie ein Überbegriff sind Und darunter fallen eben solche, die mit Konsens entstanden sind also einvernehmliche Deepfake.

00:06:13: Ein Beispiel könnte sein das Content Creatorinnen zum Beispiel von der Seite OnlyFans Also Content CreatorInnen, die gerade ein Geschäftsmodell damit haben Dass sie intimes Bildmaterial online zur Verfügung stellen dort auch deepfake Technologie verwenden.

00:06:26: Das spricht jetzt per se erst mal nichts dagegen, denn natürlich ist es auch Ausdruck der Persönlichkeitsrechte dieser Person das durchaus zu machen.

00:06:33: Also Deep Fake Pornografie mit einvernehmen – das wird wohl unschädlich sein in vielen Fällen!

00:06:38: Aber die andere Seite?

00:06:40: Das ist eben der Bereich, in dem der Konsens fehlt und da sprechen wir von nicht-einvernehmlichen sexualisierten Deepfakes und da setzen wir auch an wenn wir darüber sprechen wie wir diese rechtlich regulieren müssen.

00:06:52: Ja, es gibt verschiedene Studien aus den letzten Jahren.

00:06:55: Die unterscheiden sich alle so ein paar Prozentpunkte.

00:06:58: nur aber sind alle weit über neunzig Prozent die sagen das eben einen Großteil der Deepfakes die im Netz kursieren pornografisch oder eben sexualisierte Deepfake sind und dass überwiegend die dargestellten Personen Frauen sind.

00:07:16: Gibt es da auch Zahlen dazu wie viel davon dann nicht einvernehmlich ist?

00:07:21: Damit legst du dein Finger direkt am Anfang in die Wunde, nämlich die empirische Wunde.

00:07:26: Es ist ein neues Phänomen!

00:07:27: Wir haben schon ein paar Studienlagen.

00:07:29: Ganz wichtig ist zu verstehen dass das Ausmaß von Deepfakes vor allem die sexualisierte Komponente und die pornografischen Komponenten ja, auffängt.

00:07:38: Das heißt von all den Deepfakes die erstellt werden und darunter zählen nämlich auch diese unschädlichen also sei es jetzt im Bereich von Satire das heißt wenn ich das zu humoristischen Zweckeneinsätze oder eben auch diese pornografische Deepfake und dann diese nicht einfach nämlich sexualisierten Deepfags dass wenn das von ein hundert Prozent sind dann sagen die Studien drei neunzig bis acht neunzig Prozent davon nahezu alle sind pornografische Deepfakes.

00:08:01: Und wenn wir uns in diese Inhalte anschauen, dann sehen wir das es eine geschäftsspezifische Komponente gibt.

00:08:06: Denn von diesen dreien neunzig bis acht neunzig Prozent je nach diesem drei Studien davon sind neunneinzig bis hundert Prozent dargestellte Frauen.

00:08:15: Jetzt wissen wir natürlich nie, wenn wir diese Inhalt im Internet erst einmal sehen ohne die betroffene Person zu kennen ob diese Deepfakes einvernehmlich oder nicht einvernehmbig sind.

00:08:25: Aber ganz klar muss man sagen, in der Regel ist davon auszugehen dass diese Deep Fakes nicht einvernämlich sind.

00:08:31: also was wir festhalten können ist das Deepfake uns eben alle betreffenden all ihren Facetten und unterschiedlichen Formen.

00:08:37: aber die Mehrheit davon sind tatsächlich solche pornografischen Deepfags.

00:08:40: Und es ist

00:08:41: davon Aus

00:08:41: zu gehen, dass eben diese große große Anzahl eben Nicht ein vernehmliche sexualisierte Deepfaks sind Die Frauen und weitere marginalisierte Gruppen darstellen.

00:08:52: Was mich da interessieren würde, was weiß man über einmal die Betroffenen aber auch über die Täter?

00:08:57: Also fangen wir mal mit den Betroffenenen vielleicht an.

00:09:02: Ein Großteil der sexualisierten Darstellungen... gehe ich von aus sind vor allem von Frauen, die im öffentlichen Frauen des öffentlichen Lebens.

00:09:11: Also Schauspielerin.

00:09:12: Wir hatten jetzt den Fall Collin Fernandez zum Beispiel der ja ganz groß in den Medien war dieses Jahr aber auch vorher schon.

00:09:19: Ich glaube Taylor Swift gehörte zu den Betroffenen also einfach Frauen des Öffentlichen Lebens Aber mittlerweile ja auch wahrscheinlich immer mehr Privatpersonen, die davon betroffen sind.

00:09:30: Ich sage es immer ganz gerne so, wenn es um digitale geschlechtsspezifische Gewalt geht.

00:09:34: Da müssen wir das Rat nicht neu erfinden und ich verstehe die Annahme dass es vor allem die Personen des öffentlichen Lebens sind, die betroffen sein.

00:09:40: Das stimmt aber nicht ganz!

00:09:43: Wir alle können von Deepfakes betroffen sein.

00:09:46: Denn schauen wir uns das mal an, wer ist denn von Bildbasierter sexualisierter Gewalt betroffen?

00:09:50: Nacktfotos per se wurden ja schon seit der Beginn der Fotografie angefertigt.

00:09:55: Das heißt, das Phänomen kennen wir schon sehr lange und wir kennen auch den Ursprung, der früher damit als Revengeporn bezeichnet wurde, als das Phenomen populärer wurde also... Bezeichnet wurde damals vor allem, dass nach dem Ende einer Partnerschaft der Ex-Partnerin diese Aufnahme danach veröffentlicht hat gegen den Willen.

00:10:13: Also das sind alles so Weiterentwicklungen die wir dort sehen.

00:10:17: und da muss man ganz klar sagen ja... Dieses Victim-Planning, dass viele Betroffene kennen das gesagt wird naja gut wenn sie nicht will das Nackbilder von ihr veröffentlicht werden dann soll sich eben einfach keine schicken.

00:10:27: Das ist in dem Zeitalter von Deepfakes.

00:10:29: jetzt passiert also das ohnehin leerlaufende Argument zählt nicht mehr und genau so müssen wir uns das auch vorstellen.

00:10:35: In einem Zeitaltern von deepfakes da sind potenziell alle Personen Potenziell betroffenen von solchen sexualisierten Deepfakes und das sehen wir eben auch in der Betroffenheit.

00:10:44: Warum sind es also vor allem Personen des öffentlichen Lebens, die das publik machen?

00:10:48: Das hat ganz viel damit zu tun dass Personen des offenen Leben ist natürlich besonders stark davon betroffen sind da sie in der Öffentlichkeit stehen und auch davon, dass sie meistens mehr Ressourcen haben um damit umzugehen.

00:11:00: Denn was passiert mit dem Betroffenen?

00:11:02: Für die Betroffen ist das natürlich schrecklich!

00:11:04: Sie haben viele psychische Folgen davon wie Wut, Demütigung, sich sind schockiert, sie sind verängstigt davon denn es ist eine unkontrollierbare Natur wenn solche Bilder von einem im Umlauf sind.

00:11:15: Es gibt die ständige Gefahr der Revictimisierung also dass sie auf diese Aufnahmen wieder treffen Das Personen aus ihrem sozialen Nachfeld wie zum Beispiel Arbeitgebende oder Arbeitskolleginnen immer wieder Inhalte treffen.

00:11:27: Und da muss man auch ganz klar sagen, es ist eben gerade diese herabwürdigende sexualisierende Objektivierung die da auch im Vordergrund steht und der sind natürlich die Betroffene besonders ausgesetzt.

00:11:37: Und so ganz kontextlos darf man eben diese Videos auch nicht sehen.

00:11:41: Die verteilen sich auf öffentlichen und nicht-öffentlichem Plattform also beispielsweise öffentliche Pornografieplattform das sind so Mainstream-Plattformen die wir kennen wie etwa beispielsweise Pornhaber aber das sind eben auch spezifische Nischen-Pornografie-Plattformen, ganz kleine die gerade darauf ausgelegt sind.

00:11:59: Die meisten nutzen den gar nicht im Internet wahrnehmen und dann sind es eben auch nicht öffentliche Plattformen oder teils öffentliche Platzform wie Telegram oder WhatsApp auf denen solche Inhalte geteilt werden.

00:12:09: das heißt die Betroffenen erfahren meistens erst durch dritte Personen wenn überhaupt davon dass diese Inhalten im Internet sind und leben dann natürlich immer damit mit der Gefahr dessen ich wissen wo noch Kopien im Umlauf sind.

00:12:21: Das heißt Auf diesen Plattformen wird dann meistens auch beleidigende Kommentare verbreitet.

00:12:26: Dort kann es sein, dass es zum Doxin kommt und das beschreibt, dass personenbezogene Daten wie die Adresse, wie der Klarnamen also solche Daten, die die Person identifizierbar machen, auch mitveröffentlicht werden.

00:12:38: Und was auch passiert ist, dass Personen vor allem auch mit solchen Deepfakes erpresst werden.

00:12:43: Das heißt das diese Bilder genutzt werden und dann sagen die Tat aus ihm den Personen hey wenn du nicht willst, dass ich das in deinem sozialen Umfeld verbreite, dann überweise mir den und den Geldbetrag.

00:12:54: Das heisst es gibt eine riesen Bandbreite von der Betroffenheit von diesen dargestellten Personen.

00:13:00: Und das ist natürlich besonders schwer zu ertragen.

00:13:04: Jetzt kann man natürlich sagen, okay das ist ein Problem der Betroffenen aber so einfach dürfen wir uns das als Gesellschaft eben nicht machen.

00:13:10: Denn die Studienlage zeigt dass nicht nur die Personen von Hass im Internet direkt betroffen sind eben ihr Verhalten anpassen oder ja sich aus dem Netz zurückziehen in Folge von dieser Betroffenheit also dem sogenannten silencing Effekt, sondern eben auch die Menschen die diesen hasst nur wahrnehmen das heißt die solche Bilder sehen wenn sie den sozialen Medien verbreitet werden.

00:13:35: Und das ist eben der große Silencing-Effekt und wir sehen einen zurückziehen von gerade Betroffenen, auch denjenigen die das wahrnehmen.

00:13:42: Die halt fürchten dass sie davon vielleicht auch noch betroffen werden könnten.

00:13:46: Das führt natürlich zu einer Verkürzung der Meinungsvielfalt im Internet weil sich ja gerade Frauen dann aus dem Internet zurückziehen weil sie Angst haben betroffen zu sein.

00:13:56: Ganz interessant!

00:13:56: Das haben wir vor zwei Jahren zum Beispiel in Südkorea gesehen.

00:14:00: Eine Studie lagen nach, also nach Auswertung von einem Unternehmen das solche Nudification-Möglichkeiten angeboten hat.

00:14:08: Wurden zwei Tausend dreiundzwanzig Fünfzig Prozent aller auf der Welt erstellten Deepfakes in Südkorea angefertigt und da kam es wirklich zu einer sexualisierten Deepfake Pandemie.

00:14:19: Das heißt dass gerade Frauen an Universitäten und Schulen davon betroffen waren und sich kollektiv aus dem digitalen Raum zurückgezogen haben.

00:14:27: Das wurde dann damals als sogenannten Chilling Effekt beschrieben.

00:14:31: Das heißt, wir müssen sagen diese Deep Facts betreffen uns alle aber eben nicht alle gleich.

00:14:36: trotzdem ist es nicht nur eine Aufgabe auf einer individuellen Ebene sondern auch gesamtgesellschaftlich dass wir deinen Umgang finden.

00:14:42: Ja das klingt jetzt so.

00:14:43: also gerade was du aus Südkorea beschrieben hast, dass es ja auch einfach enorm leicht ist für Täter diese Deepfacts zu erstellen.

00:14:53: und da frage ich mich welche?

00:14:56: Welche Verantwortung liegt denn da bei den Plattformen?

00:14:59: Also es gibt ja jetzt bei vielen gängigen KI-Modellen schon Filter und Sperren drin, dass solche Inhalte nicht generiert werden können.

00:15:07: Aber es scheint doch noch sehr viel Zugriff zu geben auf Technologien, auf KI Anwendungen in denen das sehr einfach möglich ist und auch einem großen Grad dann passieren kann

00:15:19: Genau.

00:15:19: Mirna, damit sprichst du schon an wie leicht es ist eben diese Defax überhaupt zu erstellen?

00:15:23: Also die Apps mit denen man das erstellen kann, die nennen wir Nudifying-Apps.

00:15:29: Es gibt Apps, die so allein darauf spezialisiert sind diese Inhalte zu erställen und gleichzeitig gibt's aber auch Chatbots Wie beispielsweise Anfang des Jahres der Chatbot Krok Der von der Plattform X ist ehemals Twitter Von Idon Musk, der solche Möglichkeiten geschaffen hat Und da muss man ganz klar sagen, das ist wenige Klicks ein kleiner Promt.

00:15:51: Das heißt einen Auftrag den man solch in einem Chatbot eben gibt und man kann Personen nahezu vollständig entkleiden und sie eben in einer anderen Kontext setzen.

00:16:00: diese Apps sind derzeit auch noch über die gängigen App Stores verfügbar und da kommt jetzt die EU Kommission ins Spiel denn gegen Ende des Jahres kommt eine neue EU Richtlinie Die KI-Verordnung oder dieser KI Verordnung.

00:16:15: dort sollen eben quasi auch risikobasiert solche deepfakes teilweise reguliert werden und in einem Begleitverfahren, dem sogenannten omnivus Verfahren wurde jetzt eben beschlossen dass solche nudifying applications diese funktion verboten werden sollen.

00:16:30: Das heißt wir sehen da schon ein bisschen Bewegung denn das hast du auch schon ganz richtig betont die plattform Betreibenden Für die ist das natürlich ein Geschäftsmodell, denn solche Inhalte sind besonders polarisierend.

00:16:42: Solche sexualisierende Inhalten sorgen für besonders viel Traffic.

00:16:46: Das heißt es sind die Plattformen, die daran verdienen dass besonders viele Abrufe auf diese Inhaltserfolgen.

00:16:54: und deswegen sind es auch die Platformen die in der Regulierung mitgedacht werden müssen.

00:17:00: Und wenn wir da schon über X sprechen, da ist es eben auch genau so passiert wie du gesagt hast dass Taylor Swift dort über Tage hinweg mit einer Flut von nicht einvernehmlichen sexualisierten Defax überrannt wurde und das tagelang gedauert hat bis die Plattform eingegriffen hat.

00:17:16: Also wir sehen hier schon eine große Verzögerung sowohl in dem Fall von Crock als auch der Causa von Taylor Swift damals.

00:17:23: Und

00:17:23: eine Sache,

00:17:24: da will ich den tatausübenden Personen nicht so leicht machen.

00:17:27: Denn du hast mich gefragt wir sind in die Betroffenen aber wir sind auch die Tatausübende und da kann ich dir sagen Da haben wir jetzt endlich auch ein bisschen Empirie.

00:17:36: also ganz so groß ist die Wunde wohl doch nicht mehr oder sie wird zumindest nach und nach geschlossen und das fand ich extrem spannend!

00:17:43: Da wurde nämlich gefragt welche Motive haben die Tat aus übenden Person daran?

00:17:48: Nicht einfach nämlich sexualisierte Deepfacts herzustellen?

00:17:51: Und dort gaben die Tat aus ihm den Personen an, dass sie sowohl aus dem Grund des Vermögensvorteils vorgehen.

00:17:57: Das heißt, dass sich ein Vermögenvorteil wie zum Beispiel durch Sex torschen also diese Erpressung mit dem Bildmaterial versprechen oder auch das es in reiner Schädigungsabstich passiert.

00:18:09: Denn das muss man schon sagen... Man kann bildbasierter sexualisierte Gewalt nicht auf eine Rache alleine stützen, denn natürlich sind die Motive viel vielfältiger.

00:18:18: Aber häufig finden solche Deepfakes auch eben in Intimbeziehung oder in Ex-Partnerschaften statt.

00:18:25: Das sind ja auch die Vorwürfe, die Kulin Fernandes erhoben hat.

00:18:28: Da genießt ihr auch immer ein partnerschaftlichen Kontext.

00:18:31: Dort wurde auch genannt, dass es häufig um zurückgewiesene romantische Annäherungen ging und diese Deepfakes im Anschluss daran erstellt wurden.

00:18:38: Und eben auch zu Demütügung zur Rufschädigung zum Machtausübung denn das muss man sich ja einmal vor Augen halten.

00:18:43: was stellen diese DeepFakes dann da?

00:18:45: also ich kann dort wirklich dekradierende Situationen hervorrufen und natürlich ist es ein großer Ausdruck von Kontrollverhalten.

00:18:53: außerdem eine große Rolle spielt die soziale Verstärkung durch die Peer Crew.

00:18:57: Das ist natürlich gerade im Kontext von Jugendlichen interessant, denn die erhoffen sich und durch die Erstellung solcher Deepfakes vor allem der Anerkennung innerhalb insbesondere männlicher Peer Groups.

00:19:09: das heißt so sie haben das Bedürfnis nach Zugehörigkeit oder nach Status Und natürlich auch einfach die wollen kreativ sein Die möchten einfach sich weiter aus eben.

00:19:21: Was ich besonders spannend fand, ist dass viele Täter nannten das sie eine Neugier haben an dieser technologischen Experimentierfreude und witzigerweise haben also witzigerweise in Anführungszeichen gaben das vor allem die Personen an, die nicht ursprünglich mit dem Internet aufgewachsen sind.

00:19:39: Das heißt wir sprechen da über tatasümle Personen vor einem Täter im Alter von fünfunddreißig Jahren plus das heißt diejenigen die früher gar keine Technik zur Verfügung gehabt haben und jetzt eben einen besonderen Reiz darin sehen, diese Technik auszuprobieren gerade weil sie eben so niedrigschwellig ist.

00:19:57: Und wir über Apps- und Chatbots einen ganz leichten Zugang zu dieser Technik haben.

00:20:05: Das ist ja generell mit KI dass das eine Faszination ausübt auf ganz viele unabhängige von den Konsequenzen oder Folgen sondern einfach diese Faszion dass es so schnell geht.

00:20:14: Absolut, ich glaube dass wir nicht vergessen dürfen das KI ja auch etwas Positives hat.

00:20:20: Das ist ein Innovationsbereich der durchaus seine Daseinsberechtigung hat aber steht in keinem Verhältnis wie leicht diese Bilder und die Inhalte angefertigt werden können im Vergleich dazu was für einen Schaden sie am Ende anrüchten können gerade unter Bezugnahme dessen das es unkontrollierbar ist wo diese Inhalten landen.

00:20:38: Wenn wir uns jetzt Wenn wir uns jetzt vorstellen, ich bin betroffen oder ich bekomme über eine dritte Person davon mit das von mir sexualisierte Deep Fakes erstellt wurden.

00:20:52: Was sind denn dann meine Möglichkeiten?

00:20:54: Wir haben im Moment noch nicht eine Gesetzeslage, die Betroffene ausreichend schützt.

00:21:01: aber wie sieht das konkret aus?

00:21:05: Genau!

00:21:06: Da kommen wir jetzt in meinen Steckenpferd, in die rechtliche Expertise.

00:21:09: Obwohl ich gleich zuvor sagen muss... Wenn wir nicht einvernehmlich sexualisierte Deepflex bekämpfen möchten dann ist das natürlich auch eine rechtliche Aufgabe aber genauso müssen wir uns auch technisch und gesamtgesellschaftlich damit befassen.

00:21:22: Aber jetzt lassen sie erstmal das Rechtliche anschauen und erst mal schauen welche Rechte können denn da überhaupt verletzt sein?

00:21:28: Und da schauen wir Juristinnen erstmal auf unsere Grundrechte was es denn überhaupt geschützt!

00:21:33: Und da ist ganz im Kern unser allgemeines Persönlichkeitsrecht.

00:21:37: Das findet dann Ausdruck zum Beispiel durch das Recht auf sexuelle Selbstbestimmung, dass wir haben aber auch das Recht am eigenen Bild und das Recht an der eigenen Stimme und dem Selbsterstellungsschutz.

00:21:47: Außerdem mit Blick auf diese geschlechtsspezifische Komponente und dahingehend, dass Frauen besonders betroffen sind gibt es auch ein recht oft nicht Diskriminierung gerade durch solche Algorithmen, durch die Programme die das ermöglichen.

00:22:00: Ich habe außerdem ein Recht auf informationale Selbstbestimmung.

00:22:03: Das heißt, ich hab durchaus in rechts entscheiden welche Daten sind von mir im Internet verfügbar und wie werden die überhaupt verarbeitet?

00:22:10: Und je nachdem... zu welchen psychischen und körperlichen Folgen es kommen kann, habe ich natürlich auch einen Recht auf körperliche Unversehrtheit.

00:22:17: Wenn wir uns diese Grundrechte anschauen auf der einen Seite und die vor allem Betroffenen zustehen dann haben wir natürlich auch auf der anderen Seite die Tat aus ihm nur Personen, die häufig vermeintlich davon ausgehen sie hätten ein Recht auf die Meinungsfreiheit oder auf die Kunstfreiheit.

00:22:29: und da muss man ganz klar sagen wenn der Konsens fehlt dann gibt es keinen recht darauf diese Inhalte herzustellen um zu verbreiten.

00:22:38: Gut, jetzt haben wir diese Rechte eben angeschaut.

00:22:41: und was macht der Gesetzgeber?

00:22:42: Wir denken zuerst an das Strafrecht.

00:22:44: Das ist nämlich das schärfste Schwert des Staates und denken na gut da muss es natürlich strafbar sein.

00:22:50: aber wenn wir in das Straftgesetzbuch schauen dann sehen wir da dass der strafrechtliche Schutz gerade für Erwachsene aber auch für Jugendliche fragmentiert unübersichtlich und total unzureichend ist.

00:23:02: Wir schauen uns dann an, welche Tatbestände es gibt.

00:23:05: Die möglicherweise verwirklich sein könnten und denken dann vor allem an die Verletzung des Intimbereichs durch das Bildaufnahmen.

00:23:12: Also das ist ein Paragraf von der Trennbarung.

00:23:14: Das ist der sogenannte Abskirting in Down-Plausing-Paragraph.

00:23:17: Und der ist zum Beispiel dafür gedacht oder geschaffen worden nachdem auf einem Festival gewinnstige Spycams auf Dixie Toiletten versteckt wurden und Frauen da vor allem gefilmt wurden wie sie auf die Toilette gegangen sind.

00:23:30: Und dann müssen wir schon sagen da offenbar sich so ein bisschen, dass wir in analoges Strafgesetz haben.

00:23:35: In das war schon einzelne digitale Taten eingezogen sind.

00:23:39: aber so richtig können wir mit den Phänomenen von Deepfax noch nicht umgehen denn bei dem Deepfx handelt es jetzt eben nicht um echte Aufnahmen sondern um Bildmanipulation und außerdem wird daher auch nicht Anna Unterwäsche vorbei gefilmt.

00:23:52: Das gab es ja so erstmal nicht und deswegen fliegen wir dann bei so einem Tatbestand beispielsweise raus.

00:23:57: Und das Schlimme ist, dass auch andere Tatbestände die vielleicht einschlägig sein könnten eben aus diesen Gründen häufig nicht einschläglich sind gerade weil es so ein komputertechnisch verarbeitetes Bild ist und eben kein echtes und deswegen sind wir da sehr schlecht aufgestellt.

00:24:13: Am Ende bleibt uns dann tatsächlich vom Strafgesetzbuch, vom Kernstrafrecht sehr wenig und wir müssen ausweichen auf ein Nebenstrafrecht.

00:24:21: Und zwar gibt es da den Paragrafen Zweiundzwanzig Kuck also Kunsturhebergesetz und da gibt's die Verletzung der Persönlichkeitsrechte an Bildnissen.

00:24:30: Das ist tatsächlich im Moment das einzige Strafrecht leg wirklich häufig zutreffende gesetzliche Mittel, das eben uns zur Verfügung steht.

00:24:40: Aber man muss dazu sagen... also man merkt es ja schon an dem Titel, dass ist natürlich ein Gesetz, das nicht auf das Recht auf sexuelle Selbstbestimmung gerichtet ist sondern eben auf dieses Recht am eigenen Bild und da sieht man schon daran, dass die Strafe da extrem gering ist.

00:24:52: Also das wird diesem strafwürdigen Unrecht, was durch das Herstellenverbreiten von Deep Facts entsteht eigentlich gar nicht gerecht.

00:24:59: Dann gibt es noch die Überlegung, naja könnte das nicht auch neben strafrechtlich im Bereich vom Datenschutzrecht interessant sein denn?

00:25:05: Das ist ja mein Gesicht.

00:25:06: Das ist ein personenbezogenes Datum.

00:25:07: Das kann mich identifizieren und da merkt man dann aber naja so richtig ist auch das Datenschützrecht eigentlich für die Privatperson per se gemacht sondern ist das vielleicht eher ein Sonderdelikt.

00:25:18: also man sieht schon dass strafrechts jetzt gerade noch nicht darauf ausgerichtet Aber wir können zumindest ein bisschen aufatmen.

00:25:26: Die Deutschland muss als Mitgliedstaat der EU bis Juli nächsten Jahres eine EU-Richtlinie in nationales Recht umsetzen.

00:25:34: Das ist die Richtlinie gegen Gewalt an Frauen und häusliche Gewalt, und diese Richtlinien sieht tatsächlich digitale Tatbestände vor!

00:25:42: Also wer jetzt denkt, dass es zu einer übereiten Rechtsprechung kommt aufgrund von prominenten Fällen.

00:25:49: Den kann ich beruhigen denn tatsächlich ist diese Richtlinie schon lange in Kraft getreten wird jetzt umgesetzt und diese Reformpläne bestehen schon sehr lange.

00:25:58: den Deutschland sofern auch die Hände gebunden das muss sich nach EU recht richten Und insofern kann es auch entscheiden, dass wir einen stärkeren Schutzrahmen in Deutschland umsetzen wollen als diese EU-Richtlinie vorsieht.

00:26:10: Das möchte jetzt Justizministerin Dr.

00:26:13: Hubeck auch tatsächlich umsetzten indem sie nicht nur sagt Wir wollen das verbreiten unter Strafe stellen sondern eben auch schon das herstellen und Jetzt werden wir sehen wie es wirklich kommt.

00:26:23: Das Gesetz muss noch quasi vom Bundestag verabschiedet werden.

00:26:26: Es gibt finde auch noch Besprechungen statt und dann hoffen wir aber, dort auch an Lücken geschlossen wird und auch das Herstellen unter Strafe gestellt wird.

00:26:36: Und das ist das Strafrecht, dass es eben auch repressiv, das greift eigentlich ein bisschen zu kurz und fairerweise wenn die tatausübende Person dann verurteilt wurde habe ich als Betroffene auch nicht den Vorteil, dass die Inhalte aus dem Internet verschwunden sind.

00:26:50: Das heißt was ratig Betroffenen?

00:26:52: Betroffene haben die Möglichkeit, neben dem Strafrecht also dass sie zum Beispiel durch eine Anzeige bei einer Polizei oder der Staatsanwaltschaft verfolgen können auch zivilrechtlich vorzugehen.

00:27:02: Zivilrechtliche steht denen nämlich einen Unterlassungsanspruch zur Verfügung.

00:27:07: so im Volksmund sagt man ganz gerne Abmahnung dazu.

00:27:09: eigentlich ist es eine Aufforderung zu Abgabe einer Verpflichtungen und Unterlassung Erklärung Und das sieht dann so aus ein rechtsanwaltsliches Schreiben erstellt wird und eben die Plattform in dem Fall dazu aufgefordert werden, diese Inhalte zu entfernen.

00:27:24: Denn jetzt mal ganz konkret also... wenn ich einen Inhalt von mir online sehe.

00:27:29: Dann ist das Wichtigste, dass sich an aller erster Stelle ein rechtssicheres Beweismittel herstelle von diesem Screenshot.

00:27:36: und da gibt es auch ein paar Dinge zu achten.

00:27:38: also ein rechtsdicherer Screenshots der besteht darin, dass wir oben die URL mit erfassen Das Datum wann der Inhalt gepostet wurde Und auch das Datum an dem ich den screenshot gemacht habe.

00:27:49: Wer sich da unsicher fühlt Der kann zum Beispiel Tools wie von Netzbeweis benutzen anbieten da, der eben dafür sorgt dass eben auch die Kommentare beispielsweise mit erfasst werden.

00:28:00: Und wenn ich dann einen Beweismittel erstellt habe, erst dann sollte ich versuchen über diese drei magischen Punkte über jedem Inhalt den wir online finden zu versuchen diesen Inhalt bei der Plattform per se zu melden.

00:28:13: Leider ist da das Recht nicht ganz zugänglich, denn die Plattformen werden durch EU recht reguliert.

00:28:20: Durch den Digital Services Act ist vorgegeben wie Plattform ein Moderationsverfahren also diese Meldeverfahren ausgestalten müssen damit nutzende Niedrigschwellig die Inhalte löschen lassen können.

00:28:31: Das Problem ist nur, dass die Rechtsprechung jetzt gerade vorgibt.

00:28:36: Dass wir eine substanzielle Meldung an die Plattform machen müssen.

00:28:39: Was bedeutet das?

00:28:40: Also ich muss die Platform ganz konkret darüber informieren was der rechtsverletzende Inhalt an diesem Post, dass der heruntergenommen werden sollte.

00:28:48: Naja das Design von dem Plattform sieht aber häufig so aus, dass ich eben nur ein Klickmenü habe mit Schlagworten, wieso dieser Inhalt rechtsverletzend ist und das reicht natürlich häufig nicht aus.

00:29:00: Das heißt wenn ich dann die Ablehnung bekomme... Habe ich das Problem, dass sich dann noch ein Widerspruch einlegen kann?

00:29:05: Dann komme ich immerhin meistens zu einem Freitextfeld in dem ich mich noch ein bisschen mehr erklären kann.

00:29:09: Aber die Chancen sind eben meistens nicht so richtig gut und das kann sehr frustrierend sein!

00:29:14: Und dann bleibt meistens nur die Möglichkeit, eben sich anweitliche Beratung zu suchen und eben zu schauen, dass ich so eine Unterlassungserklärungen für Suche von den Plattformen einzuholen.

00:29:26: Das klingt unglaublich umständig emotional ja sehr belastend, wenn ich da selbst betroffen bin möchte.

00:29:32: Ich mir ja diese Inhalte vielleicht auch gar nicht anschauen und auf meinem Handy sichern und dann da noch melden.

00:29:38: Und in der Zwischenzeit ist es ja weiterhin online und kann weiter auch verbreitet werden, repostet Klingt so, es wäre wünschenswert wenn es einen kürzeren Weg irgendwann gibt.

00:29:52: Die Erfahrung aus der Praxisteileneinverständnis da für die Betroffenen ist es aus mehreren Gründen wirklich eine große Herausforderung denn man muss sich vorstellen dass diese Inhalte ja meistens geteilt wurden.

00:30:03: das heißt es gibt diese sehr häufige Revictimisierung die ich vorhin schon angesprochen habe.

00:30:07: mal ganz konkret an dem Beispiel wenn ich aktiv danach suchen muss, auf welchen Inhalten ich bin.

00:30:13: Wenn ich diese Inhalte immer wieder einzeln melden muss weil die Plattform eben noch keine Verpflichtung haben diese In halter auch dann proaktiv weiter zu ja zu löschen Dann sorgt das natürlich dafür dass ich jetzt betroffene Person ständig wieder damit abgebildet werde.

00:30:30: Und da kann man auch nur raten, wenn man solche Inhalte von sich findet, sich Hilfe zu holen.

00:30:36: Also sowohl bei Freundinnen als auch bei den Eltern, bei Lehrkräften eben die mit ins Boot zuholen damit man eben zusammen auch solche Beweise sichern kann und sich da eben solidarisieren kann.

00:30:50: Es gibt Hilfe es gibt tolle Hilfsorganisation wie beispielsweise Hate Aid.

00:30:55: Das ist eine Hilfs-Organisation die sich gegen viele Formen von digitaler Gewalt einsetzt die auch einen betroffenen Beratungsteam hat, das heißt sie bieten psychologische Unterstützung und Sie haben auch die rechtliche Expertise um weiter zu vermitteln wenn diese Inhalte eben rechtsverletzend sind.

00:31:11: Und ich kann nur dazu ermutigen solche Angebote wie von Hate Aid auf jeden Fall anzunehmen Und dort eben zu schauen.

00:31:18: Natürlich finden dann auch weitere technische Möglichkeiten statt wie zum Beispiel KI-Detektoren, das heißt es gibt auch durchaus schon Startups die sich darauf spezialisiert haben gerade solche Inhalte zu finden, die Personen auch aktiv ansprechen dass so Inhalter von ihnen gefunden wurden und eben dafür sorgen dass man herausfinden kann auf welchen Plattformen wurden die geteilt?

00:31:39: aber du hast absolut recht unfassbar herausfordernd ist für die Betroffenen, dagegen vorzugehen.

00:31:47: und ich verstehe auch wenn dir der Kopf danach raucht weil die juristische Lage eben so vielfältig ist.

00:31:54: Ich sage immer ganz gerne das ist wie ein Puzzle.

00:31:57: wir schauen welche Rechte passend zusammen und je nach Einzelfall haben wir vielleicht strafrechtliche Tatbestände die einschlägig sind Wir können den Zivilrechtsweg gehen Und wir haben eben die EU-Ebene Die besondere Auflagen macht Und das möchte ich auch ganz gerne nochmal betonen.

00:32:12: Also die EU-Ebene, die gibt uns schon auch Mittel an die Hand.

00:32:16: also wir haben über den DSA geredet der vor allem regelt wie müssen die Plattformen, Moderationsverfahren Einrichten, was müssen Sie gegen rechtsverletzende Inhalte machen?

00:32:26: Und diese Umsetzung ist besonders mühsam in der Praxis.

00:32:30: Aber wir sind da hinterher.

00:32:32: es gibt besonders viele Grundsatzprozesse auch dazu die zum Beispiel auch von Hilfsorganisationen Die Hate It finanziert werden um eben diese Lücken für Betroffene zu schließen.

00:32:40: und gleichzeitig kommt da eben auch die KI-Verordnung jetzt Ende des Jahres die weitere Lücken schließen soll.

00:32:46: Ein Skandal ist natürlich, dass die KI-Verordnung ursprünglich diese Deepfakes nicht als ein hohes Risiko eingestuft hat.

00:32:54: Was darauf zurückzuführen ist das als wir angefangen haben über Deepfake zu sprechen vor allem der politische Kontext gesehen wurde und der der Desinformationen.

00:33:03: Und das ist ein wichtiger Teil.

00:33:04: aber wenn wir uns anschauen in der Anzahl im Verhältnis wie viele davon wirklich sexualisiert sind dann muss man sagen es wird schon der größte Teil sein und da müssen wir eben auch ansetzen.

00:33:14: Und die KI-Verordnung sieht zum Beispiel solche Transparenzpflichten vor.

00:33:18: Das heißt, sie sagt es muss ein Wasserzeichen auf dem Deepfake angebracht werden dass man eben erkenntlich sieht das ist von KI generiert und da bin ich mir noch unsicher.

00:33:26: meiner ist es dann wirklich für die Betroffenen einer Leichterung wenn eben über der Gruppenvergewaltigung in der ich abgebildet bin da darüber steht naja Das ist eben von KI anstellt.

00:33:37: Und da hab ich große Zweifel, das muss natürlich auch empirisch aufgearbeitet werden.

00:33:42: aber für die Betroffenen wird es in der Praxis erst mal keine Rolle spielen weil die sexualisierende Objektivierung diese Herabwürdigung mit dem Inhalt trotzdem verfolgt werden kann.

00:33:51: Ja!

00:33:51: Das ist ja auch bei Deepfakes die gar nicht so super echt aussehen sondern wo man vielleicht auf den ersten Blick sowieso erkennt dass es ein Deepfake ist... ...das spielt für eine betroffene Person Nicht so wirklich eine Rolle.

00:34:05: Sobald erkennbar ist, dass das Gesicht dieser Person dann hat die Ernietrigung stattgefunden und ... Ist es im Endeffekt egal, ob das jetzt super echt aussieht oder ob's noch ein Wasserzeichen drauf hat?

00:34:18: Oder ob man sowieso erkennt dass es gefaked ist.

00:34:21: Dem kann ich nur zustimmen.

00:34:22: vor allem sprechen wir in der juristischen Bubble um nochmal einen kleinen Einblick zu geben gerade auch darüber.

00:34:27: naja wenn wir davon ausgehen Die Fake sind per se solche Täuschungen die eben quasi nicht mehr von einem Original zu unterscheiden sind weil sie von so einer guten Qualität sind und die sollen erfasst werden na wie gehen wir denn dann mit denen um von denen wir schon sehen, naja das ist eine schlechte Qualität haben.

00:34:43: Fallen die dann auch darunter?

00:34:45: Und das sind eben solche Fragen bei denen wir nun aufpassen müssen dass wir hier wirklich mit der Regulierung umfassend ansetzen.

00:34:53: denn wie du sagst die Wirkung bleibt gleich ob das nun täuschend echt ist oder nicht.

00:34:58: Ja ja das ist wahrscheinlich total schwer da also da Abstufung uns zu treffen und ab wann.

00:35:03: es ist irgendwie... Also auch was du voll meintest mit den jetzt bestehenden Gesetzen was du genannt hast, aus dem Kunstfreiheitsgesetz.

00:35:17: Kunsturhebergesetz?

00:35:18: Genau.

00:35:20: Ja genau also ab wann würde man sagen okay das ist jetzt irgendwie eine Karikatur.

00:35:24: aber und ab welchem Zeitpunkt sieht es zu realistisch aus?

00:35:27: Das ist ja im Einzelfall gar nicht abstufbar oder ganz schwer

00:35:34: Genau.

00:35:35: Es sind auf jeden Fall Herausforderungen, die wir uns stellen müssen und deswegen sagen wir Juristinnen ja auch immer so gerne es kommt darauf an kaum ein Fall ist wie der andere und das ist wirklich in jedem Fall einzeln zu prüfen und da werden auch noch Herausforderung auf uns zukommen.

00:35:48: ich glaube was auch wichtig zu verstehen ist ist das Klima dass online überhaupt besteht.

00:35:53: also wenn wir an solche berühmten Fälle denken wie zum Beispiel den Pelikofall der auch Einfall von bildbasierter sexualisierter Gewalt Dann verstehen wir vielleicht auch eher, wie das Online-Klima ist.

00:36:06: Wie solche Strukturen überhaupt entstehen können?

00:36:08: Und da gab es jetzt im April einen Fall der in Deutschland von einem Münchner Gericht entschieden wurde und den möchte ich gerne kurz erzählen weil er eben besonders gut zeigt, wie die Stimmung in solchen Foren ist indem auch solche nicht einvernehmlichen sexualisierten Deepfags verbreitet werden.

00:36:24: Das ging um eine Telegram Gruppe Die Fahrschule genannt wurde, in der es eben darum ging, ja sexualisierte Gewalt unter Ausnutzung und Widerstandsunfähigkeit in Folge von Intoxikation quasi darzustellen.

00:36:37: Und dieser Fahrschulle Telegram-Kruppe wurde extrem menschend und Frauenverachten kommuniziert.

00:36:43: Das hat sich daran gezeigt dass dort Frauen nachdem sie betäubt wurden und vergewaltigt wurden wenn sie die Freundinnen waren oder Lebensgefährten als Privatautos bezeichnet wurden, als Luxusautos, wenn sie besonders attraktiv waren und im betäubten Zustand als totisch weine.

00:37:00: Und ich finde das zeigt so ganz gut dieses Bild oder dieses Feld von der Menosphe in der eben solche Inhalte verbreitet werden und auch so ja man kann sich anders sagen wie die Menschen und die Frauenfeindlichkeit unter denen solche Inhalten verbreitet werden, also die wirklich sich das zur Aufgabe gemacht haben solche Inhalte sowohl aus dem richtigen Leben als auch aus ja Deepfakes quasi herzustellen und dann online zu verbreiten.

00:37:25: Wir kennen das tatsächlich schon sehr viel länger denn Vorher bevor man von der Menosphe gesprochen hat da gab es diese genannte Incell-Beregung.

00:37:34: Also in Cell ist ein Schlüsselboard das setzt sich zusammen aus involuntary Celebit unfreiwillig enthaltsam und wir sehen an solchen Fällen besonders gut auch das analoge Gewaltformen und digitale Gewaltvorm zusammengehören.

00:37:50: Also zum Beispiel der Attentäter von Hanau, von Christchurch, von Halle all diese Männer waren bekennende Incells.

00:37:58: Und man sieht eben auch dass eine Radikalisierung die in der digitalen Welt stattfindet Auch auf die analogebäld umschlagen kann.

00:38:06: Das ist ja kein abgegrenzter Bereich.

00:38:08: Wir sind ständig alle mit unseren Handys im Internet und verbunden.

00:38:13: Diese Bereiche, die sind nicht mehr zu trennen Und man kann sich eben auch sehr schnell radikalisieren.

00:38:20: Darüber muss man auch sprechen

00:38:22: Wenn auch einfach solche Formen von Gewalt normalisiert werden.

00:38:25: Ich denke jetzt gerade an wenn wir zur KI Technologie zurückgehen An KI-Avartare zum Beispiel Im pornografischen Kontext einen gewissen

00:38:38: Umgang

00:38:39: mit Frauen normalisieren könnte ich mir vorstellen.

00:38:44: Genau, du sprichst ein super spannendes Feld an was gerade immer mehr zunimmt und zwar solche AI-Tab die darauf bestehen, vor allem so als AI-Companion zu funktionieren.

00:38:56: Also was kann man sich darunter vorstellen?

00:38:57: Es gibt spezifische Angebote, Firmen, die das zum Beispiel anbieten sind so Replica oder Character AI und sie bieten einen virtuellen Freund eine virtuelle Freundin ein Companion und vor allem haben die auch häufig so eine Dating Simulation.

00:39:13: Das heißt dass Sie unter der Betonung von Intimität und Beziehungsdynamik eben eine Partnerschaft vorgeben.

00:39:22: Und dort werden natürlich auch Avatar eingesetzt und dort findet natürlich auch die Fake-Technologie statt.

00:39:29: Diese Mainstream-Angebote, die wir kennen wie Chatcha BT, Gemini, Croc & Zora sind nicht so richtig darauf ausgelegt aber sie haben natürlich diese Möglichkeiten auch.

00:39:39: Das ist natürlich auch sehr gefährlich, nicht nur weil es für viele gerade in Kontexten wie der sogenannten Male Loneliness Epidemic viel leichter ist, sich mit einem Chatbot zu unterhalten der gar keine Gegenrede leistet.

00:39:52: Denn diese Chatbots sind ganz aktiv darauf programmiert besonders viel Traffic zu halten besonders viel Will to please zu zeigen und die ja Gegenstücke im Gespräch zu halten.

00:40:06: Und das ist natürlich sehr problematisch.

00:40:08: wenn nämlich wir uns technisch anschauen wie funktioniert denn diese ChatBots dann sind die so geschaltet, dass ich einen Input habe was der Chatwort machen soll.

00:40:19: Aber dazwischen da sind neuronale Netzwerke geschaltet.

00:40:23: Neuronale Netzwerk, die sind technisch theoretisch sowie in unserem Gehirn.

00:40:28: unser Gehirnen lernt aus Erfahrungen Die Neuronen verknüpfen sich immer wieder neu.

00:40:32: und bei der KI Da sind das Trainingsdaten.

00:40:35: Das heißt Ich gebe der KI Daten aus dem öffentlichen Internet mit und sage dann Hier schau mal, aus diesen Trainingsdaten arbeitet man mit.

00:40:45: Aber diese Trainings-Daten sind eben nicht neutral!

00:40:47: Wir sprechen da von so einem sogenannten Data-Bias, der sich einfach im Internet befindet und vor allem... unter anderem Frau noch andere marginalisierte Gruppen benachteiligt und die finden dann eben aufgrund dieser Trainingsdaten auch Einfluss in diese Chatbots.

00:41:04: Und wir müssen davon ausgehen, dass wenn wir jetzt schon in den sozialen Medien sehen das besonders... Kinder- und Jugendpornografische, genauso wie erwachsene pornographische Inhalte besonders trennten.

00:41:16: Dass diese Chatbots dann eben auch anfangen werden, diese Inhalten besonders auszuspielen.

00:41:22: Woran merkt man das?

00:41:24: Man merkt es etwa daran dass man diesen Chatbotz den Avataren auch ein besonderes kindliches Aussehen geben kann.

00:41:30: Das die trotz des kindlichen Aussehens aber trotzdem die Möglichkeit zulassen dann in Sexting zu gehen.

00:41:37: Das heißt Wir haben hier ganz schwierige Dynamiken, die natürlich auch dann später auf einer Gesamtgesellschaft eine Rolle spielen werden.

00:41:45: Wenn es für Menschen einfacher sein wird, eine Beziehung zu einem Chatbot zu haben statt eben echte zwischenmenschliche Beziehungen mit einer Kontroverse aushalten zu können.

00:41:56: Das ist auch etwas was sich so gegenseitig einfach bedingt.

00:41:58: also die Chatbots ziehen ihre Daten aus dem was im Netz gerade... auffindbar ist sowieso schon und was schon an einem Klima herrscht.

00:42:06: Und gleichzeitig führen sie ja dazu, dass es weiter normalisiert wird in dem Austausch mit

00:42:11: ihnen.".

00:42:12: Genau!

00:42:13: Und deswegen ist das so wichtig eben die Plattformbetreibenden in die Haftung zu nehmen und zu verhindern, nicht einfach mit nämlich sexualisierte Deepfakes in diesen Chatbots ausstellt werden können.

00:42:24: Also, dass ich jetzt nicht anfangen kann, mit dir eine Beziehung über einen Chatbot aufrechtzuerhalten und eben dort zu schauen.

00:42:32: naja die Plattformbetreibenden sind diejenigen für die das ein Geschäftsmodell ist diese Inhalte zu verbreiten und deswegen müssen sie auch zur Kasse gebeten werden wenn eben Schäden entstehen.

00:42:42: Ja wir können ja davon ausgehen Ja, sie verdienen eine Menge Geld damit die haben weniger Interesse daran das jetzt irgendwie einzudämmen.

00:42:54: Was können wir denn in der Zwischenzeit schon?

00:42:56: also welche Verantwortung liegt irgendwie auch so bei uns als Gesamtgesellschaft?

00:43:00: Die ja letztendlich auf diesen Plattform unterwegs sind?

00:43:03: Genau, guter Punkt.

00:43:04: Also wir haben jetzt schon darüber geredet was muss ich rechtlich ändern?

00:43:07: oder was ist die Rechtslage?

00:43:08: und vor allem was ist technisch irgendwie der Hintergrund?

00:43:10: Was ist technische möglich?

00:43:11: wie kann man das ausgestalten?

00:43:13: Und gesamtgesellschaftlich das ist glaube ich der wichtigste Baustein.

00:43:17: also Ich denke, wir brauchen ein gutes Bewusstsein dafür und ein kritisches Auge für welche Inhalte wir im Internet sehen.

00:43:25: Und wie wir ihn vertrauen können!

00:43:26: Wir müssen uns bewusst sein dass es möglich ist jederzeit von allen Menschen sexualisierte Defacts zu erstellen und dann eben solidarisch sein den Personen die dargestellt sind ja zur Seite zu stehen und eben Hilfe anzubieten.

00:43:42: Ich denke, dass es ganz wichtig ist, dass wir uns bemühen jetzt auch politisch engagiert zu sein und eben auch dort zu unterstützen wo wir sagen das sind unsere Werte.

00:43:53: Und wir möchten diese Regulierung haben und dafür einstehen.

00:43:58: Wir dürfen jetzt den Kopf nicht in den Sand stecken, das ist noch nicht alles verloren.

00:44:01: Und es ist eine gute Möglichkeit diese Technologie zu haben.

00:44:05: aber sie muss eben nach unseren Spielregeln spielen und die entscheiden wir selbst und die verhandeln wir auch jeden Tag neu wenn wir uns nämlich im Internet begeben und wenn wir dort sehen dass dort Hass verbreitet wird und wir vielleicht Gegenrede halten können oder wie diese Inhalte immer melden können.

00:44:20: Wir dürfen uns nicht daran gewöhnen, dass nicht ein vernehmlich sexualisierter Defax einen Grund rauschen werden dem wir im Internet einfach begegnen.

00:44:28: Ich denke, das ist ganz wichtig und dort eben auch zu schauen dass wir als Gesellschaft eine Verpflichtung haben solche Hilfsorganisationen zu unterstützen.

00:44:35: Eben auch die Mittel zur Verfügung zu stellen und damit meine ich eben aber auch nicht nur größere Hilfs-Organisation sondern wirklich auch dass wir schauen, dass wir eine Finanzierung haben von Beratungsstellen die mit solchen Betroffenen in Kontakt kommen Wen meine ich damit?

00:44:49: Es gibt zum Beispiel viele Wildwasserberatungsstellen, die sich eben ganz spezifisch mit Gewalt gegen Frauen auseinandersetzen und die jetzt um ihre Finanzierung Folge des Gewalthilfegesetzes eben wieder bangen müssen.

00:45:03: Und da müssen wir wirklich sagen das sind Das müssen in der Gesellschaft für uns Themen sein, über die wir nicht verhandeln werden.

00:45:08: Wir haben immer noch das Problem dass es keine verpflichtenden Fortbildungen gibt für rechtsanwendende Personen.

00:45:14: Das heißt insbesondere in der Polizei wenn ich als Betroffene zur Polizei gehe dann ist meine Erfahrung nach... Die Polizei ist häufig bemüht sie hat aber auch zu wenig technische Mittel zu wenig Technisches Wissen und meistens fehlt ihnen auch die Sensibilität für diese geschäftspazifische Gewalt.

00:45:33: Das ist ein Riesenproblem, weil wenn ich als Betroffene nicht guten Gewissens zur Polizei gehen kann, weil ich nicht weiß ob die Sensible darauf reagieren oder es überhaupt ernst nehmen, denn das ist ja nur im Internet, dann ist das ein großes Problem.

00:45:44: und so ist es mit der Richterschaft und mit der Staatsanwaltschaft, die keine verpflichtenden Fortbildungen haben Und da müssen wir auf jeden Fall rangehen und daran bleiben damit diese Lücken geschlossen werden.

00:45:57: Wenn ich jetzt an Schulen denke, dann ist es auch da ganz wichtig das Wissen in die Schulen zu bekommen und dass darf eben nicht auf den Köpfen einzelner Lehrkräfte, die engagiert sind ausgetragen werden.

00:46:08: Dass sie sich in diese Themen noch einarbeiten können.

00:46:10: Ich denke auch, dass es für Eltern sehr schwierig ist, die ja selbst auf dem Plattform teilweise gar nicht vertreten sind dort noch am... Ja, am Zahn der Zeit zu bleiben.

00:46:18: Aber es ist ganz wichtig um nicht abgehängt zu werden Denn gerade Lehrkräfte sind auch eine der Zielgruppen von solchen Deepfakes.

00:46:25: Also Beispiele aus der Praxis die ich erfahren habe sind zum Beispiel auf Dating-Profilen.

00:46:30: Da werden Datingprofile von Lehrkräften erstellt Die natürlich gefake sind aber es ist trotzdem etwas was Lehrkräfter häufiger trifft

00:46:41: Und das ist nichts Neues.

00:46:44: Also, was du gerade meintest mit Dating-Profilen von Lehrkräften.

00:46:47: Das ist tatsächlich etwas, wovon ich weiß?

00:46:50: Dass es das zumindest zu meiner Schulzeit auch schon gab dann mit echten Fotos die man halt vielleicht gefunden hat aber... Ah, das klingt jetzt als hätte ich das gemacht!

00:46:59: Ich war da nicht beteiligt.

00:47:01: Aber ich weiß dass das natürlich also Lehrkräfte als dann auch Zielgruppe von zum Beispiel Jugendlichen aus der Schülerhinschaft, die sich da dann vielleicht auch erst mal nur ein Scherz erlauben und gar nicht darüber nachdenken wie verherrnd das tatsächlich sein kann.

00:47:18: Aber es hat natürlich jetzt mit KI-Technologie ganz neue Möglichkeiten also Bilder zu erstellen, die es auch gar nicht vorher gab.

00:47:26: Und wo wir gerade über Schulen gesprochen haben – und wir sind ja hier in dem Medienbildungskontext und haben viele Lehrkräfte Das Ganze ist ja auch nochmal deutlich komplizierter, wenn es um Darstellungen von Minderjährigen geht.

00:47:43: Was würdest du Lehrkräften oder pädagogischen Fachkräften raten, die das zum Beispiel mitbekommen?

00:47:50: Dass eine Schülerin aus ihrer Klasse betroffen ist vom sexualisierten Deepfakes- oder bildbasiertem Sexualisatorgewalt?

00:48:02: Wo ist der Knackpunkt?

00:48:04: Wenn ich als Wehrkraft Screenshots von diesen Inhalten, wenn sie zum Beispiel in einer WhatsApp-Gruppe geteilt werden mache, anfertige und diese dann weiterleite.

00:48:14: Dann kann es durchaus sein dass ich mich dann strafbar mache denn das Verbreiten und das Herstellen natürlich auch aber vor allem auch das Vertreiten in diesem Kontexten dann von Kinder und jungen pornografischen Material steht unter Strafe Und das ist mit einer hohen Strafe auch bedroht.

00:48:28: Es gab da auf prominenten Fälle.

00:48:31: Deswegen verstehe ich, dass die Unsicherheit diesbezüglich sehr hoch ist.

00:48:35: Ich kann natürlich keine Rechtsberatung geben und es kommt immer auf den Einzelfall darauf an.

00:48:40: aber was ich schon rate ist diese Inhalte eben nicht auf den lokalen Geräten abzuschweichern.

00:48:47: wenn die Möglichkeit besteht dann ist das immer eine Möglichkeit zum Beispiel auch nur die URL weiter zu leiten Wenn es zum Beispiel Inhalts sind den sozialen Medien sehe.

00:48:59: Man muss nur einfach daran denken, dass wenn ich diese Inhalte melde und ich habe vorher kein Beweismittel erstellt und dieser Inhalt wird gelöscht dann ist er eben weg.

00:49:06: also deswegen auch dieser... Ich sage mal Treiklangen aus rechtlicheren Beweistmitteln, dann eben melden versuchen eine substanzieierte Meldung zu geben warum es rechtsverletzend ist und dann eben zu schauen brauche ich weitere rechtliche Schritte.

00:49:18: Ich weiß das die Landeskriminalämter extrem bemüht sind, solche Verfälle sehr ernst zu nehmen.

00:49:25: Man kann sich immer an die Landeskriminalämter direkt wenden wenn man solche Inhalte hat, wenn man solche Vorfälle hat.

00:49:30: Ansonsten kann ich nur empfehlen eben solche Inhalten nicht herunterzuladen und nicht lokal zu speichern und wenn sie eben direkt auch weiter zu melden an die Polizei dass sie eben nicht auf den Handys verbleiben, nicht auf dem USB Stick verbleibt.

00:49:45: es ist eine sehr schwierige und herausfordernde Situation.

00:49:48: tatsächlich Auch da helfen, aber auch Hilfsorganisationen wie beispielsweise Hate-Aid.

00:49:55: Ja also da kann man dann als Lehrkraft zum Beispiel sich beraten lassen oder das den Eltern empfehlen dass sie mit ihrem Kind dort sich beratten lassen?

00:50:06: Genau und auch wenn es eben auf dem Handy des Kindes ist, dann würde ich das Handy nehmen und so zur Polizei bringen.

00:50:12: Also das ist auch in der Praxis das Vorgehen.

00:50:16: ja Alles klar.

00:50:18: Du meintest vorhin, wir dürfen nicht den Kopf in den Sand stecken?

00:50:23: Was macht dir denn Hoffnung?

00:50:25: oder wird es noch schlimmer und schwieriger werden?

00:50:27: aber wo haben wir auch schon gute Ansätze und können vielleicht hoffnungsvoll in die Zukunft blicken?

00:50:35: was mir Hoffnung gibt ist gerade das dass es zwar eine neue Dimension gibt Aber wir auf sehr viel altbewertes zurückgreifen können.

00:50:44: Und wir alle ein gutes Gespür dafür haben, was rechtens ist und was nicht.

00:50:49: Ich glaube auf das sollten wir jetzt vertrauen.

00:50:51: Wir dürfen uns nicht einschüchtern lassen davon dass es diese neue Digitale gibt Welt gibt, mit neuer Gewaltformen.

00:50:58: Sondern ich glaube wir kennen schon sehr viel und können das auch anwenden.

00:51:01: Wir sollten also vor allem nicht wegschauen sondern hinschauen denn wir können damit umgehen.

00:51:06: Mir getroffenung vor allem dass es so viel großartiges zivilgesellschaftliches Engagement gibt.

00:51:12: mich macht natürlich betroffen das ist es geben muss weil viel politisch jetzt derzeit noch langsamer läuft als es laufen sollte um eben Schritt halten zu können.

00:51:21: aber Gespräche gibt wie die, die du und ich führen.

00:51:25: Das gibt mir durchaus Hoffnung, denn es sind ja Menschen dort, die sich dafür interessieren.

00:51:29: Und ich kann nur appellieren an alle Zuhörerinnen, dass wenn sie jetzt betroffen sind und Angst haben dann verstehe ich das!

00:51:36: Wenn es bei der Angst bleibt, wenn Sie eine Nacht drüber geschlafen haben, dann gibt es Orte, an denen sie darüber sprechen können weil diese Gedanken damit sind sie nicht alleine.

00:51:44: aber wenn sie morgen aufwachen und sie sind wütend, dann willkommen wir im Klub, denn das bin ich auch um eben diese Regulierung voranzutreiben und vor allem auch den Täterinnen, vor allem den Tätern immer wieder zu sagen dass das nicht in Ordnung ist.

00:52:01: Und dass wir so eben nicht analog- und digital zusammenleben wollen.

00:52:07: Vielen Dank für deine schönen Worte zum Abschluss!

00:52:09: Und vielen dank für deine Zeit und deine unglaubliche Expertise.

00:52:14: ich habe selbst auch noch mal sehr viel gelernt und freue mich, dass du da warst.

00:52:22: Ja, herzlichen Dank für diese wirklich interessante Folge wo ich finde wirklich sehr viel auch dabei war was mir noch völlig unbekannt war.

00:52:29: Und ein Stück weit ist mir auch nochmal deutlich geworden wie wichtig halt auch wirklich diese Dimension des Problems ist.

00:52:35: als ich mit Frau Pavelets sprechen durfte da ging es vor allen Dingen um Desinformation.

00:52:40: Es ging darum wie groß dieses Problem halt an anderen Orten sozusagen in der Gesellschaft ist aber das eben soviel in diesem Bereich stattfindet, nämlich im nicht einvernehmlichen Bereich.

00:52:52: Das hat mich auch noch mal wirklich wach gerüttelt.

00:52:56: Deswegen danke dafür!

00:52:57: Und ja, wie immer eigentlich gibt es ganz viel bei uns in den Show-Notes.

00:53:01: Denn wir zu jeder unserer Folgen gibt's einen eigenständigen Unterrichtsempuls der sich dann auch ganz speziell mit diesem Thema eben befasst für diese Folge.

00:53:09: darüber hinaus haben wir noch weitere Unterrichtsimpulse die sich allgemein mit Deepfakes aber auch ein bisschen weiter mit KI befassen also auch dort gerne mal reinschauen auf unserem Campus Und dann dürfen wir euch noch mal wärmstens unsere Unterrichtseinheit Deepfakes durchschauen ans Herz legen.

00:53:23: Denn da haben wir so ein bisschen genau diese Struktur, die sich auch in diesen zwei Podcast-Folgen gespiegelt hat aufgegriffen.

00:53:29: Da geht's auch um Deepfake´s Es geht um Desinformation und es geht um sexualisierende Deepfaks, die eben nicht einvernehmlich entstehen.

00:53:37: Und ich glaube, da ist noch mal gebündelt, glaub' ich mir.

00:53:39: Alles gut drin?

00:53:40: Da ist alles... ...das ganze Paket!

00:53:42: Das kaffolle Paket so soll's sein.

00:53:44: in diesem Sinne vielen Dank fürs Einschalten.

00:53:46: wie immer und bis zum nächsten Mal.