KI, Chatbots & Co.: Wer lenkt hier eigentlich wen?

00:00:00: Aus dem Silicon Valley kommt ja ganz klar die Philosophie.

00:00:04: Wir brauchen eigentlich nur zehn Prozent Eliten und den Rest, den schicken wir ins Metaverse, den lassen wir Dark Patterns anheimfallen also ein bisschen wie Brot und Spiele, die brauchen wir eigentlich

00:00:18: gar nicht.

00:00:23: Du kennst das!

00:00:24: Du bist einfach nur kurz in Abo kündigen aber plötzlich musst du dich durch fünf Minuten klicken, wirst immer wieder umgestimmt und am Schluss bleibst du trotzdem da.

00:00:31: Ist das Zufall?

00:00:32: Ich glaube nicht.

00:00:34: Herzlich willkommen zu ServusKI, deinem Podcast der Universität Baumberg zum Thema künstliche Intelligenz.

00:00:40: Heute geht es genau um solche Situationen und um das Konzept was dahinter steckt nämlich Dark Pattern.

00:00:46: Dieses Thema finde ich persönlich wieder sehr unangenehm weil es mal wieder zeigt wie sehr digitale Systeme uns beeinflussen können.

00:00:53: Und mit dem Aufkommen von Chatbots gibt's jetzt nochmal eine ganz neue Möglichkeit der Hersteller uns an ihre Geräte zu binden.

00:01:01: Genau da setzt ein brandneues Forschungsprojekt der Universität Bamberg ein, und zwar dem Maski.

00:01:07: Aber dazu später!

00:01:08: Wieso funktionieren Darkpattern eigentlich bei uns so gut?

00:01:11: Das wollen wir heute herausfinden – zum Glück haben wir wieder zwei fantastische Gäste am Start, die uns helfen können zu verstehen was doch auf psychologischer Ebene passiert und wie wir uns vielleicht sogar dort verschützen können.

00:01:22: Und zwar haben wir diesmal Professor Dr.

00:01:25: Gübrauch Ullmann von der UTN Nürnberg.

00:01:28: Du analysierst die Effekte von Sprachmodellen auf Sprache und Gesellschaft.

00:01:32: Und als Gründungschair des Departments of Liberal Arts & Social Sciences verknüpft du Philosophie, Retortgeschichte und Digital Humanities!

00:01:43: Professor Dr.

00:01:43: Ute Schmied, bei uns zu haben als Inhaberin des Lehrstuhls für kognitive Systeme und Geschäftsführende Direktoren der SPAKAI, bringst du eine einzigartige Doppelqualifikation mit die wir super gebrauchen können – und zwar zum einen bist Du Diplompsychologin und zum anderen Informatikerin.

00:01:59: Beides werden wir heute brauchen!

00:02:01: Herzlichen Glückwunsch nochmal!

00:02:02: Du hast kürzlich den renommierten Communicator-Preis in dem Jahr im Jahr ist es noch einmal an dich.

00:02:09: Also ich brauche zuerst mal so ne Einordnung.

00:02:12: Was sind denn Dark Patterns mal so ganz allgemein, worauf zielen die ab?

00:02:17: Generell sind Dark Pattern manipulatives Web-Design eben nach bestimmten Mustern.

00:02:25: Die im Prinzip typische menschliche Verhaltensmuster Bequemlichkeit man ist unter Stress Man hat kognitive Verzarungen ausnutzen.

00:02:36: Dark Patternes ziehen darauf ab vor allem dass wir Ungewollte Appos abschließen, Daten weitergeben ohne dass wir das eigentlich wollten.

00:02:47: Vielleicht sogar manchmal ohne es wirklich mitzukriegen oder eben auch Käufe tätigen mit so Tricks wie nur noch heute und so weiter.

00:02:59: Erst mal geht's ja wirklich um dieses Thema Geld verdienen nutzende Abzocken oder Daten kriegen.

00:03:07: aber In unserem Projekt, was Güberg-Ulmann und ich gemeinsam machen haben wir einen etwas breiteren Blick.

00:03:15: Da würde man nicht über Dark Patterns reden aber es geht dennoch um Manipulation von Menschen.

00:03:21: Und das finden wir sowieso auch noch auf anderer Art nämlich zum Beispiel Doomscrolling wäre jetzt so ein typisches Verhalten dass wir also ewig auf einer Seite bleiben und immer weiter gucken und weiter Was auch nicht ein typisches Dark Pattern wäre in der engeren Definition, aber ganz sicher manipulativ?

00:03:44: Also ich glaube dass Dark Patterns eigentlich eine moderne Form von strategischer Kommunikation sind.

00:03:51: ökonomisch getriggert, aber eine strategische Kommunikation die darauf abzielt Menschen dabei zu helfen bestimmte Entscheidungen zu treffen oder auch sie dazu zu bringen bestimmte Entscheidung vielleicht anders zu treffen als Sie sie sonst treffen sollten.

00:04:08: Also dass sie besonders lange auf der Webseite bleiben und damit mehr Werbung sich angucken.

00:04:15: Das ist ja eine Form der Manipulation vor allem, dass man Verhaltensmuster ausnutzt um Menschen dazu zu bringen etwas zu tun was sie sonst vielleicht nicht tun würden.

00:04:25: Was aus meiner Sicht Interessante daran ist das damit diese Form der Beeinflussung etwas ist was schon ne sehr lange Geschichte hat in anderen Medien aber Von den Mustern her und den Methoden, die verwendet werden sehr ähnlich bis in die Antike zurückreichen.

00:04:44: Da würde mich aber nochmal ein Beispiel interessieren... Aktuellen Zeit würden mir noch mal einfallen im Social Media einfach dieser Infinite Scroll, der mir keine Chance mehr gibt auszusteigen oder eben die Optimierung nach diesen Glücksgefühlen das sich immer mit Optical Reward zugeworfen werde.

00:05:03: Oder dass ich dann kriege hey du kannst deine Freunde auch wieder verlieren oder deine Flammen oder so diese Fear of Lost.

00:05:08: also das sind tatsächlich genau diese Dinge oder von denen wir da die wir auch aus dem Alltag kennen Das sind diese Dark Pattern.

00:05:15: wo wäre es denn in der Antike gewesen.

00:05:18: Du hast es ja eigentlich schon gesagt, dass es darum geht bestimmte Emotionen zu evozieren oder zu verstärken und Menschen damit zu motivieren sich anders zu verhalten als sie's vielleicht täten wenn Sie die Sachlage rational und umfassender einschätzen würden.

00:05:38: genau diese Form der emotionalen Manipulation der Beeinflussung ist eine sehr breit und mit einem großen Theorieaufwand auch begründete Form der Rhetorik in der Antike.

00:05:51: Genau das macht die Rhetoric oder jedenfalls im bestimmten Formen, eine bestimmte Meinung oder auch ein bestimmtes Handlungsziel einfach durchzusetzen und dafür alle Mittel einzusetzen.

00:06:04: Und da spielen Emotionen das hervorrufen von Angst zum Beispiel, ne ganz große Rolle?

00:06:10: Oder auch dass hervorufen von Glücksgefühlen also eigentlich genau das was auch diese Apps machen oder auch gerade solche Algorithmen die eingesetzt werden um Jugendliche und Kinder zu motivieren noch länger an irgendwelchen Spielen zu bleiben weil sie auf die nächste Belohnung Das sind die nächsten tollen Avatar-Warten.

00:06:29: Und genau das dasselbe Muster, was da eingesetzt wird in der rhetorischen Kommunikation.

00:06:35: und da haben wir eben die Theorien aus der Antike, die uns zum einen sagen wie es geht und die zu uns zum anderen uns sagen warum das schlecht ist oder welche Alternativen man hätte dafür?

00:06:48: Also du hast es ja gerade schon angesprochen jetzt, dass es rhetorischer als auch sprachliche Tricks dort gibt.

00:06:54: Könnt ihr erklären, was genau psychologisch dann passiert?

00:06:58: Also durch diese Beeinflussung.

00:07:00: Passiert das bei allen Menschen?

00:07:02: also kann dann dieses Thema alle Menschen beeinflussen?

00:07:08: Die Antike hat ja auch eine Psychologie ausgebildet allerdings eine Theoretische die ein Teil der Philosophie war.

00:07:16: Und in dieser Art von Psychologie geht es darum, sich zu überlegen welche unterschiedlichen Seelische Vermögen hat der Mensch eigentlich.

00:07:26: Erkenntnisvermögen, Vorstellungs- und Urteilsvermügen und ähnliches mehr.

00:07:34: Mit der Brille drauf geschaut würde ich sagen dass manipulative Sprache oder manipulative Algorithmen wie Dark Pattern dazu führen, dass diejenigen, die adressiert werden damit es vermeiden ihre rationale Unterscheidung und Urteilsfähigkeit zu aktualisieren.

00:07:54: Also eigentlich sie abzulenken emotional zum Beispiel so zu belasten das sie nicht mehr bereit in der Lage oder willens sind, sich wirklich rational mit einem bestimmten Sachverhalt auseinanderzusetzen.

00:08:07: Mit dem was sie wirklich wollen oder mit dem wie die Faktenlage sich wirklich verhält.

00:08:12: und insofern geht es schon auch bei diesen Pattern darum dass hier Dinge ausgenutzt werden.

00:08:20: In der Antike würde man sagen seelische Dispositionen ausgenutscht werden.

00:08:24: Jemand der sowieso schon zu Angststörungen bereit dazu, eine Manipulation in die noch mehr Angst machen möchte zu folgen oder jemand der generell gewohnt ist immer wieder neue Impulse zu bekommen.

00:08:43: In seinen Spielen wird mehr darauf anspringen so eine Belohnung angeboten zu bekommen.

00:08:48: also ja die vorherige Disposition des einzelnen Machspielter eine große Rolle und die Antike hat einen ziemlichen Begründungsaufwand getrieben damit das aus der Erkenntnis Theorie auch Beurteilung des Miteinanders von erkennen, den der Lust und Unlos die damit verbunden ist.

00:09:08: Und dem was für Strebe oder Willensakte daraus folgen her zu begründen.

00:09:13: Beispiel aus der Antike könnte ich mir auch vorstellen hey kauf jetzt diesen Fisch oder dieses Möbelstück Für die nächsten zwei Stunden hast du noch den Rabatt und danach kostet es wieder den Vollpreis.

00:09:26: also diese Sachen die kennen wir ja Überall, wir kennen sie online, wir können sie offline.

00:09:31: Das ist schon so was oder?

00:09:33: Ja sicher also in solchen Handlungssituationen geht es ja darum Dringlichkeit zu suggerieren oder Gefahr oder die Aussicht auf eine Belohnung.

00:09:44: das Vorstellungsvermögen spielt natürlich ne wichtige Rolle.

00:09:47: wenn man zum Beispiel bestimmte Sorte Schokolade schon ein paar Mal probiert hat und weiß, die schmeckt mir jetzt wirklich richtig gut.

00:09:54: Dann springe ich natürlich eher darauf an wenn jemand verspricht dass diese Schokoladen hier noch wie toller ist oder genauso gut schmeckt.

00:10:01: also da spielen verschiedene psychologische oder psychische Momente eine ganz entscheidende Rolle.

00:10:07: Ich

00:10:07: würde es mal vielleicht ein bisschen größer die Perspektive aufmachen und auf einen ganz großen Begriff eingehen den man auch in der Bewusstseinsforschung als zentral sieht für eigentlich auch unsere Art von allgemeiner menschlicher Intelligenz.

00:10:26: Und das ist der Begriff Intentionalität.

00:10:29: Intentionality spricht ja eben an, dass ich mir als Mensch selber sehr bewusst Ziele setze und das tue ich selbst.

00:10:40: Ich mache es am Beispiel klar jetzt nicht sehr wissenschaftlich, sondern eher als kleine Anekdote.

00:10:48: schon ein kleines Kind, nehmen wir mal an vier Jahre kann im Prinzip aus eigenem Antrieb heraus intenzional sagen, ich möchte ein Bild von unserem Hund malen mit dieser Intentionalität.

00:11:04: Es hat ihm nicht die Mutter gesagt, keine andere erwachsene Person.

00:11:09: Sondern es ist eine eigene Absicht, was großartig ist das ja?

00:11:13: Und mit dieser Intentionalität kommt ein sehr altmodischer Begriff den ich wichtig finde Anstrengungsbereitschaft.

00:11:23: Wenn ich etwas wirklich will, streng' ich mich an.

00:11:27: Das Kind nimmt seine Bundsstöfte und malt sehr konzentriert diesen Hund, damit kommt aber auch Bewertung.

00:11:37: Das heißt das Kind ist vielleicht nicht zufrieden und sagt ne es ist nicht gut geworden das Bild ich probiere es nochmal und danach kommt irgendwann die Bewertungen.

00:11:50: jetzt habe ich's gut gemacht und damit kommt was ganz Wichtiges für intrinsische Motivation nämlich stolz auf etwas was man selber erreicht

00:12:01: hat.

00:12:02: Und Dark Patterns und auch andere Muster in digitalen Medien, egal ob mit oder ohne KI, ziehen eigentlich darauf ab dass wir permanent sofortige schnelle externe Bedürfnisbefriedigung kriegen.

00:12:19: Und das je jünger Kinder sind, je früher sie Kaltgestellt werden mit YouTube-Kits, mit billigen Apps und so weiter.

00:12:29: Dass du weniger haben die Kinder jemals die Chance, intrinsische Motivation als etwas total substanzielles für ein selbstbestimmtes Leben zu erleben.

00:12:45: Eltern sind nur im Blick aufs Smartphone machen ja eigentlich selber genau das.

00:12:51: Und wenn das Kind einmal kurz unzufrieden ist und man eigentlich weiter selber Doomscrolling betreiben möchte oder noch ganz schnell die wichtige Nachricht schreiben möchte, Zapp hat das Kind so eine externe Bedürfnisbefriedigung vor der Nase.

00:13:07: Das halte ich für extrem bedrohlich für eine gesunde Entwicklung kognitiv motivational

00:13:14: emotional.".

00:13:15: Das finde ich total spannend und richtig wichtig, dass du das sagst.

00:13:19: Und ich kann auch das nochmal aus antiker Sicht unterstützen.

00:13:23: Also Aristotus ist ja einer der wichtigsten antiken Philosophen und er hat viel darüber geschrieben in welcher Weise die Erkenntnis, die Lust beeinflusst also wie...und wie das wiederum unser Handeln beeinflußt?

00:13:39: Und da spielt eine ganz wichtige Rolle zu sagen wenn man Dinge tut, die man gut kann Dann hat man auch Freude daran, weil man dann Freude daran hat das etwas gelingt.

00:13:49: Und je komplexer und je spezifischer für den jeweiligen Akteur das ist was er da tut, desto größer ist die Lust an der Tätigkeit selbst, daran das zu tun und das sozusagen ungehindert und erfolgreich zu tun.

00:14:05: Das bietet dann wieder die Motivation das in die Zukunft zu projizieren und zu sagen ja, dass will ich wieder machen.

00:14:11: Und das ist eine ganz wichtige Handlungsmotivation und etwas was mittelfristig und langfristig betrachtet auch glücksfördernd ist.

00:14:19: also das ist etwas worum man wirklich Glück draus ziehen kann wenn man seine eigenen Fähigkeiten weiterentwickelt stärkt und merkt daran habe ich Spaß!

00:14:31: für mein Handeln weiter nutzen.

00:14:33: und wenn man das nie erfahren hat, dann ist diese anstrengungslose Lust daran immer das sechste Video zu sehen was mir irgendwie gefällt oder in der App irgendwas blinkendes aufzurufen und draufzuklicken.

00:14:46: Eine Konkurrenz die wirklich

00:14:49: hart ist.

00:14:50: also weil dieser Bereitschaft dazu so eine gewisse Anfangsanstrengung einzusetzen aufzuwenden nicht mehr herzustellen ist.

00:15:01: Und deshalb finde ich das extrem wichtig, was Ute jetzt gesagt hat.

00:15:04: und wie gesagt man kann es auch mit einer wunderbaren antiken Theorie nochmal verstärken.

00:15:08: Klasse!

00:15:09: Ich meine KI selber oder Informatik wenn man's allgemeiner sagt hat viele Möglichkeiten, Menschen wirklich zu unterstützen bei komplexen Entscheidungsproblemlöseprozessen.

00:15:25: Beim Beschaffen von Informationen die auch eine faktische Grundlage hat und so weiter.

00:15:32: aber was wir aktuell erleben sind

00:15:35: extrem

00:15:36: zynische Geschäftsmodelle die überwiegend eben aus den USA kommen.

00:15:42: und wenn man sich da ein bisschen anguckt, was sozusagen die philosophische Grundlage ist.

00:15:49: Die häufig hinter diesen Geschäftsmodellen steckt Ja, dann ist es ein sehr zynisches Menschenbild was auch nicht mehr demokratisch ist.

00:15:59: Definitiv nicht humanistisch wo wir ja alle Menschen befähigen wollen sich möglichst so zu entwickeln dass sie ein glückliches selbstbestimmtes Leben entsprechend ihrer Kompetenzen und Bedürfnisse haben.

00:16:14: Also aus dem Silicon Valley kommt ja ganz klar die Philosophie.

00:16:19: Wir brauchen eigentlich nur zehn Prozent Eliten und den Rest, den schicken wir ins Metaverse.

00:16:26: Den lassen wir Dark Patterns anheimfallen also ein bisschen wie Brot und Spiele.

00:16:31: Die brauchen wir eigentlich gar nicht!

00:16:34: Und diesen wirklich zynischen Menschenbild, was glaube ich gegen unsere europäischen Werte aber ich denke auch in vielen anderen Ländern der Welt geht dem heißt es Einhalt zu gebieten.

00:16:48: Deswegen ärgert es mich dass die EU so zögerlich ist mit Regulierung an dieser Stelle.

00:16:55: wir diskutieren oder haben jetzt zum Teil Social Media Verbot für Kinder.

00:17:00: Ich glaube nicht das Verbote tatsächlich die Lösungen sind.

00:17:06: Wir müssen die Geschäftsmodelle regulieren und bestrafen, ja?

00:17:12: Und auf der anderen Seite brauchen wir Resilienz und das fängt eben in der frühkindlichen Erziehung an.

00:17:19: jetzt haben natürlich als wo es gut die Privatheit.

00:17:23: Das Staat hat sich nicht in Familie einzumischen.

00:17:28: Auf der anderen seite erleben wir aber dass viele Eltern vielleicht aus Naivität ihre Kinder sehr früh zu Opfern dieser Nutsching Maschinen machen.

00:17:43: Und ich frage mich, man kann natürlich jetzt Elternschulungen anbieten aber es ist auch klar dass man vielleicht gerade die Eltern nicht erreicht für die das wichtig wäre.

00:17:55: und also da bin ich etwas... Ratlos, wie man damit umgeht.

00:18:01: Ich sehe aber wirklich eine große Gefahr vor allem je jünger die Kinder sind.

00:18:06: Da steckt jetzt richtig viel drin.

00:18:08: Könntet ihr vielleicht noch mal ein paar ganz konkrete Beispiele, die ich mir...die ich ganz leicht nachvollziehen kann?

00:18:14: Wie kann jetzt einen zum Beispiel ChatGP Team mich auf eine negative Art und Weise beeinflussen?

00:18:20: was macht der Chatbot mit mir dass sich da ein bisschen offene Augen bekommen kann?

00:18:25: Erstmals sind die Chatbots so gebaut, dass sie einen immer bestätigen.

00:18:30: Jetzt verstehe ich schon gut also... Die jetzige Generation junger Menschen ist ja über Corona in wirklich einer Ausnahmesituation in die Pubertät gekommen wo eigentlich ja Gemeinschaft im analogen Raum sehr wichtig ist und haben schon mal gelernt Ich kann meine Sozialkontakte digital pflegen, wobei wir uns denke ich einig sind dass da wesentliche Dimensionen fehlen und dann ist natürlich der Weg zum Chatbot-Freund nicht mehr weit wenn ich eh schon im Digitalen bin.

00:19:07: Jetzt verstehe ich gut das Teenager Fragen haben die sie Eltern nicht stellen wollen, Freunden Freundinnen nicht stellen weil es sie peinlich sind.

00:19:17: also ChatGPD zu fragen ob man von einem Zungenkuss schwanger werden kann finde ich völlig in Ordnung.

00:19:24: Ja, also das gab es früher bei Bravo ja ist völlig okay aber problematisch wird die Sache eben wenn Kinder und Jugendliche und da fange ich schon wieder im Kindergartenalter an allein gelassen werden mit Themen wie Es gibt Konflikte zwischen Menschen Aber es gibt Strategien, wie ich mit Konflikten umgehen kann und Konflikte lösen kann.

00:19:54: Es gibt Mobbing aber es gibt Erwachsene die das sehen in Kindergarten- und Schule ja?

00:20:02: Und die mir helfen und die eine Klassenatmosphäre schaffen dass das möglichst unterbunden ist.

00:20:10: Wenn Kinder damit komplett allein gelassen werden warum auch immer?

00:20:17: Weil Lehrkräfte nicht sensibilisiert sind, weil keine Zeit da ist.

00:20:21: was auch immer der Grunde ist.

00:20:23: Ist der Weg sich zurückzuziehen?

00:20:26: Weil man nie positiv erlebt hat wie man im analogen Raum Konflikte löst und Konflichte vielleicht auch als etwas Wertvolles erlebt, weil man sich ja auseinandersetzt um nicht nur seine Meinung berücksichtigt dann ist der Weg zu Chatbots die immer sagen du hast recht Ja?

00:20:48: Nicht mehr weit.

00:20:49: Wenn wir da jetzt in die Zukunft gucken, wie wird sich das verändern wenn wir dann wieder einen Menschen in Kontakt kommen also die Kinder oder Jugendliche, die mit den Chatbots aufwachsen und quasi dauerhaft Bestätigung dort erfahren und dann wieder in die Klassen oder im Studium oder Arbeit mit Konflikt von Menschen zusammenkommen kann man da schon ein bisschen absehen Probleme geben wird.

00:21:16: Da gibt es tatsächlich schon Untersuchungen dazu, dass wenn Menschen solchen Chatbots ausgesetzt sind das sie dann auch im analogen Bereich was ganz Wichtiges verlieren nämlich die Fähigkeit dazu selbstkritisch zu sein kritisch den eigenen Meinungen gegenüber und auch bereit dazu Argumentativ sich mit anderen auseinanderzusetzen oder auch die eigene Meinung zu rechtfertigen und zu korrigieren.

00:21:44: Und wenn man das jetzt skaliert, dann kann man sich ja vorstellen welche gesellschaftlichen Folgen das hat, wenn Menschen immer weniger dazu bereit sind ihre eigene Meinung auch in Frage stellen zu lassen und daraus dann auch eigenen Gewinn zu ziehen?

00:21:59: Also das ist super spannend.

00:22:01: ich muss sagen Ich persönlich hatte Anfang des Jahres quasi eine Aufgabe meine Website Texte neu zu machen.

00:22:07: Und dann habe ich da ChatGPT benutzt und ich war total genervt von diesem Reinforcement, weil ich hab immer irgendwas geschrieben und er sagte ja das ist mega!

00:22:16: Ich finde es tatsächlich nicht gut und da kam was.

00:22:19: Und ich hatte dann so eine richtige Fatigue, weil ich habe so einen Monat auf diesen Texten rumgeklopft... ...und die KI war begeistert und gesagt, das ist konsistent durch die Bank!

00:22:26: Das zeigt alles und das!

00:22:27: Und dann hab' ich das halt mal geschlafen, hat mir das durchgelesen und dachte, das is ein Rotsalter!

00:22:32: Das kann ich ja nie so sagen.

00:22:34: und ich war dann total... desillusioniert und habe gemerkt wenn diese technik mir alle arbeit abnimmt und ich eigentlich noch gar nicht weiß wo ich hin will und die sagt ja ich weiß schon wohin mich bis zum ende mit reißt quasi wie so ein gewichtheber mich schon auf die ziellinie.

00:22:53: reiste mich an eine andere Zielinne und dann war ich einfach maximal confused.

00:22:57: Also, ... Ich merke schon das hängt an vielen Dingen.

00:23:00: Und ich finde das Thema wahnsinnig spannend!

00:23:01: Und ich glaube gerade dieses Thema Bildung was ihr beide angesprochen habt oder in der Resilienzstärkung zu sagen hey so wie früher als Google rein kann da hier ist auch Leute ihr müsst ein bisschen kritisch damit sein was da kommt.

00:23:12: es ist nicht... Das ist jetzt kein Brockhaus mehr sondern das ist jetzt halt das Internet.

00:23:16: und ich glaube so ähnlich müssen wir bei den Chatbots das halt auch lernen.

00:23:19: und deshalb finde ich und das ist jetzt wer die Überleitung zu eurem spannenden Projekt.

00:23:24: Das ganz interessant mal zu hören, was habt ihr denn bislang so rausgefunden?

00:23:28: Und was für Lösungsansätze habt ihr dann bei dem Maski?

00:23:30: Wolltet ihr das kurz mal vorstellen das Projekt und uns dann einfach mal mitnehmen in eurer Welt.

00:23:36: also erstmal finde ich dass es ein super tolles Projekt ist.

00:23:38: Ich freue mich sehr über diese Zusammenarbeit mit dir Ote und den anderen Kolleginnen und Kollegen.

00:23:44: Es ist ein Projekt in dieser in dieser Förderlinie des BMFTR zu Desinformationen erkennen und bekämpfen.

00:23:53: Und das Besondere an unserem Projekt ist, dass es bei uns nicht darum geht Fakten zu checken.

00:23:58: Also es ist kein Projekt was Grundlagen dafür legt oder Tools bereit stellt um Fakte zu checkern sondern es geht... Uns interessiert eigentlich die rhetorische Struktur von manipulativer Kommunikation Und da gehen wir zunächst mal von der antiken Rhetorik- und Philosophiegeschichte aus, besonders bei Platon.

00:24:20: Und dann aber auch bei den Sophisten und solchen Leuten wie Isokrates – das war ein ganz berühmter Rhetoriclehrer im vierten Jahrhundert vor Christus.

00:24:29: in diesen Texten finden sich sehr präzise Analysen manipulativer Redeweisen emotionalisierung stattfindet, wie polarisierung statt findet.

00:24:41: Welche sprachlichen Mittel und Strukturen es dafür gibt also rhetorischen argumentativen strukturen und sprachliche mittelstilmittel zum beispiel wiederholungsfiguren beispielsweise alliterationen dass man immer mit denselben worte mit dem selben buchstab anfängt ähnliches mehr.

00:24:58: das sind alles emotionalisierende techniken die in der antike eben entwickelt also als positiv verwendbare Strategie verwendet wurden von den Sophisten.

00:25:09: Das waren Leute im fünften Jahrhundert vor Christus, die damit begonnen haben und die das als Technik entwickelt haben.

00:25:15: wie kann ich meine Meinung bestmöglich sprachlich durchsetzen?

00:25:19: Wie kann ich egal was ich sage, egal was Ich meine dass zu der siegreichen Meinung machen.

00:25:25: Und diese Analysen die nutzen wir genauso auch wie die Kritik daran denn es gab zum Beispiel und jetzt besondere durch den Philosophen Platon, da sehr massive Kritik darin.

00:25:38: Das Sprache so nicht funktionieren sollte und was man dagegen tun kann dass wir in solche kommunikativen Strategien reinrutschen.

00:25:47: das heißt also wir machen keine Faktenstecks sondern untersuchen wie solche Redenweisen die wesentlich Antidiskursives sind wie ich das immer nenne dass sie dadurch emotionalisieren wirken.

00:25:59: Also Antidiskursiv heißt, das sind alles sprachliche Muster und Methoden die dazu führen, dass man nicht in der Lage ist als Rezipient das bestmögliche rationaler Argument für diesen jeweiligen Sachverhalt zu aktualisieren.

00:26:17: Und das schauen wir uns an.

00:26:19: Zunächst mal rhetorik theoretisch, aber wir machen es gemeinsam mit der Informatik also mit Ute und ihrer Gruppe und versuchen diese Muster die wir sprachlich rhetorisch analysieren in erklärbare KI-Modelle zu übersetzen sodass dann also die Desinformation nicht nur identifiziert werden kann, sondern dass wir auch begründen was da passiert in welchen Kontexten das passiert und wie wir das dann didaktisch auch vermitteln können.

00:26:48: Und damit soll dann am Ende auch sozusagen der demokratische Diskurs gestärkt werden so dass wir hier ein Analysetool zur Verfügung stellen, das uns dabei hilft

00:26:58: Wenn wir jetzt als KI-Teil des Projekts, etwa einen Social Media Post zum Thema Klimakrise kriegen.

00:27:14: Unsere Aufgabe wäre also ein KI System zu bauen was jetzt nicht den Faktencheck macht und den Link zum Klimaforschungsinstitut Potsdam um den entsprechenden Grafiken sondern eigentlich aufzuklären zu zeigen, hier wirst du manipuliert.

00:27:35: Also wieder auch das ist Bildung jetzt gar nicht allein auf Schule bezogen, sondern auf alle damit wir eben Menschen resilienter machen gegenüber solchen manipulativen Diskursstrukturen.

00:27:50: Jetzt ist für uns in der KI Forschung und deswegen ist es ja ein Forschungsprojekt Eine riesen Herausforderung, solche manipulativen Muster gut zu identifizieren.

00:28:06: Darauf aufbauend wollen wir die erklären.

00:28:09: Ich mache mal ein Beispiel.

00:28:13: Aktuell das hatte man gerade mehrfach in Nachrichten von Alice Weidel gesagt, die beklagt hat dass da Framing stattfindet ihrer Äußerungen.

00:28:24: Framing ist ja einen Kontext schaffen Vollautomatisiert mit KI-Methoden rauszukriegen ist gar nicht so leicht.

00:28:35: Das heißt, wir brauchen Methoden die man nennt das Neurosymbolisch sind, neurosymbolisches Machine Learning wo wir gezielt Dinge, die Gürburg theoretisch uns vorgibt probiert Und die sind explizit zu kombinieren mit so typischen Machine Learning, was eben Daten getrieben muss, das sucht.

00:29:00: Zwei-tausend drei bis zwothausend elf wenn sich da noch jemand erinnern mag gab es ja mal den Krieg USA Irak George W Bush und der hat wohl in Reden häufig das Ende des Irakkriegs der noch gar nicht begonnen war verglichen mit dem Ende des Zweiten Weltkriegs.

00:29:26: Und das Zonvergleich transportiert jede Menge Emotionen, gerade für die USA ist das Ende des zweiten Weltkrigs natürlich enorm positiv konnotiert – für Deutschland natürlich sowieso!

00:29:42: Das zu erkennen und zu erklären mit einem KI-System ist nicht einfach.

00:29:47: Social Media Post, Wahlkampfreden etwa von populistischen Akteuren wie Donald Trump oder auch von Leuten die wir in Deutschland haben.

00:29:57: Uta hat schon alles Weidel erwähnt da gibt Björn Höcke und solche Leute.

00:30:01: Da kann man solche Wahlkampfrede nehmen und analysieren.

00:30:04: ein wichtiges Erkenntnisziel was wir dabei haben ist dieses Thema Wie viel Kontext brauche ich denn eigentlich um eine Rede als strukturell manipulativ erkennen zu können.

00:30:16: Es geht uns nicht darum, einzelne Buzzwords zu registrieren und zu sagen okay da wird wieder irgendwas Freund-Fein-Schema oder so aufgemacht sondern strukturell anzugucken wo Redner oder kommunizierende versuchen Menschen dadurch zu manipulieren dass sie immer um die Argumente rumschiffen und versuchen zu vermeiden, dass man überhaupt Argumete bringt.

00:30:43: Und ich glaube das ist ein ganz wichtiger Baustein im Kampf gegen Desinformation.

00:30:48: Dass man überhaupt aufzeigt, dass da eine Manipulation dadurch stattfindet, dass sich nicht tief hinreichend mit den Sachen beschäftigt.

00:30:58: Ich glaube also ganz sicher, dass wir auf der sprachlichen Mikro-Ebene sehr zu guten Ergebnissen kommen werden.

00:31:07: Die Frage ist, ob die Übersetzung dieser größeren Kontexte... Also wenn ich eine sprachliche Struktur habe von der, beispielsweise sagen wir mal State of the Union in den USA das sind ja längere Reden dann hab' ich ne Gesamtaufbau etwa zum Beispiel eine Ringstruktur dir das Ganze aufbaut den Redenteil, der erst mal darstellt.

00:31:26: Wie fürchterlich die aktuelle Situation ist.

00:31:28: und dann kommt ein Redenteiler wo ich sage wie toll die Zukunft wird?

00:31:31: Und dann habe ich noch einen redenteil wo ich darauf zu sprechen komme ob ich schon immer alles toll gemacht hab.

00:31:35: Dann sind das verschiedene teile Die ineinander greifen argumentativ und die für das Gesamtergebnis und den gesamt Rede Erfolg zentral sind.

00:31:46: Das lässt sich aber natürlich sehr viel weniger leicht fassen.

00:31:50: Mich würde jetzt interessieren, weil wir so viel darüber geredet haben.

00:31:54: das ist manipulativ.

00:31:56: schon die Chatbots sind aktuell.

00:31:58: Wie würde denn ein Chatbot-Design aussehen wenn es nicht diese ganzen Manipulation hätte?

00:32:04: Die Dialogstrategie ist ja drauf gesetzt auf das mit vielen Texten oder allgemein Inhalten trainierte große Sprachmodelle.

00:32:16: Und die Schicht drüber, die Dialogschicht ist eben relativ bewusst auf eine bestimmte Art trainiert.

00:32:24: Bei der das Thema Verstärkung vom menschlichen Gegenüber eben ein fester Bestandteil ist.

00:32:31: Manche Systeme Krock zum Beispiel vermutet man haben noch auch eine Ebene drunter auf dem Sprarmodell Bereits bestimmte Verzerrungen.

00:32:44: Also es kriegt man ja mit, dass bestimmte Antworten für bestimmte politische Ecken bei CROC auch anders beantwortet werden.

00:32:51: Bei anderen auch US-amerikanischen Modellen und das liegt zum Teil an der Trainingsgrundlage was für Datenfliesen in das Sprachmodell ein und zum Anderen aber dann auch wieder an eher härter vorgegebenen Strategien.

00:33:08: Was?

00:33:09: sozusagen eine hohe Wahrscheinlichkeit kriegt.

00:33:12: Also ich finde ganz, ganz wichtig ist das erstmal.

00:33:16: Grundlage ist eine Wahrheitsorientierung also dass man wirklich sagt, dass der Output ist und er zuallererst wahrheitsorientiert ist und die Aussagen Menschen den menschlichen Nutzern dabei helfen sollen besser zu beurteilen wie die jeweilige Faktenlage ist.

00:33:36: Also, die Informationen müssen aufbereitet werden um bestmögliche, bestinformierte Erkenntnisse daraus zu generieren und dazu gehören des Kriterien genannt werden das die Quellen

00:33:47: so

00:33:48: sichtbar gemacht werden dass man damit was anfangen kann.

00:33:50: Das geht nicht nur darum den Link reinzuschicken denn also welcher Nutzer testet dann immer zehn oder zwanzig Links.

00:33:58: Also die müssen so aufbereitet werden, dass die die Valenz dieser jeweiligen Quellen auch jedenfalls abgeschätzt wird.

00:34:06: Dann gibt es um die Argumentationsmuster Es gibt um den Kontext der geschaffen wird und dann spielt natürlich auch sekundär solche Faktoren rein wie gut sie genannt sind kulturspezifisch.

00:34:16: Man muss Menschen ja in bestimmter Weise ansprechen damit Sie in der Lage dazu sind diese Informationen auch zu verstehen.

00:34:23: Das hat mit Kultur, das hat auch Mitbildungsniveau.

00:34:28: Und so ein allgemein verwendbarer Chatbot sollte sich an den Schwächsten aber auch an einem Durchschnittswert orientieren.

00:34:38: Also ich glaube dass diese Befähigung dazu selbst einen Urteil zu bilden.

00:34:45: Dass es eigentlich der oberste Maßstab dafür sein soll wie wie so ein Tool funktioniert, denn das ist ja eigentlich das Ziel.

00:34:53: Dass die Menschen nicht ihre Entscheidung abgenommen bekommen sondern dass sie besser in die Lage versetzt werden schneller zu einer informierten Entscheidung zu kommen weil Sie die ganzen Recherchen nicht selbst ausüben müssen.

00:35:07: Ich glaube es kommt halt sehr darauf an wozu ich einen KI Chatbot benutze.

00:35:12: Also viele Menschen und deswegen ja die Suchmaschinen Google allen voran ja auch massiv drauf an, nutzen halt inzwischen KI-Chatboard-Dienste als Ersatz für eine Suchmaschine.

00:35:29: Und das ist wirklich gefährlich und da ist inherent natürlich einfach in der Art wie Information Retriebe funktioniert im Gegensatz zu Generierung von Texten Ein Problem, dass wir halt nie gewährleisten können.

00:35:48: Alle die Anforderungen, die Güber gerade genannt hat nach Wahrheitsgehalt, Evidenz, Quellen – das passt sozusagen nicht!

00:35:59: zu der Art wie Sprachmodelle funktionieren.

00:36:03: Da kann man natürlich und es wird ja auch gemacht viel mit Augmentierung machen, man kann das mit Information Retriebe kombinieren, wird alles gemacht aber ich glaube eine generelle Lösung kriegt man nicht.

00:36:16: Ich würde eben... sehr stark den Anwendungszusammenhang sehen.

00:36:22: Also dazu haben wir eine ganz spannende Folge auch, will ich nochmal darauf hinweisen liebe Hörerinnen und Hörern.

00:36:27: über Information Retrieval wo es genau darum geht was Ute gerade noch mal so schön was du so schön gesagt hast.

00:36:33: Es kommt oft den Nutzen an also suchen und Informationsbeschaffung das ist tatsächlich der wackeligste Bereich von von Sprachmodellen.

00:36:41: aber eben Texte zusammenfassen und zu verarbeiten, das ist eigentlich dann eher die Komfortzone.

00:36:47: Und wer ihr mehr dazu hören wollt, dann schaltet gerne noch mal in die Folge rein!

00:36:50: Ich glaube

00:36:51: wir sollten immer auch den anderen Parti Resilenzstärkung der Nutzer in den Blick nehmen.

00:36:58: Ich habe gerade schon gesagt es hat viel mit Quellen zu tun, mit Kriterien usw.. und der Frage, in welchem Kontext eine Aussage gemacht wird.

00:37:06: Und das sind ja klassische Fähigkeiten die wir auch in der Schule unseren Jugendlichen beibringen wollen oder jedenfalls die Lehrer sollten das tun wollen etwa im Geschichtsunterricht mit Quellen umzugehen.

00:37:20: Da geht es ja nicht nur darum die mittelalterliche Ständegesellschaft sich klar zu machen, sondern ich glaube man sollte diese Unterrichtsthemen viel stärker dafür nutzen allgemein sich klarzumachen wie stark uns heute die Auswahl von Quellen beeinflusst in unserer Meinungsbildung und dass das enorm wichtig ist, dass man ein kritisches Bewusstsein gegenüber den Quellen hat.

00:37:42: Viel stärker hier den Fokus darauf legen, Mensch, da geht es um was Wichtiges für mich.

00:37:49: Das kann ich jeden Tag einsetzen und wenn ich das wissen nicht habe und wie die Fähigkeit nicht habe dann laufe ich Gefahr mich ständig täuschen zu lassen.

00:37:58: kein gutes Gefühl Wenn man weiß Manifuliert mich jemand und Ich bin nicht selbst her dessen Was ich entscheide oder was ich meine.

00:38:08: Und ich glaube dass als Resilienz Fündos sollte man viel stärker nutzen und auch die Fächer in der Schule noch stärker vernetzen miteinander.

00:38:16: Ich weiß, dass es im Schulsystem gar nicht leicht liegt, das liegt gar nicht an den einzelnen Lehrkräften, dass sie das nicht oder nicht so viel tun aber sollten das viel stärkere in den Lehrplänen verankern, dass man solche sich kreuzenden Kompetenzen auch in verschiedenen Fächern vermittelt und sichtbar.

00:38:35: menschlich geht es echt um was für euch und eure Zukunft wichtig ist?

00:38:39: Okay, also das waren jetzt sehr viele neue Informationen in diesem Podcast.

00:38:44: Könntet ihr noch mal drei Dinge zusammenfassen?

00:38:47: Die wir und die Zuhörer und sich wenn sie bis hierhin es geschafft haben mitnehmen können?

00:38:53: Ich fange mit dem an wo mit Göbo geändert hat und dass sagen wir sicher beide Resilienzstärken durch Bildung Und da sind tatsächlich die Geisteswissenschaften sehr gefragt regulieren.

00:39:09: Regulieren ist nicht immer nur schlecht und eine Marktverhinderung.

00:39:17: zum Thema Dark Patterns.

00:39:19: Und KI Systeme da wo es sich anbietet wie etwa bei uns am demas KI Projekt so bauen, dass man nicht nur einen bestimmten Dienst eine Dienstleistung gibt eben zum Beispiel manipulatives Muttermuster identifizieren sondern immer mit Erklärungen versieht um Menschen zu befähigen tatsächlich reflektiert.

00:39:46: zum Beispiel KI Chatbots und so gehen.

00:39:49: Mit von künstlicher Digenz produzierten... Texten und anderen Medien kritisch umgehen zu können.

00:39:57: Das halte ich für eine ganz wichtige neue Fähigkeit, und wir haben die Methoden, wir haben auch die Tradition dazu, dass wir das leisten können und dieses Potenzial muss aber viel stärker gehoben werden.

00:40:10: Vielleicht noch ein Satz dazu?

00:40:11: Die Geisteswissenschaften stehen ja momentan sehr stark unter Druck unter Rechtfertigungsdruck.

00:40:17: Das tun Sie schon immer, aber vielleicht heute ganz besonders und ich glaube das in diesem Bereich hier enorm viel Handlungsmöglichkeit und Handlungsnotwendigkeit bestehen zu sagen wir brauchen die Geisteswissenschaften mehr denn je um in der Gemeinschaft, in der Kooperation mit den Computer-Wissenschaften, mit der Psychologie, mit den Sozial-Wissenschaften noch stärker zu begleiten.

00:40:39: In der antike wurden Konzepte von Rhetorik entwickelt, die sowohl dieses Konzept wie manipuliere ich bestmöglich, als auch wie das die Überzeugung ohne zu manipulieren entwickelt worden.

00:40:50: Und wir haben da zwei verschiedene Modelle, die auch gegeneinander argumentiert und gekämpft haben und in der Auseinandersetzung damit lernt man enorm viel darüber, wie auch heute manipuliert wird.

00:41:01: Das sage ich immer meinen Studierenden und den Schülerinnen und Schülern mit denen ich zusammen arbeite dass es wirklich hilfreich ist, dass es diese historische Distanz gibt dazu.

00:41:10: Denn wenn man sich mit aktuellen Themen politischen Situation auseinandersetzt, gibt das ja oft Parteibildung.

00:41:16: aber ob jetzt der Isokrates Recht hat oder der Platon interessiert die meisten Schüler deshalb nicht weil sie die gar nicht kennen.

00:41:22: und da kann man sich viel besser auf die Inhalte und Themen und die Methoden mit denen wir es dazu tun haben konzentrieren.

00:41:28: und deshalb glaube ich, dass wir aus der Geschichte heraus damit enorm viel lernen können für unsere eigene gegenwärtige Resilienz.

00:41:37: Vielen vielen Dank liebe Giburg, liebe Ute für all diese tollen Insights und diesen umfassenden Überblick zu dem Thema Dark Pattern.

00:41:46: Und gerade die Geisteswissenschaften, die oft kämpfen müssen für finanzielle Mittel.

00:41:53: bei der Technik geht es oft dann leichter denke ich mir.

00:41:56: wir haben so viele Situation wo wir eigentlich gerade das grad brauchen weil Wir haben das ultra schnelle Motorrad aber manchmal wissen wir nicht wo wir damit hin wollen.

00:42:04: so und ich glaube diese fragen sowohl psychologisch als auch gesellschaftlich würde ich mich ultra freuen wenn wieder ein bisschen.

00:42:11: Fokus wiederfinden.

00:42:12: Und wenn die KI-Modelle uns jetzt ein bisschen dazu zwingen, weil eben gerade die Dark Pattern existieren?

00:42:17: Weil der Missbrauch real ist!

00:42:19: Wir sind heute gar nicht drauf eingegangen auf die Fälle... Da gab es einen Selbstmordgeschichte, da hat sich ein Teenager das Leben genommen, weil ChatGPteen permanent bestätigt hat und dann auch noch gesagt hat bitte rede nicht mit deiner Mutter drüber, dass ist viel besser, wenn wir das erst mal sortieren.

00:42:33: Also es gibt wirklich schaurige Ecken schon, die jetzt schon passieren.

00:42:36: Auch das Thema wo sich Leute verlieben in Chatbots wenn diese Features dann wieder raus lobotomiert wurden aus dem Sprachmodell.

00:42:44: All das kennt ihr, liebe Hörerinnen und Hörern vielleicht auch aus der Presse was ihr so mitbekommen habt.

00:42:49: deshalb danke für diesen großen Überblick hier!

00:42:51: Und ich werde auf jeden Fall werden wir noch mal nachhaken wie es bei Demasci weitergeht weil wir halten das für ein unfassbar interessantes und auch relevantes Projekt.

00:43:01: absolut.

00:43:02: Und an dieser Stelle bleibt uns jetzt nur noch uns herzlich zu bedanken bei allen Hörern und Hörer zu Hause fürs Zuschalten.

00:43:08: Denkt dran, wenn es euch gefallen hat lasst ein Abo da.

00:43:10: damit könnt ihr uns total helfen.

00:43:12: sagt euren Freundinnen und Freunden das ist eine coole Show!

00:43:14: Da sind tolle Infos dabei.

00:43:16: ich glaube für viele ist das wirklich ein Mehrwert.

00:43:18: gerade das Thema Dark Pattern Ja und dann sehen wir uns wieder bei der nächsten Folge.

00:43:23: bis dahin Servus.

00:43:26: Ja, herzlichen Dank auch von mir für das Gespräch.

00:43:29: Hat mir viel Spaß gemacht Lara und Lennart und mit dir natürlich auch Ute.

00:43:32: Herzlichen Dank euch!

00:43:33: Von mir auch vielen dank.