Gegen Hass im Internet

Hass im Netz ist längst kein Randphänomen mehr. Beleidigungen, Diskriminierung und gezielte Hetze gehören für viele Menschen zur täglichen Online-Erfahrung - besonders junge Nutzer*innen sind davon betroffen. Während die großen Plattformen mit Löschungen und Sperren reagieren, setzen Forschende an der USTP - University of Applied Sciences St. Pölten auf innovative Ansätze, um Hassrede nachhaltig einzudämmen und digitale Zivilcourage zu fördern.

Zwei aktuelle Projekte - "Counter Speech: Young People Against Online Hate" und "HaSPI: Hate Speech Prevention through Imitation" - zeigen, wie technologische und gesellschaftliche Forschung gemeinsam neue Wege für ein respektvolles Miteinander im Netz ebnen können.

Beide Projekte verdeutlichen, wie praxisnahe Forschung an der USTP betrieben wird - als Beispiel für digitalen Humanismus: Technologie im Dienst von gesellschaftlicher Verantwortung und Empowerment junger Menschen.

Counter Speech: effektiv auf Hasskommentare reagieren

Kinder und Jugendliche sind häufig Zielscheibe von Hasspostings, Cybermobbing und beleidigenden Kommentaren. Das Projekt "Counter Speech - Young People Against Online Hate" des Instituts für Creative Media/Technologies der USTP und des Instituts für Soziologie der Universität Wien möchte jungen Menschen Werkzeuge an die Hand geben, um aktiv und selbstbewusst gegen Hassrede aufzutreten.

"Anstatt problematische Inhalte zu löschen oder zu sperren, setzt das Projekt auf "Citizen-generated counter speech", also auf Gegenrede aus der Community. Mithilfe automatisierter Datenanalyse und Methoden der KI wird Gegenrede identifiziert und sichtbar gemacht", betont Djordje Slijepcevic, stv. Forschungsgruppenleiter am Institut für Creative Media/Technologies der USTP.

So können Jugendliche lernen, wie sie effektiv auf Hasskommentare reagieren, ohne selbst in die Defensive zu geraten.

CounterHelp-App für TikTok

Ein zentrales Ergebnis des Counter-Speech-Projekts ist die Entwicklung der App "CounterHelp". Jugendliche können mithilfe der App einfach eigene Gegenrede auf TikTok erstellen. Die App analysiert den ausgewählten Kommentar, bezieht sämtliche verknüpften Informationen mit ein und generiert mithilfe eines Sprachmodells Vorschläge in verschiedenen Stilen - von aufklärend über empathisch bis humorvoll. Eine Nutzer*innenstudie bestätigte die Nützlichkeit und Akzeptanz des Tools.

Ausgezeichnete Innovation: CounterHelp gewinnt Preis auf internationaler Konferenz

Die wissenschaftliche Aufbereitung des Ansatzes wurde unter dem Titel "Promoting Online Civil Courage Among Young People Through AI-Generated Counterspeech" präsentiert. Dafür erhielt das Forschungsteam den Best Interactive Experience Demo Award bei der Fachtagung ACM Multimedia - der führenden internationalen Konferenz im Bereich der Multimedia-Forschung. Die Auszeichnung würdigt die technologische Qualität und gesellschaftliche Wirkung der entwickelten Lösung.

"CounterHelp demonstriert, wie man generative KI und moderne Sprachmodelle sinnvoll nutzen kann, um junge Nutzer*innen auf Online-Plattformen zu unterstützen. Wir hoffen, dass CounterHelp die Entwicklung von Gegenrede-Assistenten für Social-Media Plattformen inspiriert", sagt Matthias Zeppelzauer, Leiter der Forschungsgruppe Media Computing an der USTP.

Transparente KI-Methode zur Erkennung von Hassrede und Gegenrede

Das Counter-Speech-Team entwickelte darüber hinaus eine neue Methode zur Erkennung und Klassifikation von Hassrede und Gegenrede. Diese setzt neue Maßstäbe in puncto Transparenz und Effizienz. In der neuesten Publikation "Distilling knowledge from large language models: A concept bottleneck model for hate and counter speech recognition" wird ein neuartiger Ansatz zur Sprachanalyse vorgestellt, der über herkömmliche textbasierte Verfahren hinausgeht. Die neue Methode basiert auf abstrakten und menschlich verständlichen Konzepten, die in Kooperation mit Soziolog*innen der Universität Wien entwickelt wurden. Diese Konzepte erfassen Absicht und Ton von Nachrichten und Social-Media-Beiträgen, indem sie Adjektive wie "sexistisch", "provokant", "liebevoll" formulieren. Die Analyse auf Basis dieser Konzepte ermöglicht es, kompakte und transparente KI-Modelle zu entwickeln, die akkurat, nachvollziehbar und ressourcenschonend Hassrede und Gegenrede erkennen.

HaSPI: Automatisierte Erkennung von Hassrede

Während "Counter Speech" auf die Stärkung der Nutzer*innen setzt, verfolgt das neue Forschungsprojekt "HaSPI - Hate Speech Prevention through Imitation" einen anderen Zugang: Es entwickelt eine technische Lösung zur automatisierten Erkennung und Moderation von Hassrede im deutschsprachigen Raum.

Unter der Leitung von Senior Researcher Sebastian Neumaier vom Institut für IT-Sicherheitsforschung der USTP nutzen die Forschende Methoden des Imitation Learnings - also maschinelles Lernen durch Nachahmung menschlicher Entscheidungen. Die Software lernt auf Basis eines umfangreichen Datensatzes von derStandard.at.

"Im Projekt HaSPI setzen wir auf einen neuartigen Machine-Learning-Ansatz zur Erkennung von Hassrede: Durch Imitation sollen die Modelle ein besseres Verständnis von Hate-Speech im Netz in verschiedenen Kontexten bekommen und dadurch lernen, diese zuverlässiger zu klassifizieren. Dabei stützt sich das Projekt auf den One-Million-Posts-Corpus des STANDARD, der zahlreiche Entscheidungen erfahrener Moderator*innen enthält und somit eine ideale Grundlage für das Training der Modelle bietet", sagt Tobias Kietreiber, stellv. Projektleiter und Junior Researcher am Institut für IT-Sicherheitsforschung.

Intelligente Moderation

Die Forschenden hinter HaSPI möchten ein intelligentes Moderationssystem entwickeln, das insbesondere deutschsprachige Kontexte zuverlässig bewertet. Damit adressiert das Projekt eine zentrale Herausforderung: Viele bestehende KI-Systeme zur Hate-Speech-Erkennung sind für den englischsprachigen Raum optimiert und versagen in anderen Sprachräumen.

Über Counter Speech Das Forschungsprojekt wurde gemeinsam mit der Universität Wien und dem Österreichischen Institut für angewandte Telekommunikation umgesetzt. Gefördert wurde Counter Speech durch den Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF). Der Projektlead lag bei Ulrike Zartler-Griessl vom Institut für Soziologie an der Uni Wien.

* Mehr Infos zum Projekt finden Sie auf der Forschungswebseite ( https://research.ustp.at/projekte/counter-speech-young-people-against-online-hate ). * Wissenschaftliche Publikation zu Speech Concept Bottleneck Models: "Distilling knowledge from large language models: A concept bottleneck model for hate and counter speech recognition" ( https://doi.org/10.1016/j.ipm.2025.104309 ) * Wissenschaftliche Publikation zur CounterHelp-App: "Promoting Online Civil Courage Among Young People Through AI-Generated Counterspeech" ( https://dl.acm.org/doi/abs/10.1145/3746027.3754473 )

Über HaSPI Das Projekt wird von netidee gefördert. Netidee ist die große Open-Source-Internet-Förderaktion Österreichs. Organisiert und finanziert wird diese von der Internet Stiftung im Sinne ihres gemeinnützigen Stiftungszwecks, der Förderung des Internets in Österreich. HaSPI soll langfristig frei verfügbar sein, um Betreiber*innen von Foren, Blogs oder Online-Plattformen eine effektive, transparente Moderationshilfe zu bieten.

* Mehr Infos zum Projekt finden Sie auf der Forschungswebseite ( http://research.ustp.at/projekte/haspi-hate-speech-prevention-through-imitation ). * Netidee-Blogeintrag: "Hate doesn't only speak English" ( https://www.netidee.at/haspi/hate-doesnt-only-speak-english ) * "One Million Posts"-Corpus ( https://ofai.github.io/million-post-corpus/ ): Ca.11.000 Datensätze von Kommentaren und Einträgen von der derStandard.at

Promotionsrecht für Fachhochschulen / Hochschulen für angewandte Wissenschaften Die Österreichische Fachhochschulkonferenz fordert ein Promotionsrecht für Fachhochschulen / Hochschulen für angewandte Wissenschaften (HAW) in Österreich. Die USTP - University of Applied Sciences St. Pölten unterstützt diese Forderung. Die Forschungsfelder Medien und Digitale Technologien und IT Security sind an der USTP hervorragend etabliert und über die letzten Jahre stark ausgebaut worden. Für die USTP ist es wichtig, die Möglichkeit zu erhalten, in diesem Bereich eigenständige Doktoratsprogramme anzubieten. Fachhochschulen / Hochschulen für angewandte Wissenschaften sind eng mit Unternehmen und regionalen Strukturen vernetzt. Doktorand*innen treiben Schlüsseltechnologien und Innovationen voran, die in Wirtschaft, Industrie und KMU einfließen. Regionen profitieren durch eine stärkere Standortbindung und Unternehmen durch praxisnahe Forschung.

(Ende)

Aussender: USTP – University of Applied Sciences St. Pölten Ansprechpartner: Maja Sito Tel.: +43 676 847 228 265 E-Mail: [email protected] Website: www.ustp.at