Home AI Forskare bygger en AI för att rädda människor från den känslomässiga bördan av att övervaka hatpropaganda

Forskare bygger en AI för att rädda människor från den känslomässiga bördan av att övervaka hatpropaganda

by admin
Multimodal diskussionstransformator. Kredit: arXiv (2023). DOI: 10.48550/arxiv.2307.09312

Ett team av forskare vid University of Waterloo har utvecklat en ny maskininlärningsmetod som upptäcker hatpropaganda på sociala medieplattformar med 88% noggrannhet, vilket sparar anställda från hundratals timmar av känslomässigt skadligt arbete.

Metoden, som kallas multi-modal discussion transformer (mDT), kan förstå förhållandet mellan text och bild samt sätta kommentarer i ett större sammanhang, till skillnad från tidigare metoder för att upptäcka hatpropaganda. Detta är särskilt användbart för att minska antalet falska positiva resultat, som ofta felaktigt flaggas som hatpropaganda på grund av kulturellt känsligt språk.

”Vi hoppas verkligen att den här tekniken kan bidra till att minska den känslomässiga kostnaden för att människor manuellt ska gå igenom hatpropaganda”, säger Liam Hebert, doktorand i datavetenskap vid Waterloo och försteförfattare till studien. ”Vi tror att vi genom att ta ett samhällscentrerat grepp i våra tillämpningar av AI kan bidra till att skapa säkrare onlineutrymmen för alla.”

Forskare har under många år byggt modeller för att analysera innebörden av mänskliga konversationer, men dessa modeller har historiskt sett haft svårt att förstå nyanserade konversationer eller kontextuella uttalanden. Tidigare modeller har bara kunnat identifiera hatpropaganda med så mycket som 74% noggrannhet, vilket är lägre än vad Waterloo-forskningen lyckades åstadkomma.

”Kontexten är mycket viktig när man ska förstå hatpropaganda”, säger Hebert. ”Till exempel kan kommentaren ’Det är äckligt!’ vara oskyldig i sig, men dess innebörd förändras dramatiskt om den är ett svar på ett foto av en pizza med ananas eller en person från en marginaliserad grupp.

”Att förstå den distinktionen är lätt för människor, men att träna en modell att förstå de kontextuella kopplingarna i en diskussion, inklusive att ta hänsyn till bilder och andra multimediaelement i dem, är faktiskt ett mycket svårt problem.”

Till skillnad från tidigare försök har Waterloo-teamet byggt och tränat sin modell på ett dataset som inte bara består av isolerade hatiska kommentarer utan också av kontexten för dessa kommentarer. Modellen tränades på 8.266 Reddit-diskussioner med 18.359 märkta kommentarer från 850 communities.

”Mer än tre miljarder människor använder sociala medier varje dag”, säger Hebert. ”Effekterna av dessa sociala medieplattformar har nått nivåer som aldrig tidigare skådats. Det finns ett stort behov av att upptäcka hatpropaganda i stor skala för att skapa platser där alla respekteras och känner sig trygga.”

Resultaten publiceras på arXiv preprint server.

You may also like

Leave a Comment