Yubo

Meer dan alleen tekstmoderatie

Maar hoe uniek is de tekst in Yubo? Alexis Benichoux, Machine Learning Specialist bij Yubo, licht het probleem toe:
 

• Het is lastig te herkennen welke taal er wordt gesproken, omdat veel gebruikers verschillende talen tegelijk gebruiken. Een gebruiker kan bijvoorbeeld iets zeggen dat in het Zweeds aanvaardbaar is, maar dat in het Engels wordt gemarkeerd omdat het woord in het Engels een andere betekenis heeft.
• De meeste berichten zijn heel kort en veel korte uitdrukkingen uit de jeugdtaal kunnen in de ene taal gebruikelijk zijn, maar in een andere taal iets heel anders betekenen.
• Sommige talen lijken erg op elkaar, zoals Spaans en Portugees.
• Dan is er ook nog internetjargon en zelfs "Yubo-taal", die specifiek is voor de app.
• In veel berichten worden emoji's gebruikt – een bericht bestaan uit drie losse letters en een emoji.
• Opzettelijke spelfouten van scheldwoorden of verboden inhoud komen vaak voor; ook hiermee moet rekening worden gehouden.

De oplossing

Yubo besloot een eigen moderatieplatform te creëren en zocht daarvoor een oplossing met dedicated servers bij Leaseweb. Het bedrijf had in het verleden geëxperimenteerd met andere cloudoplossingen van derden, maar stapte uiteindelijk over op dedicated servers vanwege de lagere kosten en het hoge schaalbaarheidspotentieel. "We waren oorspronkelijk gebouwd op Google Cloud," vertelt Patora, "maar dat werd al snel veel te duur." Met de overstap van Google naar Leaseweb bespaarde Yubo meer dan 80% op de infrastructuurkosten. Dit geld kon het bedrijf vervolgens weer investeren in hun werknemers, het nieuwe moderatieplatform en de app.

Systeemarchitectuur

De modellen zijn gebaseerd op twee soorten inhoud: internetinhoud (voornamelijk bestaand uit hoge volumes met veel slang) en internettrollen. Hiervoor kunnen snelle API's in productie worden ingezet om de inhoud te modereren. Het tweede type inhoud zijn toxische gebruikers en bedriegers die zich voordoen als iemand anders. Om dit goed te kunnen filteren is meer machine learning en kennis nodig. Hoewel het volume van dit soort inhoud lager is, is het potentieel veel schadelijker voor de app en de gebruikers. Inhoud met een laag volume wordt asynchroon behandeld met diepgaandere algoritmen, terwijl er voor inhoud met een hoog volume snel reagerende API's nodig zijn.
 

Zodra het inhoudstype is geïdentificeerd, komt het in een gegevensstroom die uit verschillende modellen bestaat. Er zijn verschillende beperkingen voor iedere taal, iedere categorie en iedere functie. Er zijn ongeveer 120 modellen in productie, hoofdzakelijk gebaseerd op CBOW+fasttext en NBSVM. Een chat-bericht wordt bijvoorbeeld door ten minste drie modellen gefilterd. Een typische pijplijn ziet er als volgt uit: 
 

1. Woordstambepaling, lemmatisering, ontsluiering

                    ∂σ уαℓℓ ωαηηα вє ƒяιєη∂ѕ -> (doen, jij, willen, zijn, vriend)

2. Taalherkenning
3. Herkenning van persoonlijke informatie
4. Filtering van scheldwoorden/ongewenst taalgebruik

Gegevensstroom

• Training van het model.

     Gegevens van Yubo worden gebruikt om modellen continu opnieuw te trainen. Dit gebeurt offline en checkpoints worden naar data buckets gestuurd om door frontend-API's te worden geserveerd.

• • Gegevens: het team begint met een schone dataset, die geheel buiten de productie kan liggen. Er worden geen gegevens van buitenaf gebruikt, alles komt van Yubo. 
  • Annotatie: er is een app voor annotatie door gebruikers en voor annotatiecampagnes. 
  • Modellering: er bestaan verschillende modellen voor verschillende functies (zoals chatten, bewerken van de biografie, uploaden van afbeeldingen, enz.). 

• Productie: het model wordt gecategoriseerd en in geschikte productieomgevingen worden ingezet. 
  • Inhoud met hoog volume: snelle reacties nodig (messaging, enz.) – inzet van API's, berekeningen worden uitgevoerd op GPU's. 

• Inhoud met laag volume: er is meer verwerkingstijd nodig (onderzoek naar een giftige gebruiker, meer context nodig, etc.) – inzet van Redis-wachtrijen, feedback uit leerproces wordt ingeleerd en uitgerold. Werken met intelligent model met supervised learning. 

Van begeleid naar actief leren

"Aan de voorkant bestaat de architectuur uit getrainde modellen," legt Benichoux uit, "en dan is er een groot backend-gedeelte. Het team is vooral bezig met het trainen en implementeren van modellen, dus het is supervised learning, maar binnen het grote geheel proberen we om daar ook actief leren bij in te bouwen. Dus we gebruiken menselijke moderatie – alles wat we kunnen krijgen, ook al is het erg traag om dat aan te passen – maar zo beoordelen we inhoud, en we krijgen menselijke rapporten. Soms kan een beoordeling zelfs weken duren. Zo bereiken we langzaam maar zeker verbeteringen in de toepassing van ons algoritme voor supervised learning."

Het resultaat

Yubo's is pas twee jaar geleden begonnen aan zijn architectuur voor tekstmoderatie en het is nu al een van de meest intelligente systemen die er zijn. Naast andere initiatieven is Yubo een partnerschap aangegaan met National Center for Missing & Exploited Children (NCMEC), een Amerikaanse NGO die zich bezighoudt met de opsporing van vermiste kinderen. Met deze organisatie worden gegevens gedeeld wanneer er een vermoeden is van illegale activiteiten waarbij minderjarigen betrokken zijn.
 

Naast de technische middelen die de veiligheid van de gebruikers garanderen, wordt Yubo ook ondersteund door een Veiligheidsraad van vooraanstaande internationale deskundigen. Deze raad (met deskundigen bijvoorbeeld van Thorn en Interpol) komt meerdere keren per jaar bijeen om alle productkenmerken door te nemen en de aanwezige veiligheidsvoorzieningen te evalueren.
 

Elke dag worden de algoritmen intelligenter en groeit het aantal gebruikers (en de infrastructuur) van Yubo. Het team houdt de zaken stabiel en ongecompliceerd terwijl het elke dag duizenden nieuwe gebruikers veilig met elkaar verbindt – en bewijst dat schaalbaarheid niet ten koste moet gaan van veiligheid.

De toekomst

Yubo kan exponentieel schalen. De volgende stap is nu om snel talent te werven om het groeiende bedrijf te ondersteunen. En met een horizontaal schaalbare architectuur met innovatieve AI-systemen, aangedreven door dedicated servers van Leaseweb, zal Yubo veel meer talent nodig hebben.

De volgende stap? Wereldheerschappij!