Meta heeft bekend gemaakt dat het een eigen taalmodel heeft ontwikkeld. Het bedrijf zegt hiermee in te spelen op de belangrijkste tekortkoming van de bestaande LLM’s (Large Language Models), die gebaseerd zijn op hooguit 100 talen, een fractie van de ongeveer 7000 talen die de mensheid kent. Dat heeft een beperkende invloed op de beschikbaarheid van taal/spraaktechnologie in bepaalde economieën.

Meta heeft voor het eigen Massively Multilingual Speech (MMS) project een nieuwe dataset samengesteld die gelabelde data bevat voor meer dan 1.100 talen en ongelabelde data voor bijna 4.000 talen. Volgens Meta presteert het MMS-model nu al beter dan bestaande modellen voor taal- en spraakherkenning. Opvallend is dat Meta gebruik heeft gemaakt van Bijbelteksten, die in veel verschillende talen zijn vertaald en waarvan de vertalingen op grote schaal zijn bestudeerd voor tekstgebaseerd taalvertaalonderzoek. Deze vertalingen beschikken bovendien over publiekelijk beschikbare geluidsopnamen van mensen die deze teksten in verschillende talen lezen.

Tekortkomingen in het MMS model – Bijbelteksten hebben een religieuze inhoud en worden hoofdzakelijk door mannen voorgelezen – bleken uiteindelijk geen probleem op te leveren voor het goed functioneren van het model, onder andere omdat de ontwikkelaars van Meta allerlei voorbewerkingen hebben gedaan.

Meta heeft voor de spraakherkenning gebruik gemaakt van de eigen wav2vec 2.0-oplossing gericht op machine learning. Daarmee is 500.000 uur aan spraakdata in meer dan 1400 talen – veel meer dan tot nu toe is gebruikt – ingezet.

Het resultaat is dat MMS meer dan 4.000 gesproken talen kan herkennen en voor 1100 van deze talen text-to-speech ondersteunt. Daarmee zijn oplossingen zoals die van Whisper van OpenAI ruimschoots ingehaald, aldus de onderzoekers. (Meta)

Technologie