Studenten van Breda University of Applied Sciences (BUas) ontwikkelden slimme AI-prototypes voor de Nederlandse Gebarentaal (NGT). Met deze technologie leren gebruikers gebaren maken en krijgen ze direct feedback op hun handen. De studenten volgen de opleiding Applied Data Science & Artificial Intelligence en bouwden de werkende prototypes in slechts twee weken.
Het project richt zich op het handalfabet. Met deze methode spel je woorden en namen die geen officieel gebaar hebben. Ongeveer 30.000 Nederlanders gebruiken NGT als hun eerste taal. Docent Nienke Fluitman van Gebaren.nl signaleerde een groot tekort aan interactief online lesmateriaal. Daarom stelde zij een oplossing met de camera voor.
De technologie combineert verschillende slimme technieken. Actie-herkenning identificeert de gebaren en landmark-detectie bepaalt de handpositie nauwkeurig. Dynamic time warping vergelijkt vervolgens de bewegingspatronen van de gebruiker. Zo geeft het systeem realtime feedback op elke afzonderlijke vinger. De trainingsdata kwam uit fotosessies waarin studenten elkaar het handalfabet leerden.
Fluitman noemde het resultaat verbluffend, vooral door de feedback per vinger. De studenten maakten zelfs een begin met gamification. BUas organiseert nu vervolgweken om de tools verder te verfijnen. Daarnaast zoekt de hogeschool nieuwe samenwerkingen met bedrijven en organisaties.
