Riconoscimento dei gesti delle mani in tempo reale conversione dalla lingua segni alla voce

L'obiettivo principale del progetto è quello di implementare un sistema in tempo reale che converta i gesti delle mani dal linguaggio dei segni americano (ASL) in segnali vocali. Questo potrebbe essere utilizzato dalle persone con disabilità del linguaggio per comunicare con gli altri. A tal fine, sono stati utilizzati l'elettromiogramma di superficie (EMG), che misura l'attività elettrica dei muscoli dell'avambraccio, e un accelerometro, che misura l'accelerazione dei movimenti della mano. Per registrare questi segnali dall'utente e trasmettere i dati raccolti a Matlab tramite Bluetooth è stato utilizzato un dispositivo indossabile per la raccolta dei dati chiamato Shimmer. In Matlab è stato implementato un algoritmo di riconoscimento dei modelli che ha elaborato i segnali e visualizzato le decisioni in base al gesto eseguito. Sono stati effettuati diversi test su un soggetto umano per identificare più gesti con una sola mano e con entrambe le mani, al fine di riconoscere varie parole e frasi di base nella lingua dei segni americana. I risultati sperimentali sono stati registrati e discussi.