Sistema para libras

Olá caros colegas, hoje na faculdade meu professor citou um programa desenvolvido em Delphi desenvolvido para auxiliar na comunicação de surdos e mudos.

Por enquanto o sistema não utiliza Webcam para reconhecimento dos movimentos, pelo que ele explicou no sistema você entra com a descrição do movimento e o sistema retorna o significado.

Me interessei muito, gostaria a principio fazer um sistema similar ao que o sistema citado faz, e quem sabe futuramente colocar um reconhecimento de movimento pela webcam, alguém teria alguma idéia, sugestão, colaboração de como eu posso iniciar esse desenvolvimento??

A principio eu pensei em um sistema onde eu informaria a altura na mao, qual mão, o movimento da mão e o formato da mão, ai com essa combinação eu consultaria em uma base de dados o que me retornaria o significado

O que vocês acham?

Abraço