Seguimiento manual en tiempo real
El lenguaje de señas es utilizado por millones de personas en todo el mundo. Los investigadores han estado trabajando para desarrollar tecnologías que puedan comprender los gestos y convertirlos automáticamente en un lenguaje comprensible para los humanos. Sin embargo, estos proyectos no han tenido un gran éxito en términos de precisión.
Google ha desarrollado recientemente un algoritmo que se puede utilizar para el seguimiento de manos en tiempo real. El sistema inteligente aprovecha el aprendizaje automático para crear un mapa de la mano. El mapa se crea con la ayuda de una cámara o un teléfono inteligente. No podemos negar el hecho de que la mayoría de los sistemas no logran capturar con precisión los movimientos rápidos de la mano. Google ha abordado específicamente este problema en esta investigación. Curiosamente, han limitado la cantidad de datos que los algoritmos procesaban previamente.
¿Cómo funciona el seguimiento manual en tiempo real?
La mayoría de los proyectos existentes traducen el lenguaje de señas detectando el tamaño y la posición de la mano completa. Con esta investigación. los investigadores han eliminado la necesidad de manipular formas rectangulares de diferentes tamaños. El sistema de Google simplemente reconoce la palma de la mano que tiene forma cuadrada. En segundo lugar, se realiza un proceso de análisis separado para los dedos.
Gestos con las manos
Los investigadores utilizaron alrededor de 30.000 imágenes de manos para entrenar el algoritmo de aprendizaje automático. Estas imágenes fueron capturadas en diferentes condiciones de iluminación y pose. El sistema luego detecta el gesto haciendo una comparación entre la pose de la mano y una lista de entidades conocidas como una pelota o felicidad. Google describe el reconocimiento de gestos en un entrada en el blog .
Luego, asignamos el conjunto de estados de los dedos a un conjunto de gestos predefinidos. Esta técnica sencilla pero efectiva nos permite estimar gestos estáticos básicos con una calidad razonable. La canalización existente admite el conteo de gestos de múltiples culturas, p. Ej. Americanos, europeos y chinos, y varios signos con las manos que incluyen 'Pulgar arriba', puño cerrado, 'OK', 'Rock' y 'Spiderman'.
El algoritmo final de seguimiento manual produce resultados de vanguardia en términos de velocidad y precisión. El algoritmo utiliza el marco MediaPipe para ejecutarse. Esta técnica parece un gran avance en el dominio del lenguaje de señas. Aunque todavía hay mucho margen de mejora. para crear una mejor comprensión de la lengua de signos. Cualquiera puede extender este trabajo para usar expresiones faciales y ambas manos para lograr mejores resultados.
Aunque no hay noticias de Google, existe la posibilidad de que Google pueda mejorar esta tecnología de rastreo de manos en tiempo real para usarla en sus productos. Mientras tanto, si quieres jugar con el código, es disponible públicamente en GitHub .
Etiquetas google
