Eles criam uma pulseira capaz de rastrear a postura de todo o corpo em 3D, e usando apenas uma câmera

Pudemos ver esse avanço tecnológico em nossos futuros relógios inteligentes, e é assim que funciona.

É bastante comum ver milhões de pessoas terem um relógio inteligente ou uma pulseira de atividade nos pulsos, aparelhos que avançaram muito nos últimos tempos, mas ainda não conseguem rastrear a postura de todo o nosso corpo, embora possam acabar fazendo isso no futuro.

Agora, os pesquisadores da Cornell University criaram uma pulseira capaz de rastrear a postura do corpo inteiro em 3D, usando apenas uma câmera em miniatura e também uma rede neural profunda personalizada.

Se chama Corpo Trak e é um dispositivo de detecção inteligente capaz de monitorar a mecânica corporal do usuário em todas as suas atividades físicas.

“Como os smartwatches já possuem uma câmera, tecnologias como o BodyTrak podem entender a pose do usuário e fornecer feedback em tempo real. É prático, acessível e não limita a área de circulação do usuário”, pontos Cheng Zhang, professor assistente de ciência de dados e principal autor.

O BodyTrak, semelhante a uma pulseira, consiste em uma câmera do tamanho de uma moeda no pulso, juntamente com uma rede neural profunda personalizada por trás dela. Essa rede neural lê as imagens da câmera ou a silhueta do corpo do usuário em movimento e é capaz de recriar virtualmente 14 poses corporais em 3D e em tempo real.

Sua câmera aponta para o corpo do usuário coletando apenas imagens parciais

Para desafiar e testar o pulsorealizou um estudo de usuários com nove participantes onde cada um realizou 12 atividades diárias como caminhar, sentar ou fazer exercício em cenários diferentes, vestindo roupas diferentes e com um número diferente de configurações de câmera.

Então, os resultados após o exercício mostraram que o sistema pode inferir a pose de corpo inteiro, especificamente posições 3D de 14 articulações, com um erro médio de 6,9 ​​cm usando apenas uma câmera RGB em miniatura no pulso apontando para o corpo.

Para aqueles que se preocupam com a privacidade, eles esclarecem que sua câmera aponta para o corpo do usuário, coletando apenas imagens parciais, algo que poderíamos ver em futuras pulseiras de exercício.

Anteriormente, esse grupo de pesquisa já havia desenvolvido modelos de aprendizado profundo para rastrear movimentos de mãos e dedos, mas também expressões faciais e reconhecimento de fala silenciosa.