Uma nova patente da Apple descreve um sistema de registro quando um usuário toca ou não um objeto real em um espaço virtual, com a medição da profundidade das pontas dos dedos e calculada a partir dos ângulos das câmeras.
Os sistemas futuros de Realidade Aumentada e Virtual e as atualizações do ARKit da Apple podem exibir objetos virtuais ao lado de reais, além de permitir a manipulação de ambos. A dificuldade, até agora, está em avaliar quando o usuário está realmente tocando em um objeto ou se está apenas muito perto de fazê-lo.
Um novo pedido de patente da Apple, "Detecção de toque com base em profundidade", Patente US 10.572.072, detalha os problemas inerentes ao uso exclusivo de posições de câmera virtual para calcular se ocorreu um toque.
"O uso de câmeras para detecção de toque tem muitas vantagens sobre os métodos que dependem de sensores embutidos em uma superfície", diz a patente. Ele descreve sistemas do tipo Face ID em que "sensores de visão e ou câmeras de profundidade" fornecem uma medida da distância entre a lente e a superfície de toque.
"Mas essa abordagem requer uma configuração de câmera de profundidade fixa e não pode ser aplicada a cenas dinâmicas", continua. Outra abordagem funciona identificando o dedo do usuário e, em seguida, marcando os pixels ao redor até que muitos sejam registrados para que, efetivamente, o dedo esteja tocando a superfície. "No entanto, essa abordagem pode ser propensa a erros".
Esses sistemas existentes dependem do que a Maçã chama de "limites predefinidos", pontos calculados em que um toque é assumido ou não. "Eles também sofrem grandes distâncias de foco (ou seja, um toque pode ser indicado quando o dedo passa 10 milímetros, ou menos, acima da superfície; introduzindo, assim, um grande número de detecções de toque falso-positivas)", continua.
Embora não tente substituir esses sistemas, o pedido de patente da gigante de Cupertino descreve também o uso da detecção de profundidade. "Uma medida da distância do objeto é feita em relação à superfície e não à câmera, proporcionando, assim, alguma medida de invariância em relação à pose da câmera", diz a patente.
O sistema da Apple identificaria, primeiramente, um objeto como "um dedo, uma caneta ou outro objeto opticamente opaco". Em seguida, identificaria a superfície "plana ou não plana".
Essa detecção continuaria à medida em que o usuário se move, fornecendo ao sistema uma série de leituras ao longo do tempo, ou o que a Apple chama de "sequência temporal de resultados".
O objetivo do sistema é detectar o toque, onde pode não haver nada no material da superfície para reagir a esse contato. "A funcionalidade do computador pode ser aprimorada ao permitir que esses dispositivos ou sistemas de computação usem superfícies arbitrárias (por exemplo, uma mesa ou outra superfície) para obter informações em vez de teclados convencionais e ou dispositivos apontadores (por exemplo, mouse ou caneta)", diz a patente.
"A funcionalidade do sistema pode ser aprimorada ainda mais, eliminando a necessidade de dispositivos de entrada convencionais, dando ao usuário a liberdade de usar o sistema em ambientes arbitrários", continua.
A patente é creditada a dois inventores, Lejing Wang e Daniel Kurz. Eles têm cerca de 60 patentes, que incluem muitas relacionadas, como "método e sistema para determinar uma pose de câmera" e "monitor virtual aumentado".
Esta patente segue muitas outras de AR e VR da Apple, mais recentemente, incluindo uma que utiliza ferramentas de mapeamento de ponta de dedo e de rosto para também ajudar no toque e na interação.