DR
- Meta introduziu uma nova maneira de mapear digitalmente uma sala, chamada SceneScript.
- O SceneScript é capaz de identificar automaticamente objetos e características da sala, como paredes, sofás e mesas, com a ajuda da IA.
- Os dados resultantes podem ser usados pelos LLMs para responder perguntas sobre a sala.
Meta lançou um novo método para digitalizar uma sala chamado SceneScript. Essa nova forma de digitalização de salas pode tornar o processo mais rápido e fácil nos fones de ouvido Quest e também pode ter outras implicações úteis.
Antes de usar um fone de ouvido VR, é recomendável examinar a sala para que os limites possam ser definidos. Dessa forma, você não precisa se preocupar em esbarrar em vários objetos, pois sua visão fica obscurecida. A digitalização de salas também é usada para AR para ancorar e alinhar com precisão o conteúdo 3D ao espaço interno em que você está. No entanto, a maneira atual como a digitalização de salas é feita pode ser um pouco complexa e hostil ao usuário.
Em um detalhado Postagem de tópicos, O gerente de projetos de meta pesquisa, Edward Miller, apresentou o SceneScript, que visa resolver esse problema. De acordo com Miller, a tecnologia usa IA para identificar automaticamente objetos e características da sala, como paredes, sofás, mesas, tetos e muito mais. Então, em vez de mapear manualmente essas coisas, a IA faz isso enquanto você olha ao redor.
O Vision Pro da Apple também é capaz de mapear automaticamente uma sala. No entanto, o headset não é capaz de identificar e rotular objetos como o SceneScript consegue.
Além de fazer o trabalho de mapeamento da sala para você, Miller diz que os dados podem ser usados com chatbots como o Llama 2 para fazer perguntas sobre a área. Por exemplo, o usuário poderia perguntar “Quantos potes de tinta seriam necessários para pintar esta sala?” Presumivelmente, o Llama 2 seria capaz de responder a essas perguntas se você escolhesse os dados da sala com o LLM.
Em um postagem no blog, Meta diz que o SceneScript poderia “desbloquear casos de uso importantes para fones de ouvido de RM e futuros óculos de RA”, como fornecer navegação passo a passo para deficientes visuais. A empresa também afirma que a tecnologia poderia “desbloquear o potencial dos assistentes digitais da próxima geração, fornecendo-lhes o contexto do mundo físico necessário para responder a questões espaciais complexas”.
A Meta não diz se trará a tecnologia para o Meta Quest 3 ou para o próximo Meta Quest 3 Lite. Mas esta seria uma grande atualização para o recurso Guardian do fone de ouvido.
