Meta anuncia meta wearables dispositivo de acesso ao kit de ferramentas

Depois de tantos rumores sobre um próximo “SDK for Smartglasses”, A Meta finalmente o anunciou no Meta Connect de hoje. Mas digamos que não é exatamente como imaginamos. Deixe -me dizer o que foi anunciado, o que é bom e o que poderia ser melhor.

O anúncio de um SDK para óculos inteligentes

Durante a palestra do desenvolvedor em Meta Connect, Meta CTO Andrew Bosworth subiu ao palco para anunciar que a Meta está finalmente lançando algumas ferramentas para desenvolvedores relacionados a óculos inteligentes. Toda a multidão (eu incluiu) aplaudiu as notícias. Você pode ver isso no vídeo abaixo:

Boz falou sobre algumas ferramentas para Deixe os desenvolvedores usarem os recursos contextuais de áudio e vídeo dos óculos com seu próprio aplicativo, Em seguida, mostrou alguns exemplos de aplicativos que os parceiros estão fazendo. Por exemplo, a Disney está construindo protótipos em que os óculos inteligentes ajudam as pessoas a navegar para os parques, o Twitch pode transmitir a transmissão dos óculos, a Logitech Streamlabs pode criar fluxos personalizados e multistristadores com sobreposições e alertas, e a Humanware está usando óculos inteligentes para ajudar pessoas com preços de visão a navegar no mundo. Então ele basicamente sugeriu o fato de que O céu é o limite para aplicativos que usam o poder de IA contextual e óculos inteligentes.

O que eu entendi ingenuamente por este anúncio foi que poderíamos ter um SDK para desenvolver aplicativos que sejam executados em óculos inteligentes. Mas quando fui falar com um meta engenheiro e fiz perguntas sobre o SDK, eu realmente percebi que a realidade é bem diferente.

Boz, no palco, cuidadosamente Nunca falei sobre um “SDK para óculos”: Ele só falou sobre aplicativos que usam os recursos de áudio e vídeo dos óculos. E o próprio SDK é chamado de “kit de ferramentas de acesso ao dispositivo Meta Wearables” e não “meta wearables sdk”. A razão para todo esse uso particular de palavras é que Não existe SDK real para óculos, mas apenas um SDK para aplicativos móveis que permite que seu aplicativo móvel “acesse” os recursos dos óculos.

O “META WEARLABLABLE Disposited Access Toolkit” Vamos um aplicativo de telefone celular existente interagir com os óculos de três maneiras possíveis:

• Transmita vídeo dos óculos para o aplicativo móvel
• Transmita áudio dos óculos para o aplicativo móvel
• Áudio de reprodução do aplicativo móvel para os óculos

Os usuários terão que dar explicitamente permissões ao aplicativo móvel para executar essas operações.

O streaming de áudio e vídeo dos óculos para o aplicativo é o que você pode usar para Analise o ambiente em torno do usuário usando seus modelos de IA. Você pode ter modelos de IA em execução no seu aplicativo móvel que analisam o fluxo de vídeo+vídeo provenientes dos óculos e retornem algum feedback ao usuário reproduzindo algum áudio em seus ouvidos. No momento, a Meta AI não pode ser usada diretamente, então você deve executar seus próprios modelos de IA.

Em relação à compatibilidade do kit de ferramentas, me disseram que É compatível com toda a linha de meta -óculos, incluindo Ray-Ban Meta, Oakley Meta e Ray-Ban Meta Display. Isso é bom porque significa que as aplicações construídas com ele pode ser compatível com milhões de óculos inteligentes que a Meta já vendeu para os consumidores.

Digamos que não era exatamente isso que eu esperava. Primeiro de tudo, esperava aplicativos que pudessem funcionar diretamente em óculos inteligentes, não em aplicativos móveis que possam usar os óculos. Mas isso realmente faz sentido: Ray-Ban Meta Glasses foram construídos com funcionalidades muito limitadas para respeitar as restrições de tamanho e peso que tornam os óculos elegantes e confortáveis. Provavelmente, eles não podem executar muita lógica por conta própria e, de fato, a própria meta permite operá -las por meio de um aplicativo móvel complementar. Então Executar aplicativos diretamente neles parece fora de questão.

Uma escolha que parece um pouco menos lógica é que Não há interação possível com os recursos específicos da meta Ray-Ban:

• O kit de ferramentas não permite que você coloque texto ou imagens na exibição dos óculos inteligentes
• O kit de ferramentas não permite que você acesse gestos da pulseira meta neural.

Não é que essas capacidades nunca cheguem: é que Eles não estão disponíveis na versão atual do kit de ferramentas. A Meta sugere encontrar maneiras de contornar as limitações atuais: por exemplo, se você deseja dar feedback ao usuário, em vez de escrever algo na tela, reproduza um áudio com esse feedback. Lembre -se de que a reprodução de áudio é a única coisa que pode ir do aplicativo móvel para os óculos, por isso é o caminho pelo qual você pode fornecer informações ao usuário.

Sobre todos os recursos ausentes, A Meta está realmente aguardando o feedback dos desenvolvedores para integrá -los em versões futuras do SDK. Eles podem integrar algumas operações que acontecem nos óculos, acesso à tela e assim por diante.

A linguagem de programação

Disseram -me que Este kit de ferramentas vestível está disponível para aplicativos nativos. Para os desenvolvedores do Android, há um SDK Kotlin, enquanto para os desenvolvedores do iOS, há um pacote SWIFT. Isso significa que, se você é um desenvolvedor de unidade, deve usar algum invólucro para poder chamar suas funcionalidades da .NET.

Como acessar o SDK

O SDK não está prontamente disponível para todos: você tem que se inscrever por preenchendo este formulárioe me disseram que em algumas “algumas semanas”, as pessoas começarão a receber acesso a ele.

Disponibilidade de fundos

Eu perguntei se existe algum fundo de desenvolvedor Para se candidatar a pessoas que desejam desenvolver aplicativos para óculos, e eu respondi isso, Atualmente, não existe.

Oportunidades corporativas

Atualmente, não há opções de licenciamento para meta -óculos para uso corporativo. Isso significa que, se você desenvolver um aplicativo, ele deve ser projetado para os consumidores.

Enquanto com fones de ouvido VR já vi muitas vezes pequenas empresas usando fones de ouvido licenciados pelo consumidor, com óculos inteligentes, isso pode ser um pouco mais complicado. A principal razão é que as empresas Não desejará que seus funcionários tenham dispositivos de cabeça com câmeras que não têm uma declaração clara sobre o fato de que as imagens das câmeras são descartadas. Caso contrário, existe um risco muito alto de quebrar os segredos comerciais.

Considerações pessoais

Minha impressão sobre esse anúncio do kit de ferramentas é que os gerentes da Meta decidiram que A empresa deve ter lançado uma espécie de SDK para óculos em Meta Connect e que isso não pôde ser adiado porque o Google já anunciou a divulgação de sua prévia do desenvolvedor para o Glasses SDK antes do final do ano. Mas provavelmente o tempo não foi suficiente para desenvolver um SDK adequado para óculos, e provavelmente os dispositivos no mercado não foram inicialmente pensados ​​como tendo um SDK para eles, então Meta correu para lançar “Something for Developers”.

Na minha opinião, fica claro que houve uma corrida por algumas dicas aqui e ali. Uma é que a palestra anunciou um kit de ferramentas para óculos, mas na verdade ainda não está pronto, e Você deve se registrar para ser notificado em um momento não especificado em que pode baixá -lo. Outro é que a primeira versão de Este kit de ferramentas não permite usar a exibição da meta-ban-banque é um recurso acéfalo.

Então, eu não ficaria surpreso se a primeira versão deste kit de ferramentas não fosse perfeita. Mas tenho certeza de que isso vai melhorar com o tempo.

Não obstante todas essas limitações, ainda acho que Um kit de ferramentas para usar meta -óculos é uma oportunidade interessante, considerando o crescente sucesso desses dispositivos e O potencial infinito que eles têm para integrar a IA na vida das pessoas. É uma oportunidade importante para nós, desenvolvedores, fazer algo novo e encontrar nosso próprio sucesso.

Será importante avaliar As diferenças entre este kit de ferramentas e a que o Google lançará. Na mesma sessão conjunta do Google-QualComm, onde o Google anunciou seu próximo SDK, A Qualcomm mostrou um pequeno modelo de idioma que rodava inteiramente em óculos. Então, eu me pergunto se o Google Glasses SDK também permitirá a execução de pequenos aplicativos diretamente nos óculos. Isso seria incrivelmente poderoso e também permitiria que você não queime necessariamente a bateria do seu telefone celular ao executar aplicativos de óculos de AI. Mas, ao mesmo tempo, sei que os óculos atuais não podem executar modelos complexos de IA, portanto, mesmo que a execução de aplicativos de óculos independentes seriam possíveis, na maioria dos casos, você ainda deve criar um aplicativo de telefone de óculos híbridos.

Também há considerações de mercado a serem consideradas: a Meta é atualmente o líder de mercado. Já existem mais de 2 milhões de meta-baan por aí, E eu não ficaria surpreso se o número dobrasse no próximo ano. No curto prazo, o Google não pode competir com esses números: a parceria com a Luxottica garante meta uma ampla rede de distribuição, o que é uma enorme vantagem para a venda dos óculos. Então, Mesmo que o SDK e os óculos inteligentes do Google fossem melhores, ainda poderia fazer mais sentido para nós, desenvolvedores, lançar algo para meta, pelo fato de haver muito mais clientes em potencial. Obviamente, estou falando de algo para um propósito geral … se você precisar construir para um caso de uso específico, pode simplesmente escolher os melhores óculos e ferramentas de dev.

E é isso para as ferramentas de desenvolvedor recém -anunciadas. Para quaisquer perguntas e considerações, como sempre, sinta -se à vontade para usar a seção de comentários abaixo. E se você compartilhasse este artigo com seus outros colegas XR, me deixaria muito feliz.

Relacionado