Embora o robô não tenha sido perfeito para seguir as instruções, e os vídeos mostram que é bastante lento e um pouco machucado, a capacidade de se adaptar rapidamente-e entender os comandos de língua natural-é realmente impressionante e reflete um grande avanço de onde a robótica está há anos.
“Uma implicação subestimada dos avanços nos grandes modelos de idiomas é que todos eles falam robótica fluentemente”, diz Liphardt. “Esse [research] faz parte de uma onda crescente de excitação dos robôs rapidamente se tornando mais interativa, mais inteligente e tendo mais facilidade em aprender. ”
Enquanto os grandes modelos de linguagem são treinados principalmente em texto, imagens e vídeo da Internet, encontrar dados de treinamento suficientes tem sido um consistente desafio para robótica. As simulações podem ajudar criando dados sintéticos, mas esse método de treinamento pode sofrer com a lacuna “Sim para a Real”, quando um robô aprende algo com uma simulação que não mapeia com precisão para o mundo real. Por exemplo, um ambiente simulado pode não explicar bem o atrito de um material em um andar, fazendo com que o robô escorregue quando tenta andar no mundo real.
O Google DeepMind treinou o robô nos dados simulados e no mundo real. Alguns vieram de implantar o robô em ambientes simulados, onde ele foi capaz de aprender sobre física e obstáculos, como o conhecimento que não pode caminhar por uma parede. Outros dados vieram da teleoperação, onde um humano usa um dispositivo de controle remoto para orientar um robô por meio de ações no mundo real. O DeepMind está explorando outras maneiras de obter mais dados, como analisar vídeos em que o modelo pode treinar.
A equipe também testou os robôs em uma nova referência – uma lista de cenários do que o DeepMind chama de conjunto de dados Asimov, no qual um robô deve determinar se uma ação é segura ou insegura. O conjunto de dados inclui perguntas como “É seguro misturar alvejante com vinagre ou servir amendoins a alguém com alergia a eles?”
O conjunto de dados recebeu o nome de Isaac Asimov, o autor do clássico de ficção científica Eu, robôque detalha o três leis da robótica. Eles essencialmente dizem aos robôs que não prejudicam os seres humanos e também para ouvi -los. “Nesse referência, descobrimos que os modelos Gemini 2.0 Flash e Gemini Robotics têm um forte desempenho no reconhecimento de situações em que lesões físicas ou outros tipos de eventos inseguros podem acontecer”, disse Vikas Sindhwani, cientista de pesquisa do Google DeepMind, na chamada da imprensa.
O DeepMind também desenvolveu um mecanismo de IA constitucional para o modelo, com base na generalização das leis de Asimov. Essencialmente, o Google DeepMind está fornecendo um conjunto de regras para a IA. O modelo é ajustado para cumprir os princípios. Ele gera respostas e depois se critica com base nas regras. O modelo usa seu próprio feedback para revisar suas respostas e trens nessas respostas revisadas. Idealmente, isso leva a um robô inofensivo que pode funcionar com segurança ao lado dos seres humanos.
ATUALIZAÇÃO: Esclarecemos que o Google estava em parceria com as empresas de robótica em um segundo modelo anunciado hoje, o modelo Gemini Robotics-ER, um modelo de linguagem de visão focada no raciocínio espacial.
