A nova geração de aprendizado de máquina? – Não

Computadores neuromórficos: ser inspirado pela biologia pode ajudar a superar as limitações das arquiteturas modernas de computadores.

Já tínhamos mencionado computadores neuromórficos No artigo sobre hardware especializado para IA. O conceito de computadores neuromórficos não é exatamente novo: na verdade, foi cunhado nos anos 80 por C. mead, depois “oficializou” em um artigo que mais tarde se tornou famoso: Sistemas eletrônicos neuromórficos.
Simplificando, um computador neuromórfico é um computador construído com uma arquitetura capaz de simulando o funcionamento do cérebro. A razão pela qual a necessidade de seguir esse caminho, bem como por razões de simulação científica, é superar os limites intrínsecos da arquitetura moderna, que estamos nos aproximando rapidamente.

Limitações das arquiteturas modernas

Hoje quase todos os computadores trabalham amplamente de acordo com o Arquitetura von Neumann: uma CPU, um ou mais dispositivos de memória (RAM, disco rígido etc.) e um barramento com vários canais.
Nesse tipo de arquitetura, os dados são constantemente transferidos pelo barramento da CPU para a memória e vice -versa. O fluxo de dados é quase constante e é cronometrado por um relógio do sistemaque hoje em dia é da ordem de GHZ, ou bilhões de ciclos por segundo.

Esse tipo de arquitetura, embora muito bem -sucedido nos computadores de hoje, tem um ponto fraco, ou seja, o gargalo criado entre a CPU e os dispositivos de armazenamento, pois eles operam em velocidades drasticamente diferentes. Esse tipo de problema é de alguma forma mitigado, mas não resolvido, com a implementação de mecanismos de cache e maximizar a velocidade de transferência do barramento. Outro problema é que a miniaturização progressiva, que seguiu Lei de Moore Até agora, agora está se aproximando de seus limites físicos que esses limites são a razão pela qual precisaremos encontrar maneiras diferentes de continuar aumentando o poder da computação, o que está se tornando cada vez mais necessário para treinar as redes neurais de hoje.

https://www.youtube.com/watch?v=_plwbnzfxhy

Computadores neuromórficos para o resgate

O tipo de problemas listados está se tornando cada vez mais premente na era de Big data e de Aprendizado profundocom suas redes neurais cada vez mais amplas e complexas. Então, o que fazer? Uma maneira possível seria ir com computadores quânticos (já conversamos sobre isso no Guia do carona para computadores quânticos), que são promissores, mas ainda em um estágio muito inicial e ainda não são maduros o suficiente para soluções de uso geral. Portanto, no final, a solução para esses problemas pode ser apenas para se inspirar na biologia e construir sistemas artificiais que funcionam como o cérebro humano: Computadores neuromórficos.

O processamento neuromórfico é baseado em alguns pontos -chave:

• Memória e cálculo no mesmo lugar: Não mais dois sistemas separados, como na arquitetura von Neumann, mas muitos “processadores” simples (inspirados nos neurônios).
• Paralelismo: As redes neurais construídas sobre esse princípio são projetadas para serem intrinsecamente capazes de paralelismo duro.
• Conectividade extensa: Como no cérebro humano, os nós são densamente conectados localmente (na mesma estrutura), mas também através de conexões “longas” com nós de outras estruturas.
• Processamento de pico: Os vários nós comunicam picos de valas, inspiradas nos potenciais de ação biológica.

Spiking Neural Networks

Uma característica crucial do processamento neuromórfico é o uso de redes neurais “spiking”, operacionalmente mais semelhantes às suas contrapartes biológicas. No Redes neurais “tradicionais”como perceptron ou redes convolucionais, todos os neurônios de uma determinada camada “atirar” um real valor juntos para cada ciclo de propagação. O valor para cada neurônio, dependendo dos valores recebidos na entrada e na ativação da função.
Em vez disso, em redes de pico, os neurônios em vez de disparar (ou não) em cada ciclo de propagação, disparam apenas quando sua ativação exceder um certo limite. Em outras palavras, segue a mesma lei de “tudo ou nada” dos potenciais de ação biológica.

Devido a essa lei, esses sinais podem ser considerados com segurança como digital, onde podemos modular a frequência e o prazo com o qual são demitidos. Além disso, o gatilho também depende da natureza das sinapses (conexões entre neurônios), que podem ser excitatórios ou inibitórios. A vantagem desse tipo de redes está em Simplicidade computacional (os neurônios são apenas somas algebraicais simples).

Dito isto, mesmo que o tipo de cálculo nessas redes seja teoricamente simples, o problema é que ele pode se tornar complexo para implementá -lo com as arquiteturas tradicionais. De fato, representa corretamente a tendência dos sinais ao longo do tempo (frequência), seria necessário implementar equações diferenciais, cuja complexidade prejudicaria a vantagem inicial.

https://www.youtube.com/watch?v=og0ptp3ogca

No entanto, utilizando arquiteturas apropriadas, com base no uso de Memristor (Um tipo de resistência com memória) Podemos implementar circuitos que podem efetivamente simular sinapses biológicas. Essas arquiteturas podem ser implementadas com componentes relativamente baratos e em uma fração da energia necessária para seus colegas tradicionais.

Implementações notáveis

O desenvolvimento de computadores neuromórficos está lentamente, mesmo que a tecnologia ainda não esteja madura, e apenas dois anos atrás os investimentos já haviam excedido US $ 400 milhões na América do Norte e na União Europeia (veja abaixo). Abaixo estão algumas das implementações mais conhecidas.

Projeto Cérebro Humano

O projeto do cérebro humano é um enorme projeto de pesquisa que visa acelerar a pesquisa no campo da neurociência. Uma das áreas do projeto é “Cérebro de silício“, Onde Spinnaker (veja abaixo) e Brainscales (Uma arquitetura projetada para simular a plasticidade das conexões neurais) mesclada.

https://www.youtube.com/watch?v=hm4xk02dflu

Spinnaker

Baseado em Processadores de ARMcada Spinnaker O Chip possui um processador, um módulo de memória SDRAM e um roteador capaz de transmitir as mensagens Spikes para os outros chips. Do ponto de vista do software, o paradigma de programação do spinnaker é um modelo simples orientado a eventos, e o projeto fornece ferramentas dedicadas. Os aplicativos não controlam o fluxo de execução, mas só podem indicar as funções a serem executadas quando ocorre um evento específico, como a chegada de um pacote ou um tempo decorrido. O aplicativo Spinnaker Kernel Sark (Spinnaker Application RunTime Kernel) monitora o fluxo de execução e agenda/rotas as chamadas para as funções. O estado da arte é representado pelo Máquina de Spinnakercom mais de 500 mil processadores.

Truenorth

Esta arquitetura foi desenvolvida em 2014 pela IBM, como parte do Sinapse programa. Truenorth, como outras arquiteturas desse tipo, trabalha com redes neurais de pular. Truenorth provou ser particularmente bem versado no campo da visão computacional, e apenas no ano passado IBM anunciou Uma colaboração com o Airforce Research Lab para construir uma matriz de 64 chips. A idéia é trazer valor agregado ao campo de aplicativos, como carros sem motorista, satélites e drones.

https://www.youtube.com/watch?v=G08IW-Qromm

Móvel

A implementação das tecnologias de visão computacional não poderia estar faltando em smartphones e existem vários telefones de alto alcance que já possuem processadores de NPU (unidade de processamento neural) montados. Os usos ainda são limitados, mas o cenário pode mudar rapidamente, pois a tecnologia está lá.
Começando com o Android 8.1, o Nn-api será disponibilizado, através do qual os desenvolvedores poderão acessar a NPU sem conhecer seus detalhes arquitetônicos. O Google também lançou Tensorflow Liteque suporta totalmente.

Google Pixel 2xl monta o núcleo visual do pixel a bordo, desbloqueado apenas com o Android 8.1, embora no momento seja usado apenas para Hdr+ Aplicações. A Qualcomm implementou a IA em seu Snapdragon 835 e 845 e trabalhará em conjunto com o Baidu para melhorar o reconhecimento da fala.

Obviamente, também a Apple com seu A11 e Huawei com Kyrin não podiam perder a festa.
Como já mencionado, no momento, os usos dessas NPUs são bastante limitados, mas estamos no começo e o setor está crescendo.

Notas

UM taxa de relógio de 1 GHz é equivalente a uma frequência de cerca de 10 ciclos por nanossegundo.

Isso apesar da pesquisa continua aumentando ainda mais esse limite físico, por exemplo, através de Novos indutores de grafenoou a exploração de Efeitos quânticos em transistores.

A razão pela qual esse tipo de arquitetura ainda não é generalizado, apesar da idéia ter mais de 40 anos, é devido à mesma razão pela qual o progresso da inteligência artificial parou por mais de 20 anos, após as promessas iniciais, essa é a tecnologia que ainda não estava pronta. Hoje, com o renovado interesse em inteligência e neurociência artificial, combinadas com a maturação tecnológica, os computadores neuromórficos estão voltando à moda.

Links

Spiking Neural Networks, a próxima geração de aprendizado de máquina
Os chips neuromórficos são destinados ao aprendizado profundo – ou obscuridade
A startup apoiada pela Qualcomm anuncia a família de processadores de IA
Os pesquisadores criam transistores sinápticos de nanofios orgânicos que imitam os princípios de trabalho das sinapses biológicas
Introdução aos insights e desafios da computação neuromórfica (PDF)
O que os processadores Made-for-AI realmente fazem?
A computação neuromórfica pode construir cérebros de máquinas humanos
Aprendizado de máquina e IA: como os smartphones ficam ainda mais inteligentes
Chips neuromórficos: um caminho para a IA de nível humano
Chip de computação neuromórfica – a próxima evolução em inteligência artificial
Sinapse artificial para chips neuromórficos
Um sistema neuromórfico não supervisionado baseado em memristor em direção a GaN rápido e com economia de energia (PDF)
Classificando dados neuromórficos usando uma estrutura de aprendizado profundo para classificação de imagem (PDF)
Processadores de matriz de arremessos neuromórficos em larga escala: uma busca para imitar o cérebro (PDF)
Redes convolucionais para computação neuromórfica rápida e com eficiência energética (PDF)

Projetos

O projeto do cérebro humano
The Blue Brain Project – uma iniciativa cerebral suíça
Iniciativa Nest – a Iniciativa de Tecnologia de Simulação Neural
Gromacs Gromacs
Etapas – motor estocástico para simulação de caminho
Neurônio do projeto – nova educação para entender a pesquisa sobre neurociência
Neuromem Smart – neurônios de hardware inspirados pela biologia