Um estudo da Universidade Bar-Ilan revela que a aprendizagem superficial eficiente do cérebro, envolvendo uma ampla rede com poucas camadas, pode competir com os modelos de aprendizagem profunda multicamadas em tarefas complexas de classificação. Isso desafia o design atual das GPUs, que favorecem arquiteturas profundas em vez de amplas.
O cérebro, apesar da sua estrutura comparativamente superficial com camadas limitadas, funciona de forma eficiente, enquanto os sistemas modernos de IA são caracterizados por arquiteturas profundas com numerosas camadas. Isto levanta a questão: Podem as arquiteturas superficiais inspiradas no cérebro rivalizar com o desempenho das arquiteturas profundas e, em caso afirmativo, quais são os mecanismos fundamentais que permitem isso?
Os métodos de aprendizagem em redes neurais são inspirados no funcionamento do cérebro, mas existem diferenças fundamentais entre como o cérebro aprende e como funciona a aprendizagem profunda. Uma distinção importante está no número de camadas que cada uma emprega.
Os sistemas de aprendizagem profunda geralmente têm muitas camadas, às vezes chegando a centenas, o que lhes permite aprender com eficácia tarefas de classificação complexas. Em contraste, o cérebro humano tem uma estrutura muito mais simples, com muito menos camadas. Apesar de sua arquitetura relativamente superficial e da natureza mais lenta e barulhenta de seus processos, o cérebro é notavelmente adepto de lidar eficientemente com tarefas complexas de classificação.
Pesquisa sobre mecanismos superficiais de aprendizagem no cérebro
A questão-chave que impulsiona novas pesquisas é o possível mecanismo subjacente à eficiente aprendizagem superficial do cérebro – que lhe permite realizar tarefas de classificação com a mesma eficiência. precisão como aprendizagem profunda. Em artigo publicado em Física Apesquisadores da Universidade Bar-Ilan, em Israel, mostram como esses mecanismos de aprendizagem superficiais podem competir com a aprendizagem profunda.
Crédito: Prof. Ido Kanter, Universidade Bar-Ilan
“Em vez de uma arquitetura profunda, como um arranha-céu, o cérebro consiste em uma arquitetura ampla e rasa, mais parecida com um edifício muito amplo com poucos andares”, disse o Prof. Ido Kanter, do Departamento de Física e Gonda de Bar-Ilan (Goldschmied ) Centro Multidisciplinar de Pesquisa do Cérebro, que liderou a pesquisa.
“A capacidade de classificar objetos corretamente aumenta onde o arquitetura se torna mais profunda, com mais camadas. Em contraste, o mecanismo superficial do cérebro indica que uma rede mais ampla classifica melhor os objetos”, disse Ronit Gross, estudante de graduação e um dos principais contribuidores deste trabalho.
“Arquiteturas mais amplas e superiores representam dois mecanismos complementares”, acrescentou ela. No entanto, a realização de uma ampla arquiteturas rasasimitando o dinâmica do cérebrorequer uma mudança nas propriedades da tecnologia avançada de GPU, que é capaz de acelerar arquiteturas profundas, mas falha na implementação de arquiteturas amplas e superficiais.
Referência: “Mecanismo eficiente de aprendizagem superficial como alternativa à aprendizagem profunda” por Ofek Tevet, Ronit D. Gross, Shiri Hodassman, Tal Rogachevsky, Yarden Tzach, Yuval Meir e Ido Kanter, 11 de janeiro de 2024, Física A: Mecânica Estatística e suas Aplicações.
DOI: 10.1016/j.physa.2024.129513
