Ferramentas e técnicas modernas baseadas em IA usam deep learning. Essas aprendem automaticamente a processar dados previamente rotulados. E quando se fala em Deep Learning, sabemos que precisamos de uma ampla gama de dados a disposição para treinamento das redes e envolve altos custos com placas GPU especializadas com preços inacessíveis ao afegão médio.
Recentemente pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) mostraram que redes neurais profundas contêm sub-redes que são até 10 vezes menores e ainda sim capazzes de igualar as probabilidades de previsão.
No momento a abordagem da equipe não é eficiente. Eles tem que treinar e podar a rede várias vezes até encontrar as ramificações eficientes que obtem resultados assertivos. Porém, Michael Carbin, professor do MIT, diz que as descobertas de sua equipe sugerem que, se pudermos determinar com precisão qual parte da rede original é relevante para a previsão final, os cientistas poderão criar de modo mais fácil modelos de aprendizados ótimo.
"Com uma rede neural, você inicializa aleatoriamente essa grande estrutura e, depois de treiná-la em uma enorme quantidade de dados, ela funciona magicamente", diz Carbin.
O trabalho da equipe também pode ter implicações para a chamada “aprendizagem de transferência”, na qual as redes treinadas para uma tarefa, como o reconhecimento de imagens, são criadas para ajudar com uma tarefa completamente diferente.