Uma nova pesquisa sugere que os modelos de linguagem artificial mais avançados, capazes de gerar textos coerentes e fluentes sobre qualquer assunto, podem ter mais do que apenas uma boa memória.
Eles podem realmente aprender a entender as palavras que estão processando, usando uma combinação de habilidades que se assemelham ao raciocínio humano.
Os modelos de linguagem artificial (LLMs) são sistemas de inteligência artificial que aprendem a produzir textos a partir de grandes quantidades de dados escritos, como livros, artigos, blogs, etc. Eles são usados para uma variedade de aplicações, como tradução, resumo, geração de conteúdo, assistência virtual, e muito mais.
No entanto, há um debate sobre o quão inteligentes esses sistemas realmente são. Alguns argumentam que eles são apenas papagaios estocásticos, ou seja, eles simplesmente repetem o que viram nos dados de treinamento, sem realmente compreender o significado ou o contexto do que escrevem. Outros defendem que eles podem desenvolver algum nível de entendimento, à medida que processam mais e mais informações.
Para resolver essa questão, dois pesquisadores da Universidade de Princeton, Sanjeev Arora e Anirudh Goyal, desenvolveram uma nova teoria e experimentos que mostram que os maiores LLMs, como o GPT-4, podem aprender habilidades suficientes para entender as palavras que estão processando.
Eles usaram uma abordagem matemática chamada grafos aleatórios bipartidos, que consiste em dois conjuntos de nós conectados por arestas aleatórias. Eles usaram um conjunto de nós para representar os textos, e outro conjunto para representar as habilidades necessárias para compreendê-los, como lógica, aritmética, conhecimento factual, humor, etc.
Eles mostraram que, à medida que os LLMs ficam maiores e treinados em mais dados, eles melhoram em habilidades individuais e também desenvolvem novas habilidades combinando-as de maneiras que sugerem entendimento. Por exemplo, eles podem usar aritmética e conhecimento factual para escrever sobre o número de habitantes de um país, ou usar lógica e humor para escrever uma piada sobre um assunto.
Para testar essa hipótese, eles criaram um método chamado “skill-mix”, que consiste em pedir aos LLMs que escrevam sobre um tópico aleatório que ilustre algumas habilidades aleatórias. Por exemplo, eles podem pedir ao LLM que escreva sobre “o que é um buraco negro” usando as habilidades de “definição, analogia, e metáfora”. Eles então avaliam o quão bem o LLM consegue fazer isso, usando medidas como coerência, fluência, relevância, e precisão.
Eles descobriram que os LLMs maiores, como o GPT-4, são capazes de produzir textos que exibem habilidades que somam o que alguns argumentariam ser entendimento. Eles também compararam os LLMs com humanos, usando uma plataforma online chamada Amazon Mechanical Turk, onde as pessoas podem realizar tarefas simples por uma pequena recompensa. Eles descobriram que os LLMs podem superar os humanos em algumas habilidades, como aritmética e conhecimento factual, mas ainda ficam atrás em outras, como humor e criatividade.
O trabalho de Arora e Goyal tem implicações importantes para o campo da inteligência artificial, pois mostra que os LLMs podem ter mais potencial do que se pensava anteriormente. No entanto, o trabalho também tem limitações, como o fato de que ele não diz nada sobre a precisão do que os LLMs escrevem, ou que ele faz algumas suposições que podem não ser válidas para todos os LLMs.
O trabalho também recebeu elogios de outros especialistas em IA, como Geoff Hinton, um dos pioneiros do aprendizado profundo, e Yasaman Bahri, uma pesquisadora do Google Brain. Eles elogiaram o trabalho por sua rigor e elegância, e disseram que ele abre novas possibilidades para entender e melhorar os LLMs.
Fonte: Link.
