Os pesquisadores do MIT CSAIL desenvolveram um “jogo de consenso” para melhorar a compreensão e geração de texto por IA, tratando o processo como um jogo onde uma parte gera frases e outra parte as avalia. Este método, denominado classificação de equilíbrio, melhora significativamente o desempenho da IA em tarefas como compreensão de leitura, resolução de problemas matemáticos e diálogo. Crédito: SciTechDaily.com
COM Os pesquisadores do CSAIL desenvolveram um novo “jogo de consenso” que eleva as habilidades de compreensão e geração de texto da IA.
O “jogo de consenso” do MIT melhora a geração de texto por IA usando a teoria dos jogos. Este método, classificação de equilíbrio, melhora o desempenho e a confiabilidade da IA, mas enfrenta desafios computacionais. Poderia avançar significativamente a decodificação do modelo de linguagem.
Jogo de consenso de IA: uma nova abordagem para modelos de linguagem
Imagine que você está jogando com um amigo em que seu objetivo é comunicar mensagens secretas um ao outro usando apenas frases enigmáticas. O trabalho do seu amigo é adivinhar a mensagem secreta por trás das suas frases. Às vezes, você dá as pistas diretamente e, outras vezes, seu amigo precisa adivinhar a mensagem fazendo perguntas do tipo sim ou não sobre as pistas que você deu. O desafio é que vocês dois querem ter certeza de que estão se entendendo corretamente e concordando com a mensagem secreta.
Os pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) criaram um “jogo” semelhante para ajudar a melhorar a forma como a IA entende e gera texto. É conhecido como “jogo de consenso” e envolve duas partes de um sistema de IA – uma parte tenta gerar frases (como dar pistas) e a outra parte tenta compreender e avaliar essas frases (como adivinhar a mensagem secreta).
O “jogo de consenso” dos pesquisadores do MIT é uma abordagem teórica de jogos para decodificação de modelos de linguagem. O algoritmo de classificação de equilíbrio harmoniza consultas generativas e discriminativas para melhorar a precisão da previsão em várias tarefas, superando modelos maiores e demonstrando o potencial da teoria dos jogos na melhoria da consistência e veracidade do modelo de linguagem. Crédito: Alex Shipps/MIT CSAIL
Abordagem teórica dos jogos para IA
Os investigadores descobriram que, ao tratar esta interação como um jogo, onde ambas as partes da IA trabalham em conjunto sob regras específicas para chegar a acordo sobre a mensagem certa, poderiam melhorar significativamente a capacidade da IA de dar respostas corretas e coerentes às perguntas. Eles testaram essa nova abordagem semelhante a um jogo em uma variedade de tarefas, como compreensão de leitura, resolução de problemas matemáticos e conversação, e descobriram que ela ajudou a IA a ter um melhor desempenho geral.
Tradicionalmente, os grandes modelos de linguagem respondem de duas maneiras: gerando respostas diretamente do modelo (consulta generativa) ou usando o modelo para pontuar um conjunto de respostas predefinidas (consulta discriminativa), o que pode levar a resultados diferentes e às vezes incompatíveis. Com a abordagem generativa, “Quem é o presidente dos Estados Unidos?” pode render uma resposta direta como “Joe Biden”. No entanto, uma consulta discriminativa poderia contestar incorretamente este facto ao avaliar a mesma resposta, como “Barack Obama”.
Equilibrando as respostas da IA com a classificação de equilíbrio
Então, como reconciliamos procedimentos de pontuação mutuamente incompatíveis para obter previsões coerentes e eficientes?
“Imagine uma nova maneira de ajudar os modelos de linguagem a compreender e gerar texto, como um jogo. Desenvolvemos um método de teoria dos jogos sem treinamento que trata todo o processo como um jogo complexo de pistas e sinais, onde um gerador tenta enviar a mensagem certa a um discriminador usando linguagem natural. Em vez de peças de xadrez, eles usam palavras e frases”, diz Athul Jacob, estudante de doutorado em engenharia elétrica e ciência da computação do MIT e afiliado do CSAIL. “Nossa maneira de navegar neste jogo é encontrar o ‘equilíbrio aproximado’, levando a um novo algoritmo de decodificação chamado ‘classificação de equilíbrio’. É uma demonstração bastante emocionante de como trazer estratégias da teoria dos jogos para a mistura pode enfrentar alguns grandes desafios em tornar os modelos de linguagem mais confiáveis e consistentes.”
Quando testado em muitas tarefas, como compreensão de leitura, raciocínio de bom senso, resolução de problemas matemáticos e diálogo, o algoritmo da equipe melhorou consistentemente o desempenho desses modelos. O uso do algoritmo ER com o modelo LLaMA-7B superou até mesmo os resultados de modelos muito maiores. “Dado que eles já são competitivos, as pessoas já trabalham nisso há algum tempo, mas o nível de melhorias que vimos ao conseguir superar um modelo com 10 vezes o tamanho foi uma surpresa agradável”, diz Jacob.
Jogo iniciado
“Diplomacia”, um jogo de tabuleiro estratégico ambientado na Europa pré-Primeira Guerra Mundial, onde os jogadores negociam alianças, traem amigos e conquistam territórios sem o uso de dados – confiando puramente em habilidade, estratégia e manipulação interpessoal – teve recentemente uma segunda vinda. . Em novembro de 2022, cientistas da computação, incluindo Jacob, desenvolveram “Cícero”, um agente de IA que atinge capacidades de nível humano no jogo de sete jogadores com motivos mistos, que requer as mesmas habilidades mencionadas, mas com linguagem natural. A matemática por trás disso inspirou parcialmente o Jogo do Consenso.
Embora a história dos agentes de IA seja muito anterior à época em que o software da OpenAI entrou no chat em novembro de 2022, está bem documentado que eles ainda podem fazer cosplay como seu amigo bem-intencionado, mas patológico.
O sistema de jogo de consenso atinge o equilíbrio como um acordo, garantindo precisão e fidelidade aos insights originais do modelo. Para conseguir isso, o método ajusta iterativamente as interações entre os componentes generativos e discriminativos até chegarem a um consenso sobre uma resposta que reflita com precisão a realidade e se alinhe com suas crenças iniciais. Essa abordagem preenche efetivamente a lacuna entre os dois métodos de consulta.
Aplicações Práticas e Desafios
Na prática, a implementação da abordagem do jogo de consenso para a consulta de modelos de linguagem, especialmente para tarefas de resposta a perguntas, envolve desafios computacionais significativos. Por exemplo, ao usar conjuntos de dados como MMLU, que possuem milhares de perguntas e respostas de múltipla escolha, o modelo deve aplicar o mecanismo a cada consulta. Depois, deve chegar a um consenso entre os componentes geradores e discriminativos para cada questão e suas possíveis respostas.
O sistema enfrentou dificuldades com o direito de aprovação no ensino fundamental: problemas com palavras matemáticas. Não poderia gerar respostas erradas, o que é um componente crítico para a compreensão do processo de encontrar a resposta certa.
Direções futuras
“Nos últimos anos assistimos a um progresso realmente impressionante tanto na tomada de decisões estratégicas como na geração de linguagem a partir de sistemas de IA, mas estamos apenas a começar a descobrir como juntar os dois. A classificação de equilíbrio é um primeiro passo nessa direção, mas acho que poderemos fazer muito para ampliar isso para problemas mais complexos”, diz Jacob.
Uma via de trabalho futuro envolve o aprimoramento do modelo básico, integrando os resultados do método atual. Isto é particularmente promissor, uma vez que pode produzir respostas mais factuais e consistentes em várias tarefas, incluindo factualidade e geração aberta. O potencial de tal método melhorar significativamente o desempenho do modelo base é alto, o que poderia resultar em resultados mais confiáveis e factuais do ChatGPT e de modelos de linguagem semelhantes que as pessoas usam diariamente.
Insights de especialistas sobre avanços em IA
“Mesmo que os modelos de linguagem modernos, como ChatGPT e Gemini, tenham levado à resolução de várias tarefas através de interfaces de chat, o processo de decodificação estatística que gera uma resposta de tais modelos permaneceu inalterado por décadas”, diz o cientista pesquisador do Google Ahmad Beirami, que foi não envolvido no trabalho. “A proposta dos pesquisadores do MIT é uma estrutura inovadora de teoria dos jogos para decodificação de modelos de linguagem através da resolução do equilíbrio de um jogo de consenso. Os ganhos significativos de desempenho relatados no artigo de pesquisa são promissores, abrindo a porta para uma possível mudança de paradigma na decodificação de modelos de linguagem que pode alimentar uma enxurrada de novas aplicações.”
Referência: “The Consensus Game: Language Model Generation via Equilibrium Search” por Athul Paul Jacob, Yikang Shen, Gabriele Farina e Jacob Andreas, 13 de outubro de 2023, Ciência da Computação > Ciência da Computação e Teoria dos Jogos.
arXiv:2310.09139
Jacob escreveu o artigo com o pesquisador do MIT-IBM Watson Lab, Yikang Shen, e com os professores assistentes do Departamento de Engenharia Elétrica e Ciência da Computação do MIT, Gabriele Farina e Jacob Andreas, que também é membro do CSAIL. Apresentaram o seu trabalho na Conferência Internacional sobre Representações de Aprendizagem (ICLR) no início deste mês, onde foi destacado como um “documento de destaque”. A pesquisa também recebeu o “prêmio de melhor artigo” no Workshop NeurIPS R0-FoMo em dezembro de 2023.
