A IA de nível consumidor está entrando na vida diária das pessoas com sua capacidade de gerar texto e imagens e automatizar tarefas. Mas os astrónomos precisam de uma IA muito mais poderosa e especializada. A vasta quantidade de dados observacionais gerados pelos telescópios e observatórios modernos desafia os esforços dos astrónomos para extrair todo o seu significado.
Uma equipe de cientistas está desenvolvendo uma nova IA para dados astronômicos chamada AstroPT. Eles apresentaram isso em um novo artigo intitulado “AstroPT: Dimensionando Grandes Modelos de Observação para Astronomia.” O artigo está disponível em arxiv.org, e o autor principal é Michael J. Smith, cientista de dados e astrônomo de Espaço Aspia.
Os astrónomos enfrentam um dilúvio crescente de dados, que se expandirá enormemente quando o Observatório Vera Rubin (VRO) estiver online em 2025. O VRO tem a maior câmara do mundo e cada uma das suas imagens poderá ocupar 1.500 televisores de ecrã grande. Durante a sua missão de dez anos, o VRO irá gerar cerca de 0,5 exabytes de dados, o que representa cerca de 50.000 vezes mais dados do que os contidos na Biblioteca do Congresso dos EUA.
Outros telescópios com espelhos enormes também se aproximam da primeira luz. O Telescópio Gigante de Magalhães, o Telescópio de Trinta Metros e o Telescópio Europeu Extremamente Grande combinados gerarão uma quantidade esmagadora de dados.
Ter dados que não podem ser processados é o mesmo que não ter nenhum dado. É basicamente inerte e não tem significado até que seja processado de alguma forma. “Quando você tem muitos dados e não tem a tecnologia para processá-los, é como não ter dados”, said Cecilia Garraffoastrofísico computacional do Harvard-Smithsonian Center for Astrophysics.
É aqui que entra o AstroPT.
AstroPT significa Astro Pretrained Transformer, onde um transformador é um tipo específico de IA. Os transformadores podem alterar ou transformar uma sequência de entrada em uma sequência de saída. A IA precisa ser treinada, e o AstroPT foi treinado em 8,6 milhões de imagens de 512 x 512 pixels do Pesquisa de legado DESI Lançamento de dados 8. DESI é o instrumento espectroscópico de energia escura. O DESI estuda o efeito da Energia Escura capturando o espectro óptico de dezenas de milhões de galáxias e quasares.
AstroPT e IA semelhante lidam com ‘tokens’. Tokens são elementos visuais em uma imagem maior que contêm significado. Ao dividir as imagens em tokens, uma IA pode compreender o significado mais amplo de uma imagem. O AstroPT pode transformar tokens individuais em resultados coerentes.
AstroPT foi treinado em tokens visuais. A ideia é ensinar a IA a prever o próximo token. Quanto mais minuciosamente for treinado para fazer isso, melhor será seu desempenho.
“Demonstramos que modelos autoregressivos generativos simples podem aprender informações cientificamente úteis quando pré-treinados na tarefa substituta de prever o próximo patch de 16 × 16 pixels em uma sequência de patches de imagens de galáxias”, escrevem os autores. Neste esquema, cada patch de imagem é um token.
Um dos obstáculos ao treinamento de IA como o AstroPT diz respeito ao que os cientistas de IA chamam de “crise simbólica”. Para ser eficaz, a IA precisa ser treinada em um grande número de tokens de qualidade. Em um artigo de 2023, uma equipe separada de pesquisadores explicou que a falta de tokens pode limitar a eficácia de algumas IA, como LLMs ou modelos de linguagem grande. “Os LLMs de última geração exigem grandes quantidades de dados de texto em escala de Internet para pré-treinamento”, escreveu. “Infelizmente,… a taxa de crescimento de dados de texto de alta qualidade na Internet é muito
mais lenta do que a taxa de crescimento de dados exigida pelos LLMs.”
O AstroPT enfrenta o mesmo problema: falta de tokens de qualidade para treinar. Como outras IAs, ela usa LOMs ou Grandes Modelos de Observação. A equipe afirma que seus resultados até agora sugerem que o AstroPT pode resolver a crise simbólica usando dados de observações. “Este é um resultado promissor que sugere que os dados retirados das ciências observacionais complementariam os dados de outros domínios quando usados para pré-treinar um único LOM multimodal e, portanto, aponta para o uso de dados observacionais como uma solução para a ‘crise simbólica’ .”
Os desenvolvedores de IA estão ansiosos para encontrar soluções para a crise dos tokens e outros desafios de IA.
Sem uma IA melhor, um estrangulamento no processamento de dados impedirá que astrónomos e astrofísicos façam descobertas a partir das vastas quantidades de dados que chegarão em breve. O AstroPT pode ajudar?
Os autores esperam que sim, mas precisa de muito mais desenvolvimento. Dizem que estão abertos a colaborar com outros para fortalecer o AstroPT. Para ajudar nisso, eles seguiram os “modelos comunitários líderes atuais” o mais fielmente possível. Eles chamam isso de “projeto aberto a todos”.
“Tomamos essas decisões acreditando que o desenvolvimento colaborativo da comunidade abre o caminho mais rápido para a realização de um grande modelo de observação de código aberto em escala web”, escrevem eles.
“Convidamos calorosamente potenciais colaboradores a juntarem-se a nós”, concluem.
Será interessante ver como os desenvolvedores de IA acompanharão a vasta quantidade de dados astronômicos que chegam até nós.
