BootLoops 1.0: como a IA pode fazer cálculos científicos mais verificáveis

O BootLoops 1.0 é um conjunto de ferramentas de código aberto criado para ajudar modelos de linguagem a realizar cálculos científicos precisos com etapas de verificação. Desenvolvido pelo físico de Harvard Matthew Schwartz em colaboração com o Claude, o sistema pode ser usado com diferentes modelos. A proposta não é presumir que toda resposta da IA está certa, mas facilitar a checagem de resultados específicos. 112

Como a ferramenta ajuda a verificar cálculos

O BootLoops reúne softwares científicos e protocolos que definem como testar um resultado. Entre as práticas previstas estão comparar a resposta com um método computacional independente, usando pontos que não serviram para ajustá-la, e aplicar um controle positivo — um teste que demonstra que a checagem consegue detectar um resultado incorreto. As orientações também incluem registrar a procedência dos resultados, para que uma ferramenta usada para chegar a uma resposta não seja, por si só, a responsável por validá-la. 211

Esse método é especialmente adequado a tarefas com respostas bem definidas, como certos cálculos de física matemática. Ele pode mostrar que um resultado passou por testes especificados; não garante que toda afirmação gerada por um modelo esteja correta nem que a pergunta de pesquisa seja relevante. 25

Resultados relatados com o Claude

A equipe de Schwartz relatou ter calculado 30 integrais de física matemática, incluindo 15 resultados descritos como novos, entre eles integrais elípticas de Feynman. O trabalho também incluiu uma solução para o que Schwartz chama de “problema final” de Watson, um cálculo ligado a estudos anteriores do matemático George Watson. 14164

No esforço mais amplo, realizado ao longo de três meses, foram relatados 36 manuscritos, com 19 coautores e temas de 18 áreas, entre elas ecologia e genética de populações. São resultados de pesquisa relatados pela equipe — não uma confirmação de que todos já passaram por verificação independente. Schwartz afirmou que vários ainda estavam sendo checados. 3154

Por que a experiência humana continua necessária

Schwartz usa a expressão “descompasso de impedância” para descrever a distância entre o que cientistas precisam e aquilo em que os modelos de linguagem atuais costumam ser bons. A IA pode ajudar em tarefas computacionais delimitadas, com problemas e critérios de verificação explícitos. Mas a pesquisa também exige decidir quais perguntas valem a pena e avaliar o significado de uma resposta. 15

Segundo Schwartz, o Claude encontrou conexões entre áreas diferentes que podiam estar tecnicamente corretas, mas não eram necessariamente relevantes do ponto de vista científico. Especialistas dos respectivos campos ajudaram a direcionar o trabalho para questões importantes. A distinção é fundamental: a verificação computacional pode indicar se um cálculo passou por determinados testes; o julgamento científico ajuda a escolher o que calcular e a interpretar o resultado. 5

O que o BootLoops mostra — e o que não garante

O BootLoops oferece uma maneira de estruturar pesquisas com IA em torno de tarefas testáveis, verificações independentes e orientação humana. Os resultados relatados apontam o potencial dessa abordagem, mas não devem ser tratados como garantia geral de correção nem como substituto de verificações adicionais. Um cálculo checado, por si só, não basta para justificar uma decisão de alto impacto: a pergunta, as premissas e as possíveis consequências também precisam ser examinadas por pessoas. 245