Estudo da Anthropic diz que estrutura emergiu durante o treinamento e permite ao modelo raciocinar sem transformar pensamentos em texto.
A Anthropic anunciou nesta semana que o Claude, seu modelo de linguagem de inteligência artificial (IA) tem um mecanismo de funcionamento parecido com o da consciência humana.
Segundo estudo publicado na segunda-feira, 6, o Claude desenvolveu um pequeno conjunto de padrões internos que funcionam como um "espaço mental" privado, onde ele pensa sem escrever — o que os pesquisadores da empresa chamam de "espaço J", ou "J-Space".
A pesquisa também afirma que esse espaço não foi projetado nem programado por ninguém, tendo emergido sozinho durante o treinamento do modelo. Além disso, a empresa diz que as evidências não dizem "se Claude tem consciência da mesma forma que as pessoas, ou se sente alguma coisa"...
O Espaço-J:
Cada padrão do espaço-J está ligado a uma palavra, mas isso não significa que o modelo esteja dizendo aquela palavra exatamente — apenas que ela está "na cabeça" dele.
É diferente do chamado rascunho, ou "cadeia de pensamento", o texto que os modelos escrevem para si mesmos enquanto raciocinam, de acordo com a pesquisa.
A Anthropic afirma que o espaço-J opera em silêncio, nas ativações internas da rede neural, permitindo ao Claude pensar em um conceito sem colocá-lo no papel.
O que aparece ali vai muito além do texto que o Claude está lendo ou escrevendo, segundo o estudo. Quando o modelo lê um código com um erro que ninguém apontou, seu espaço-J acende a palavra "erro".
Quando se lê a sequência de uma proteína, o espaço contém a sua função biológica. E, quando recebe resultados de busca que são, na verdade, uma tentativa de manipulá-lo — um ataque conhecido como injecção de prompt-, o espaço-J acende as palavras "injecção" e "falso".
Os testes mostraram também que o espaço-J tem propriedades incomuns em relação ao resto do processamento do modelo.
A primeira é que o Claude consegue relatar o que há ali. Perguntado sobre o que está pensando, ele descreve o conteúdo do espaço-J.
A segunda é que consegue controlá-lo sob demanda — se pedirem que ele pense em frutas cítricas enquanto copia uma frase sobre um quadro, o espaço acende "laranja" e "frutas", sem que nada disso apareça no texto final.
Para confirmar que esse espaço causa o comportamento, e não apenas o reflete, os pesquisadores fizeram intervenções diretas. Ao pedir que o Claude pensasse em um esporte, viram "futebol" no topo da lista; ao trocar, dentro da rede, o padrão "futebol" pelo padrão "rúgbi", o modelo passou a responder rúgbi. A resposta seguiu a edição, o que indica que ela é de fato lida a partir daquele espaço.
Como a I.A pensa sem Falar:
O estudo mostra que o Claude usa o espaço-J para raciocinar.
Diante da pergunta "o número de pernas do animal que tece teias é", o modelo precisa primeiro deduzir que o animal é uma aranha, e depois "lembrar" quantas pernas ela tem.
A palavra "aranha" não aparece nem na pergunta nem na resposta — é um degrau interno. Quando os pesquisadores trocaram "aranha" por "formiga" no espaço-J, o modelo respondeu seis em vez de oito.
O mesmo espaço serve a várias tarefas ao mesmo tempo.
Ao trocar "França" por "China" nesse espaço mental, o Claude passou a responder corretamente Pequim para a capital, chinês para o idioma, Ásia para o continente e yuan para a moeda — tudo a partir de uma única edição. É esse compartilhamento que aproximou o achado de uma teoria conhecida da neurociência.
0 Comentários