Recitar a descrição da marca não responde à pergunta do comprador

Recitar a descrição da marca não responde à pergunta do comprador

Um modelo de linguagem pode prever com precisão os fatos de uma biografia e ainda assim falhar quando a pergunta é onde aquela pessoa trabalha. A lacuna foi documentada por pesquisadores e é descrita no artigo It Knew Every Word, do Search Engine Journal, que separa duas coisas frequentemente confundidas: decorar um texto e conseguir usar o que ele ensina. Para quem escreve páginas de produto, anúncios e e-mails, a diferença decide se o texto parte da dúvida de quem compra ou apenas replica o que a empresa quer dizer sobre si.

O que o teste com biografias fictícias mostrou

O artigo do Search Engine Journal cita o paper Physics of Language Models: Part 3.1, que usa biografias fictícias para separar a memorização do texto da extração dos fatos contidos nele. Os pesquisadores pré-treinaram modelos pequenos nas biografias, ajustaram esses modelos com perguntas sobre algumas das pessoas e testaram perguntas sobre as outras.

No vocabulário do estudo, pré-treino é o aprendizado nas biografias desde o início, e fine-tuning é o treinamento posterior na tarefa de perguntas e respostas. Os dois alteram os pesos do modelo. A informação que ele consegue usar a partir desses pesos, sem buscar uma fonte externa, é o que o artigo chama de memória paramétrica.

O ponto central: o modelo havia visto a biografia de cada pessoa usada no teste, mas nunca tinha sido treinado em perguntas sobre ela. Segundo o Search Engine Journal, a falha não pode ser descartada como se o modelo nunca tivesse recebido o material. O conteúdo estava lá; o acesso ao fato, na hora da pergunta, não.

Repetir o texto mais vezes resolve o problema?

A resposta óbvia é dar a lição de novo, até que grude. O problema é que o resultado depende do que se mede. O artigo cita Quantifying Memorization Across Neural Language Models, que mostra que a duplicação no corpus de treinamento aumenta a extração literal: ao receber o início de um trecho de treino, o modelo fica mais propenso a reproduzir a continuação.

Com isso, a objeção confortável de que cópias não ensinam nada ao modelo fica ampla demais. Repetição pode melhorar um resultado medido. A pergunta, como o próprio artigo coloca, é qual resultado.

Um paper mais recente citado na mesma peça, Don’t Forget! Decomposing the Training Dynamics of Memorization in Language Models, investiga o que acontece com um trecho memorizado conforme o treinamento avança. Os pesquisadores usaram versões salvas dos modelos Pythia para simular atualizações de treino, ou seja, mudanças nos pesos aprendidos.

Nessas simulações, segundo o Search Engine Journal, o aprendizado a partir de outros dados atuou com mais força contra a previsão de trechos memorizados repetidos com frequência do que contra os raros.

O que isso muda no texto de uma página ou de um anúncio

A transposição para o trabalho de redação é uma leitura editorial, não uma conclusão dos papers. O paralelo que o artigo propõe é direto: um modelo que completa a sua descrição de produto, quando recebe o começo dela, passou em um teste. Um comprador que pergunta qual produto serve para a necessidade dele propôs outro teste.

A cautela que o Search Engine Journal recomenda vale para promessas de memória de marca: desconfie de quem desliza de um teste para o outro sem avisar. Saber citar a descrição da empresa não garante conseguir responder à dúvida de quem está decidindo a compra.

Na prática, uma checagem em três etapas ajuda a separar recitação de resposta:

• Escreva a pergunta que o comprador faria antes de comprar e verifique se ela aparece respondida em uma frase do texto, e não deduzida de três parágrafos institucionais.

• Marque no rascunho cada frase que só afirma algo sobre a empresa. Se o texto começar e terminar nessas frases, ele é recitação.

• Troque o contexto de uso, com outro perfil de cliente ou outra situação de compra, e veja se o texto continua respondendo. Se só funciona no contexto original, ele descreve, não explica.

Essas etapas são recomendação editorial para revisão de texto, não resultado medido pelos estudos citados.

O que a pesquisa descrita pelo Search Engine Journal permite afirmar é limitado e útil: memorizar um texto e responder com base nele são desempenhos diferentes, e a repetição melhora sobretudo o primeiro. Para quem escreve para vender, o teste relevante não é se o texto reproduz a descrição da marca, mas se responde à pergunta que o comprador faria em seguida. Para aplicar essa checagem na produção de páginas, anúncios e e-mails, o cadastro no Copy Mágico é o próximo passo.