Como testar um agente de IA no n8n antes de atender clientes

Para saber como testar um agente de IA no n8n antes de colocá-lo no atendimento, monte uma base de perguntas representativas, execute o fluxo em um ambiente sem ações reais e confira três resultados: o que ele respondeu, qual decisão tomou e o que suas ferramentas fizeram. Compare versões com os mesmos casos e reserve perguntas novas para a conferência final. Uma resposta convincente pode esconder uma consulta errada ou uma ação sem autorização.

Defina o atendimento que o agente pode assumir

Comece por um escopo que alguém consiga conferir. Um agente de uma pequena empresa pode responder horários, explicar serviços aprovados e encaminhar solicitações. Decidir descontos, alterar contratos ou revelar informações de outro cliente exige regras adicionais. Escreva quais dados ele pode consultar, quais ações precisam de confirmação e em que situações deve chamar uma pessoa. Isso transforma uma expectativa vaga em critérios observáveis.

Registre também o que fazer quando faltar informação: pedir um dado, consultar uma fonte autorizada ou informar que precisa de atendimento humano. Se o agente não tem uma tabela de preços válida, uma faixa inventada é uma falha, mesmo que pareça comercialmente atraente. O objetivo do teste é verificar esse comportamento, inclusive quando o cliente insiste.

Para fluxos com memória, teste tanto uma conversa nova quanto a continuação de uma conversa. Use identificadores de sessão separados por caso quando a independência for necessária. Depois, crie casos específicos para continuidade; misturar históricos sem controle dificulta descobrir se o problema veio do prompt, da memória ou dos dados recebidos.

Monte um dataset com perguntas e critérios de resposta

Um dataset é a tabela de casos que você executará novamente após cada mudança. Nas avaliações leves do n8n, ele contém a entrada, uma coluna para registrar a saída e, opcionalmente, uma resposta de referência. Para atendimento aberto, descreva também o comportamento aceitável: respostas com palavras diferentes podem estar corretas.

O quadro abaixo é um exemplo fictício para uma empresa de serviços. Considere que a base aprovada informa atendimento em dias úteis, das 9h às 18h, e não contém preços de projetos personalizados. Esses dados existem apenas no exemplo. Substitua-os pelas políticas reais antes de usar o dataset; copiar expectativas de outro negócio pode aprovar uma resposta inadequada para o seu.

Acrescente colunas como id_caso, pergunta, criterio_esperado, resposta_obtida, acao_esperada e acao_observada. Deixe os resultados observados vazios até executar. Separe exemplos para ajustar o agente e outros para avaliá-lo depois; consultar sempre o mesmo conjunto favorece soluções que só funcionam nas perguntas já conhecidas.

Isole as ações antes de executar o primeiro caso

A operação Check If Evaluating do nó Evaluation permite direcionar ramificações conforme a execução seja uma avaliação. Ela não bloqueia sozinha e-mails, WhatsApp, gravações no CRM ou ferramentas chamadas dentro do agente. O comportamento documentado dessa operação é selecionar caminhos; o isolamento depende da configuração de todo o fluxo.

Em uma cópia de teste, substitua ferramentas com efeitos externos por simulações que registrem a intenção da ação. Use contatos fictícios e credenciais de teste quando o serviço oferecer esse recurso. Se uma ferramenta roda como subfluxo do agente, controle o efeito dentro desse subfluxo: uma ramificação colocada apenas depois do agente chega tarde para impedir uma gravação que ele já realizou.

Antes do lote, execute uma única linha com um identificador fictício fácil de localizar. Confira o registro das ferramentas, os destinos configurados e se nenhuma alteração apareceu nos sistemas reais. Um texto dizendo “mensagem enviada” não comprova envio; um histórico de ferramenta também não comprova que a operação foi autorizada. Examine a solicitação e a confirmação do serviço de teste separadamente.

Configure a avaliação leve no n8n

1. Escolha a tabela e conecte o gatilho

Adicione o Evaluation Trigger e selecione a origem do dataset: Data table ou Google Sheets. Escolha a tabela ou a planilha correspondente; com Sheets, configure a credencial Google. Ative o limite de linhas e comece com uma para conferir o mapeamento. Os parâmetros estão na documentação do gatilho de avaliação.

2. Mapeie a pergunta para a entrada do agente

Conecte a saída do gatilho ao processamento do agente e mapeie a coluna pergunta para a entrada que seu fluxo espera. Verifique o item recebido no primeiro caso. Se o fluxo também possui Chat Trigger ou Webhook, normalize os campos para o mesmo formato, como orienta o n8n ao combinar gatilhos. Evite testar uma entrada diferente daquela usada no atendimento.

3. Grave a saída produzida

Depois do ponto em que a resposta estiver pronta, adicione Evaluation com a operação Set Outputs. Selecione o dataset e associe a saída real à coluna resposta_obtida. Essa operação registra resultados na tabela; gravar a resposta não significa classificá-la automaticamente como correta. Preserve também o identificador do caso para localizar sua execução.

4. Rode o conjunto e examine os resultados

Após conferir a linha inicial, amplie o limite para o conjunto desejado e use a execução de avaliação disponível no gatilho. O fluxo processa os casos e grava as respostas. Na primeira passagem, leia cada saída ao lado do critério esperado e abra a execução quando houver divergência. Os nomes dos controles podem variar entre versões; a sequência oficial é preparar o dataset, conectá-lo, registrar saídas e executar.

Meça a resposta, a decisão e a ação

Para comparações maiores, use métricas com definição explícita. Na avaliação por métricas do n8n, Correctness considera a concordância semântica com uma referência e Helpfulness avalia se a resposta atende à pergunta; ambas usam escala de 1 a 5. Tools Used indica uso de ferramentas, sem provar que a ação executada estava correta ou autorizada.

Como recomendação editorial, crie critérios separados para “informação sustentada na base”, “pediu confirmação quando necessário” e “respeitou o acesso permitido”. Defina com a equipe o que representa cada resultado. Uma resposta longa pode ser útil e ainda falhar no acesso a dados. Por isso, uma falha crítica deve aparecer individualmente, mesmo quando a média das outras respostas for boa.

Um modelo usado como juiz auxilia a triagem, mas também precisa de conferência humana. Entregue a ele a pergunta, a referência quando necessária e uma rubrica clara. Revise discordâncias e casos sensíveis. Para regras objetivas, como presença de um campo obrigatório, uma verificação por código pode ser mais auditável que pedir uma opinião a outro modelo.

A operação Set Metrics registra métricas numéricas em Evaluations. A documentação do nó descreve nomes e valores; o guia de métricas também apresenta opções de cálculo. Confira o que sua versão oferece e de onde vem cada nota. Em métricas personalizadas, implemente a lógica e mapeie o valor calculado, conforme o funcionamento do Evaluation.

Compare prompts sem esconder as falhas

Para comparar dois prompts offline, mantenha o mesmo modelo, ferramentas, base, histórico inicial e critérios; altere apenas o prompt. Ao comparar modelos, mantenha o restante equivalente e registre as diferenças de configuração. Guarde a versão do fluxo e o identificador de cada execução. Esse cuidado ajuda a atribuir uma mudança ao componente certo, embora variações de resposta ainda possam ocorrer.

Repita casos importantes para observar variações. O n8n reconhece que o fluxo e as métricas baseadas em LLM podem apresentar ruído entre execuções nas orientações sobre resultados inconsistentes. Repetir a mesma pergunta não amplia a diversidade dos cenários; inclua também formulações novas e condições de falha.

Compare por caso: acerto, falha crítica, necessidade de intervenção, latência e consumo. Não escolha um vencedor apenas pela nota média. Uma versão mais rápida que inventa a conclusão de um agendamento pode ser inadequada para aquele atendimento. Essa comparação offline também não equivale a um teste A/B com distribuição de tráfego real entre clientes.

Confira acesso, custo e limite de execução

As avaliações leves estão disponíveis em todos os planos Cloud e no self-hosted Community registrado, Business e Enterprise, segundo a documentação de disponibilidade. Confira se a sua instalação reúne esses requisitos antes de montar o dataset.

Para métricas, o guia de disponibilidade lista Cloud Pro e Enterprise, self-hosted Enterprise e acesso a um workflow para Community registrado e Starter. Confira a licença e os controles da sua instalação antes de planejar vários fluxos avaliados.

A documentação alerta que calcular métricas pode acrescentar custo e latência. Além do plano do n8n, confira o consumo do provedor do agente e do modelo avaliador nas orientações de avaliação por métricas. Não presuma que uma assinatura de aplicativo de chat inclui chamadas de API; verifique a cobrança da conta usada pelo fluxo.

Como recomendação editorial, comece com um caso, confira o consumo e só então amplie o conjunto. Registre separadamente tempo de espera, execução e chamadas adicionais do juiz, quando conseguir observá-los. Sem logs confiáveis, marque o custo como não medido. Aumentar o paralelismo pode pressionar limites do provedor; para a primeira conferência, uma execução sequencial facilita localizar falhas.

Defina a liberação e o acompanhamento

Antes de liberar, peça ao responsável pelo atendimento que confira os casos reservados e as regras críticas. Como recomendação editorial, bloqueie a implantação enquanto houver acesso indevido, alteração sem confirmação ou alegação de ação concluída sem evidência. O nível de tolerância para outras falhas depende do escopo e do impacto; uma quantidade fixa de perguntas não comprova segurança.

• Confira entrada, resposta, ação solicitada e resultado confirmado por caso.
• Reexecute o conjunto após mudar prompt, modelo, memória, base ou ferramentas.
• Defina como transferir para uma pessoa quando o agente não puder resolver.
• Mantenha uma versão anterior identificada para recuperação do fluxo.
• Incorpore falhas novas ao dataset com dados fictícios ou adequadamente tratados.

Comece pelo escopo de menor impacto que atende à necessidade do negócio e monitore as execuções. Uma conversa aprovada não encerra o trabalho: mudanças nos documentos, nas integrações ou no tipo de solicitação podem exigir novos casos. Registre a falha antes de ajustar o prompt para verificar depois se a correção funcionou sem prejudicar outros comportamentos.

Perguntas frequentes

Quantas perguntas preciso testar?

O número depende da variedade e do risco do atendimento. Cubra os serviços oferecidos, as ambiguidades, os limites de acesso e as falhas de integração. Amplie o conjunto com situações diferentes; dezenas de variações da mesma pergunta não substituem um caso crítico ausente.

Preciso escrever uma resposta exata para cada caso?

Não. Na avaliação leve, a referência é opcional. Para atendimento aberto, descreva fatos que precisam aparecer e comportamentos proibidos. Algumas métricas exigem referência; nesses casos, prepare uma resposta válida para o objetivo que será medido, sem exigir redação idêntica.

Posso usar o mesmo agente para julgar suas respostas?

É uma possibilidade de desenho, mas não fornece uma verificação independente. Confira a rubrica e revise amostras com uma pessoa, especialmente onde o julgamento permite liberar uma ação. Trocar o modelo juiz também não elimina esse cuidado.

Uma avaliação aprovada elimina a supervisão?

Não. A aprovação descreve o que foi observado nos casos e condições registrados. Mantenha transferência para atendimento humano e monitore falhas novas. Para decisões de maior impacto, preserve a confirmação humana prevista pelo processo.

Como começar no seu atendimento

Escolha um serviço, escreva suas regras e monte o primeiro dataset com situações frequentes e críticas. Isole as ferramentas, configure o gatilho e o registro de saídas e examine cada resultado antes de ampliar. Assim, você passa a decidir com evidências sobre o comportamento do agente. Se precisar estruturar o fluxo, converse com o Josué sobre testes e integrações adequados à operação da sua empresa.