Como avaliar uma IA jurídica antes de assinar o contrato

O Judiciário brasileiro encerrou 2025 com 75,5 milhões de processos em tramitação e recebeu 40,9 milhões de casos novos no ano, o maior volume da série histórica iniciada em 2009. Os números são do relatório Justiça em Números 2026, do Conselho Nacional de Justiça, apresentado em junho de 2026. Nesse cenário, a promessa de escrever uma peça em minutos encontra um público naturalmente receptivo.

O problema é que quase toda ferramenta hoje faz a mesma promessa na página de vendas. A diferença entre uma que sustenta o protocolo e uma que cria um passivo não está no discurso, está em detalhes que você só descobre perguntando. Este guia reúne os sete critérios que separam as duas e um teste prático de 30 minutos para aplicar antes de assinar qualquer contrato.

O que está em jogo quando a checagem falha

Em junho de 2023, no caso Mata contra Avianca, o juiz P. Kevin Castel, da corte federal do distrito sul de Nova York, aplicou multa de 5 mil dólares aos advogados responsáveis e à banca Levidow, Levidow & Oberman. A peça citava decisões que simplesmente não existiam, geradas por um modelo genérico e levadas ao processo sem conferência.

Não foi um azar isolado. Um estudo do Stanford RegLab em conjunto com o Institute for Human-Centered AI, publicado em janeiro de 2024, mediu taxas de alucinação de 69% a 88% em consultas jurídicas específicas feitas a modelos de linguagem de uso geral. Em perguntas sobre qual foi efetivamente a razão de decidir de um tribunal, os modelos erraram em pelo menos 75% dos casos.

Vale ler o dado com honestidade: os modelos avaliados naquele estudo eram os disponíveis em 2023, e a geração seguinte melhorou. O que não mudou é o mecanismo. Um modelo que gera texto por probabilidade continua produzindo uma citação plausível quando não tem a decisão real em mãos. A correção não vem de um modelo maior, vem de o sistema buscar a decisão em um acervo antes de escrever.

Sete critérios para avaliar antes de assinar

Cada critério abaixo é uma pergunta que o fornecedor precisa responder de forma verificável, não com adjetivo. Se a resposta for vaga em qualquer um deles, você está assumindo o risco no lugar da ferramenta.

• Origem da jurisprudência: a ferramenta consulta um acervo de decisões reais ou o modelo escreve de memória? Peça o nome dos tribunais cobertos.
• Verificação de citação: existe uma etapa que localiza o trecho citado dentro do texto da decisão antes de ele entrar na peça, ou a conferência é toda sua?
• Rastreabilidade: para cada citação, você chega em segundos ao número do processo e ao texto original, sem abrir outra aba e pesquisar do zero?
• Súmulas e temas repetitivos: há validação do enunciado vigente, ou a ferramenta repete o que aprendeu antes de uma eventual revisão?
• Tratamento de dados: o material que você sobe é usado para treinar modelos? A resposta aceitável é não, por escrito, no contrato ou na política de privacidade.
• Formato de saída: a peça sai em DOCX e PDF no modelo do escritório, ou você refaz a formatação toda vez?
• Custo previsível: o preço é por volume declarado de peças, com cancelamento livre, ou depende de consumo que você não consegue estimar no início do mês?

IA genérica e IA ancorada em acervo: onde a diferença aparece

Colocadas lado a lado, as duas abordagens divergem em pontos concretos do dia a dia. Esta é a comparação item a item.

• Fonte da citação: a IA genérica prevê o texto mais provável; a IA ancorada recupera a decisão de um acervo antes de redigir.
• Risco de precedente inexistente: alto na primeira, porque nada impede a invenção; reduzido na segunda, porque a citação só entra depois de localizada no texto real.
• Tempo de conferência: na genérica você refaz a pesquisa inteira para validar; na ancorada você confere o trecho já apontado.
• Súmula superada: a genérica reproduz o enunciado que viu no treinamento; a ancorada verifica o enunciado vigente.
• Sigilo: na genérica, a conversa pode alimentar treinamento salvo configuração explícita; na ancorada com isolamento por conta, o material fica restrito à sua conta.
• Saída final: a genérica devolve texto solto para você formatar; a ancorada entrega a peça no modelo do escritório, em DOCX ou PDF.

O teste de 30 minutos

Nenhum comparativo substitui rodar a ferramenta com um caso que você conhece de cor. Use um processo já encerrado, em que você sabe qual precedente sustenta a tese e qual não sustenta. Trinta minutos bastam para separar a ferramenta útil da ferramenta perigosa.

• Peça uma fundamentação sobre a tese do caso e anote todas as citações que aparecerem.
• Confira cada número de processo ou acórdão na base oficial do tribunal. Uma citação que não existe já encerra a avaliação.
• Verifique se o trecho citado está literalmente no texto da decisão, e não apenas na ementa.
• Cheque se a tese atribuída ao precedente é a que foi realmente decidida, e não uma leitura conveniente.
• Repita com uma tese de nicho, pouco frequente. É onde a diferença entre buscar e inventar fica mais visível.
• Por último, pergunte ao suporte o que acontece com os arquivos que você subiu e em quanto tempo eles são apagados.

Como medir se funcionou

Depois de adotar a ferramenta, três medidas simples dizem se ela está pagando o custo. Meça antes e depois, com os mesmos tipos de peça, para a comparação fazer sentido.

• Tempo da primeira versão fundamentada: cronometre do briefing do caso até ter um texto revisável, no mês anterior e no mês seguinte à adoção.
• Citações reprovadas na revisão: conte quantas referências você precisou corrigir ou remover a cada dez peças. A meta é zero citação inexistente.
• Peças produzidas por semana com a mesma equipe: se o número não sobe em dois meses, o gargalo do escritório não era a redação.

Onde a Redatio se posiciona nesses critérios

A Redatio pesquisa o acervo do STF, do STJ e dos tribunais, monta a fundamentação a partir das decisões recuperadas e passa cada citação por um verificador que localiza o trecho literal dentro da decisão antes de colocá-la na peça. Súmulas e temas repetitivos têm um registro próprio de validação. Cada conta tem dados isolados, e o material que você sobe não é usado para treinar modelos.

Dois artigos deste blog aprofundam pontos deste guia: Como evitar citação de jurisprudência inexistente em peças detalha o passo a passo da conferência, e IA jurídica é segura? O que considerar sobre dados e sigilo trata das perguntas de LGPD e sigilo profissional que valem para qualquer fornecedor, não só para a Redatio.

Se quiser aplicar o teste de 30 minutos sem compromisso, a Redatio libera 3 peças de cortesia, sem cartão, em redatio.com. Rode com um caso que você já conhece e confira citação por citação. É exatamente esse o critério que importa.

Perguntas frequentes