Amazon admite que métricas de produtividade com IA são falhas
Memo interno da Amazon chama de profundamente falhas métricas como tokens consumidos e linhas de código geradas por IA, mas a empresa diz que vai continuar observando esses números com outros critérios.
Por Elias Brandão · Analista de IA e ética
Pense em medir o trabalho de um motorista de aplicativo só pela quilometragem rodada, sem olhar se ele chegou ao destino certo ou se o passageiro ficou satisfeito. É mais ou menos essa a crítica que a Amazon fez, em memo interno, às métricas que o próprio mercado de tecnologia usa para medir produtividade com inteligência artificial.
O memo por dentro
O documento é assinado por Terk Terkowitz, vice-presidente e engenheiro distinto da unidade de lojas da Amazon (Worldwide Amazon Stores). Segundo reportagens da Fortune e do site ppc.land, o memo foi compartilhado internamente em setembro de 2026 e ganhou repercussão pública entre 27 e 28 de outubro, antes de ser noticiado no Brasil pelo Tecnoblog em 29 de outubro.
O hype contra o que se mede de fato
A promessa em torno da IA generativa sempre foi a de turbinar a produtividade de quem programa. Só que, para avaliar se isso está realmente acontecendo, muitas empresas recorrem a números fáceis de contar: quantidade de tokens consumidos pelos agentes de IA, linhas de código geradas, taxa de adoção das ferramentas e volume de alterações no código.
O problema, segundo a própria Amazon, é que esses números estão desconectados do que realmente importa, frase do memo citada pela Fortune. Quando essas métricas se tornam meta, elas convidam a um comportamento batizado internamente de tokenmaxxing: inflar artificialmente o uso da IA só para parecer produtivo, sem gerar valor real.
Um episódio concreto ilustra o ponto: funcionários chegaram a rodar agentes de IA em tarefas desnecessárias apenas para subir posições num ranking interno informal de consumo de tokens, apelidado de Kirorank. A Amazon encerrou esse ranking em maio de 2026, preocupada com o custo computacional gerado por esse tipo de disputa artificial.
Os dois lados da régua
A Amazon reconhece a contradição: mesmo chamando essas métricas de profundamente falhas, afirma que vai continuar observando tokens e volume de código, só que combinados a outros indicadores, e não como meta isolada ou fim em si mesmo.
Como alternativa, a empresa propõe olhar para resultados, e não para inputs: impacto sobre clientes, impacto no negócio e efetividade das equipes. Uma das técnicas citadas é comparar o uso de IA entre os 10% que menos usam e os 10% que mais usam dentro de uma equipe, para checar se mais uso de fato corresponde a mais resultado. A Amazon também defende tratar como achado, não como falha de desempenho, os casos em que um engenheiro constata que a IA simplesmente não ajudou numa tarefa específica.
O pano de fundo é um dado de mercado citado na cobertura internacional: apenas 3% das organizações teriam superado as metas de ganho de produtividade esperadas com IA. Fica a perguntar: se a régua que existe hoje é falha, quanto tempo o mercado vai levar para substituí-la por algo melhor?