Modelo de Kirkpatrick: o que é, seus 4 níveis e como aplicá-lo

O que é o modelo de Kirkpatrick?

O modelo de Kirkpatrick é um referencial para avaliar a eficácia do treinamento em quatro planos sucessivos: a reação dos participantes, o aprendizado que adquiriram, o comportamento que apresentam depois no posto de trabalho e os resultados que tudo isso produz no negócio. Donald Kirkpatrick o formulou em 1959 e, mais de sessenta anos depois, continua a ser o referencial de avaliação mais utilizado no treinamento corporativo.

A sua utilidade real é mais modesta e mais valiosa do que se costuma dizer: não é uma fórmula para calcular o retorno do treinamento, e sim um inventário do que se pode medir e de em que momento se pode medir. E a sua maior contribuição é quase uma repreensão: expõe os departamentos de treinamento que medem apenas o nível 1 e concluem a partir daí que o programa funcionou.

Neste guia você vai ver de onde vem o modelo, os quatro níveis com o detalhe de quanto custa medir cada um, o que diz a pesquisa sobre o seu ponto fraco —ele tem um, e é importante—, o que mudou na revisão de 2016 e como aplicá-lo sem acabar com um relatório que ninguém usa. Se o que você procura é um panorama de todos os modelos de avaliação disponíveis e qual escolher, está no nosso guia de avaliação de treinamento.

De onde vem o modelo e quem o criou

Conhecer a origem não é erudição: explica por que o modelo tem a forma que tem e por que arrasta o problema que arrasta.

Donald Kirkpatrick publicou em 1959 uma série de quatro artigos —Techniques for Evaluating Training Programs— no Journal of the American Society of Training Directors, a revista da organização que hoje é a ATD. Cada artigo desenvolvia um dos quatro planos. Três décadas e meia depois, reuniu-os e formalizou-os no livro Evaluating Training Programs: The Four Levels (1994), que é a referência habitualmente citada.

Há dois detalhes que quase nunca são mencionados e que convém ter presentes:

• Kirkpatrick não os chamou de “níveis”, e sim de steps, passos. A palavra “nível” chegou depois e não é inocente: sugere uma hierarquia ascendente que o modelo original não afirmava com essa contundência e que é a fonte de boa parte dos mal-entendidos posteriores.
• A autoria é discutida. Já se apontou que as quatro perguntas vêm do trabalho de Raymond Katzell, a quem o próprio Kirkpatrick cita num artigo seu de 1956 nessa mesma revista. Não é um ponto encerrado e há interpretações distintas, mas merece registro: o referencial mais usado do setor tem uma atribuição menos limpa do que o nome sugere.

O que importa para a prática é que o modelo nasceu como uma taxonomia descritiva —uma forma de ordenar o que se pode observar depois de treinar— e foi usado durante décadas como se fosse um modelo explicativo que prevê como uma coisa leva à outra. Não é a mesma coisa, e daí vem a crítica que você verá mais abaixo.

Os 4 níveis do modelo de Kirkpatrick

Cada nível responde a uma pergunta diferente e é medido em um momento diferente. Esta é a visão de conjunto antes de entrar no detalhe.

Nível 1: Reação

Mede a percepção dos participantes: se acharam o conteúdo relevante, se o formato funcionou, se repetiriam. É recolhida com uma pesquisa breve no encerramento.

Como se mede: pesquisa de satisfação, pontuação de relevância percebida ou um NPS de treinamento.
Quanto custa: quase nada. É o único nível que se pode automatizar por completo.
O erro típico: tratá-lo como prova de eficácia. Uma pontuação alta indica que a experiência foi agradável e que o programa tem permissão para continuar existindo. Não indica que alguém tenha aprendido. A revisão de 2016 afinou este nível acrescentando duas perguntas mais úteis do que “você gostou?”: se o participante percebe o conteúdo como relevante para o seu trabalho e se esteve realmente envolvido durante o treinamento.

Nível 2: Aprendizado

Mede o que foi de fato adquirido: conhecimentos, habilidades e, quando se aplica, mudanças de atitude. A forma rigorosa de fazer isso é comparar uma medição prévia com outra posterior, porque sem a primeira não se sabe quanto do que alguém responde bem já sabia antes de entrar.

Como se mede: prova antes e depois, exercícios práticos, resolução de casos ou demonstração da habilidade.
Quanto custa: moderado. O esforço não está em aplicar a prova, e sim em desenhá-la bem.
O erro típico: medir apenas a lembrança. Uma pergunta de múltipla escolha verifica reconhecimento; pedir que se reconstrua o procedimento ou se resolva um caso verifica compreensão. A diferença aparece justamente na hora de aplicar. É aqui que a avaliação formativa contribui mais, porque permite corrigir as lacunas enquanto o programa ainda está em curso, em vez de descobri-las no fim.

Nível 3: Comportamento

Mede se o que foi aprendido está sendo aplicado no posto. É o nível que realmente importa, porque é onde se decide se o treinamento serviu para alguma coisa, e é também onde fracassa a maioria das implementações do modelo.

Como se mede: observação no posto, revisão do trabalho, avaliação do gestor direto, autoavaliação contrastada ou indicadores operacionais de processo.
Quanto custa: alto, e não pelo instrumento, mas pela organização. Exige ter definido o comportamento esperado em termos observáveis, que alguém o observe e que esse alguém saiba o que olhar.
O erro típico: tentar medi-lo sem ter definido antes o que se espera ver. “Aplicar o protocolo” não é observável; “registrar a ocorrência com o código correto nos dois primeiros minutos” é. As rubricas de avaliação são a ferramenta que torna este nível reproduzível, porque fixam critérios explícitos que dois observadores diferentes pontuam igual.

E uma nuance que a revisão de 2016 colocou no centro: o comportamento não se sustenta só com treinamento. Se, ao voltar ao posto, ninguém reforça, ninguém revisa e nada muda no ambiente, o comportamento regride em semanas. Não é falha do aluno nem do curso: é falha do sistema que rodeia o curso.

Nível 4: Resultados

Mede o impacto no indicador de negócio visado pelo programa: erros operacionais, tempos de processo, vendas, qualidade, rotatividade, acidentes.

Como se mede: comparando a evolução do KPI, idealmente com um grupo de comparação que não tenha passado pelo programa.
Quanto custa: alto, e o problema não é recolher o dado, e sim atribuí-lo. Numa empresa acontecem muitas coisas ao mesmo tempo, e um indicador que melhora depois de um treinamento não melhora necessariamente por causa desse treinamento.
O erro típico: decidir que indicador olhar quando o programa já terminou. Se o KPI não estava nomeado antes de começar, o nível 4 vira uma busca por números que confirmem o que já se queria concluir.

O erro de ler os níveis como uma cadeia causal

Esta é a parte que distingue quem já usou o modelo de quem apenas o leu. A leitura habitual é que os quatro níveis formam uma cadeia: se as pessoas estão satisfeitas vão aprender, se aprendem vão mudar o comportamento e se mudam o comportamento o negócio melhora. Soa razoável. A pesquisa não sustenta isso.

• Alliger e Janak (1989), na Personnel Psychology, revisaram o modelo trinta anos depois da sua formulação e encontraram apoio empírico muito limitado a esses pressupostos causais. Em concreto: a reação não prevê o aprendizado, e o aprendizado não leva automaticamente à mudança de comportamento. Convém dizer também o que eles concederam, porque é justo: o modelo traz um vocabulário comum e uma taxonomia razoável para falar de critérios de avaliação.
• Alliger, Tannenbaum, Bennett, Traver e Shotland (1997) confirmaram isso numa meta-análise posterior: nem correlações substanciais entre as medidas dos diferentes níveis, nem evidência da causalidade linear que o modelo sugere.
• Holton (1996), na Human Resource Development Quarterly, foi o mais direto no diagnóstico: o que Kirkpatrick propôs é uma taxonomia de resultados, e não um modelo de avaliação. Um modelo de avaliação teria de explicar que variáveis medeiam entre um nível e o seguinte —a motivação do participante, as condições de transferência, o ambiente de trabalho, o apoio do gestor— e o de Kirkpatrick não as contempla. Também questionou que a reação seja tratada como um resultado, dada a sua escassa correlação com o aprendizado.
• Bates (2004) e Reio, Rocco, Smith e Chang (2017) acrescentaram a crítica prática: o modelo, aplicado de forma literal, empurra para avaliar o que é fácil de medir em vez do que importa.

Isso significa que se deva descartá-lo? Não, e ninguém sério propõe isso. Significa usá-lo para o que serve: como lista ordenada do que se pode observar. O que não se pode fazer é inferir para cima. Um nível 1 de 9 em 10 não autoriza a dar nada por bom; uma média excelente no nível 2 não permite afirmar que alguém mudou a forma de trabalhar. Se você quer saber o que acontece no nível 3, é preciso ir olhar o nível 3.

Dito de outro modo: o modelo diz onde olhar. Não poupa você de ter que olhar.

O modelo Kirkpatrick do Novo Mundo (2016)

A resposta a essas críticas veio de dentro da própria família. Em 2016, James D. Kirkpatrick e Wendy Kayser Kirkpatrick publicaram a revisão conhecida como New World Kirkpatrick Model, que não muda os quatro níveis, mas muda duas coisas decisivas: o que se mede dentro de cada um e em que ordem o modelo é usado.

A mudança de ordem é a mais importante e a mais fácil de passar despercebida. Na versão clássica o modelo é usado ao terminar, avaliando de baixo para cima. Na revisão é usado ao começar, desenhando de cima para baixo: primeiro define-se que resultado de negócio se procura, depois que comportamentos o produziriam, em seguida o que é preciso saber para executar esses comportamentos e, por último, como tem de ser a experiência formativa. É a diferença entre usar o modelo para redigir um relatório e usá-lo para desenhar o programa.

Como aplicar o modelo de Kirkpatrick passo a passo

A sequência que funciona é a da versão de 2016: começar pelo fim. Estes são os cinco passos, com o que é preciso ter resolvido em cada um antes de passar ao seguinte.

Passo 1. Nomeie o resultado de negócio

Antes de desenhar qualquer coisa, escreva o indicador concreto que deveria se mover e o seu valor atual. Não “melhorar o atendimento ao cliente”, e sim “reduzir as reclamações escaladas para o segundo nível, hoje em 18%”. Se você não consegue nomeá-lo, o nível 4 não poderá ser medido depois, por mais que se tente.

Passo 2. Defina os comportamentos observáveis que o produziriam

O que as pessoas teriam de fazer diferente para que esse indicador se movesse, descrito de forma que duas pessoas distintas possam observar a mesma coisa e coincidir. Este é o passo que mais se pula e o que mais determina se o nível 3 será mensurável.

Passo 3. Identifique o que é preciso saber e o que é preciso sustentar

Duas perguntas, não uma. Que conhecimentos e habilidades são necessários para executar esses comportamentos —isso é o conteúdo formativo— e o que tem de mudar no ambiente para que eles se sustentem: quem revisa, quem acompanha, o que é reconhecido. Esses são os required drivers, e sem eles o programa evapora em um mês.

Passo 4. Desenhe a medição dos quatro níveis antes de lançar

Que instrumento, quem o aplica e em que data, para cada nível. Incluído o 3, que é o que nunca se planeja e por isso nunca se mede. Se neste ponto não houver um nome e uma data para a observação no posto, esse nível não vai existir.

Passo 5. Meça, interprete cada nível em separado e decida

Recolha cada nível no seu momento e, sobretudo, não infira de um para outro. Interprete cada um pelo que é e cruze os resultados para localizar onde a cadeia se rompe. Se o 2 está alto e o 3 está baixo, o problema está no ambiente de trabalho, não no curso. Se o 3 está alto e o 4 não se move, o comportamento que você escolheu não era o que movia o indicador. Essa capacidade de diagnóstico é a verdadeira utilidade do modelo, e só aparece se você medir mais de um nível.

Que nível medir em cada tipo de programa

Medir os quatro níveis em todos os programas é a forma mais rápida de não medir bem nenhum. A regra prática: vá até o nível que você consegue sustentar com evidência e pare no primeiro que não lhe der uma decisão. Esta tabela resolve a maioria dos casos.

Exemplo completo de aplicação, do princípio ao fim

Uma rede de lojas detecta que 18% das reclamações são escaladas para o segundo nível quando poderiam ser resolvidas na loja. Assim se aplicaria o modelo completo, na ordem correta:

• Resultado (nível 4), definido antes de começar: baixar de 18% para 12% as reclamações escaladas em seis meses. Indicador intermediário para não esperar meio ano: percentual de reclamações encerradas no primeiro contato, revisado todo mês.
• Comportamentos (nível 3), definidos de forma observável: identificar o motivo real nos dois primeiros minutos, consultar a margem de resolução disponível e registrar o caso com o código correto. Será observado mediante revisão de dez casos por loja por mês, com uma rubrica comum, a partir do dia 30.
• Required drivers, sem os quais nada do anterior se sustenta: uma ajuda de trabalho de uma página com as margens de resolução, cinco minutos de revisão na reunião semanal da loja e reconhecimento mensal à equipe com melhor resolução no primeiro contato.
• Aprendizado (nível 2): prova prévia e posterior sobre as margens de resolução e três casos práticos com decisão. Mede-se confiança, não só acerto: “você se vê capaz de resolver sem escalar?”.
• Reação (nível 1): três perguntas no encerramento, centradas na relevância percebida e não na satisfação geral.

Repare no que foi desenhado primeiro e no que foi desenhado por último. O curso é a última peça, não a primeira.

Um caso real de um nível 4 que de fato se moveu. A Clarel alinhou mais de 1.000 pontos de venda e mais de 3.000 colaboradores em cultura e operação quase em tempo real. Os dados publicados permitem ver dois níveis distintos ao mesmo tempo: 84% de participação no treinamento —que é cobertura, não impacto— e 90% de aumento na taxa de acertos em produto, que é sim um indicador de negócio que se moveu. A distinção entre esses dois números é exatamente do que trata este artigo. Ver o caso de sucesso →

Erros habituais ao aplicar o modelo de Kirkpatrick

Quase todos os problemas de implementação se repetem e quase todos podem ser antecipados.

• Ficar no nível 1 e concluir a partir daí. É o erro mais difundido e o que a pesquisa desautoriza com mais clareza. Uma pesquisa de satisfação alta não é evidência de nada além de uma boa experiência.
• Medir o nível 3 sem ter definido o comportamento. Se o que se espera ver não está descrito em termos observáveis, a observação vira opinião e cada gestor pontua com um critério diferente.
• Atribuir um resultado de negócio sem comparação. Que um KPI melhore depois de um treinamento não significa que tenha melhorado por causa dele. Sem grupo de comparação ou sem série histórica, é uma correlação apresentada como causa.
• Escolher o indicador quando o programa já terminou. Aí não se mede: procuram-se números que confirmem a conclusão desejada.
• Medir os quatro níveis em todos os programas. O custo do nível 3 é alto e o do 4 também. Aplicá-los a tudo garante fazer tudo mal.
• Esquecer o ambiente. É a crítica de Holton levada à prática: se ninguém reforça o comportamento ao voltar ao posto, o programa não falhou pelo desenho do curso.

O modelo de Kirkpatrick frente a outros modelos de avaliação

Não é o único referencial disponível, e conhecer os demais ajuda a situar os seus limites. O modelo ROI de Phillips o estende com um quinto nível que converte os benefícios do nível 4 em valor monetário e o compara com o custo do programa. O de Kaufman acrescenta um nível prévio de inputs e processos e amplia o de resultados ao impacto no cliente e na sociedade. E há vários mais —CIRO, Anderson, Brinkerhoff, CIPP— com abordagens distintas conforme o que se queira descobrir.

Como ponto de partida, Kirkpatrick continua a ser a escolha razoável para quase qualquer organização: é o mais conhecido, o mais barato de implementar nos seus primeiros níveis e o que melhor funciona como vocabulário comum entre L&D e direção. Se você quer o comparativo completo dos sete modelos principais, com o seu nível de complexidade e para que tipo de organização cada um se encaixa, está desenvolvido no nosso guia de avaliação de treinamento. E se o seu contexto é formação online, aqui está como se concretiza a avaliação em e-learning.

Como o isEazy LMS ajuda você a aplicar o modelo

Uma plataforma não avalia por você, mas determina quanto trabalho manual cada nível exige. Com o isEazy LMS você pode automatizar a parte que é automatizável:

• Nível 1: pesquisas no encerramento do curso, com resultados agregados por grupo e sem exportações manuais.
• Nível 2: provas prévias e posteriores, limiares de aprovação, tentativas e pontuações por módulo, com alertas quando alguém não atinge o limiar.
• Nível 3: rastreabilidade do progresso e da atividade posterior ao curso, relatórios por pessoa, departamento ou unidade que servem de base à observação, e segmentação para saber quem precisa ser observado.
• Nível 4: exportação de dados de treinamento para cruzá-los com os indicadores de negócio no painel da organização.

E convém dizer também o que nenhuma plataforma resolve: o nível 3 exige observação no posto de trabalho. O LMS diz quem completou o quê, com que nota e em quanto tempo, e isso é imprescindível; mas se alguém aplica ou não o que aprendeu com um cliente à frente, isso tem de ser visto por uma pessoa. Qualquer ferramenta que prometa resolver o nível 3 sem observação está medindo outra coisa.

Se você quer ver como tudo isso é recolhido e cruzado na prática, pode solicitar uma demonstração do isEazy LMS.