Modelo de Kirkpatrick: o que é, os seus 4 níveis e como aplicá-lo

O que é o modelo de Kirkpatrick?

O modelo de Kirkpatrick é um referencial para avaliar a eficácia da formação em quatro planos sucessivos: a reação dos participantes, a aprendizagem que adquiriram, o comportamento que mostram depois no posto de trabalho e os resultados que tudo isso produz no negócio. Donald Kirkpatrick formulou-o em 1959 e continua a ser, mais de sessenta anos depois, o referencial de avaliação mais utilizado na formação empresarial.

A sua utilidade real é mais modesta e mais valiosa do que costuma contar-se: não é uma fórmula para calcular o retorno da formação, mas um inventário do que se pode medir e de em que momento se pode medir. E o seu maior contributo é quase uma repreensão: deixa a descoberto os departamentos de formação que medem apenas o nível 1 e concluem a partir daí que o programa funcionou.

Neste guia vais ver de onde vem o modelo, os quatro níveis com o detalhe de quanto custa medir cada um, o que diz a investigação sobre o seu ponto fraco —tem um, e é importante—, o que mudou na revisão de 2016 e como aplicá-lo sem acabar com um relatório que ninguém usa.

De onde vem o modelo e quem o criou

Conhecer a origem não é erudição: explica por que razão o modelo tem a forma que tem e por que arrasta o problema que arrasta.

Donald Kirkpatrick publicou em 1959 uma série de quatro artigos —Techniques for Evaluating Training Programs— no Journal of the American Society of Training Directors, a revista da organização que hoje é a ATD. Cada artigo desenvolvia um dos quatro planos. Três décadas e meia depois reuniu-os e formalizou-os no livro Evaluating Training Programs: The Four Levels (1994), que é a referência habitualmente citada.

Há dois pormenores que quase nunca são mencionados e que convém ter presentes:

• Kirkpatrick não lhes chamou “níveis”, mas steps, passos. A palavra “nível” chegou depois e não é inocente: sugere uma hierarquia ascendente que o modelo original não afirmava com essa contundência e que é a origem de boa parte dos mal-entendidos posteriores.
• A autoria é discutida. Tem-se assinalado que as quatro perguntas provêm do trabalho de Raymond Katzell, a quem o próprio Kirkpatrick cita num artigo seu de 1956 nessa mesma revista. Não é um ponto encerrado e há interpretações distintas, mas merece registo: o referencial mais usado do setor tem uma atribuição menos limpa do que o nome sugere.

O que é relevante para a prática é que o modelo nasceu como uma taxonomia descritiva —uma forma de ordenar o que se pode observar depois de formar— e foi usado durante décadas como se fosse um modelo explicativo que prevê como uma coisa leva à outra. Não é o mesmo, e daí vem a crítica que verás mais abaixo.

Os 4 níveis do modelo de Kirkpatrick

Cada nível responde a uma pergunta diferente e mede-se num momento diferente. Esta é a vista de conjunto antes de entrar no detalhe.

Nível 1: Reação

Mede a perceção dos participantes: se acharam o conteúdo relevante, se o formato lhes funcionou, se voltariam a fazê-lo. Recolhe-se com um inquérito breve no fecho.

Como se mede: inquérito de satisfação, pontuação de relevância percebida ou um NPS formativo.
Quanto custa: quase nada. É o único nível que se pode automatizar por completo.
O erro típico: tratá-lo como prova de eficácia. Uma pontuação alta indica que a experiência foi agradável e que o programa tem permissão para continuar a existir. Não indica que alguém tenha aprendido. A revisão de 2016 afinou este nível acrescentando duas perguntas mais úteis do que “gostaste?”: se o participante perceciona o conteúdo como relevante para o seu trabalho e se esteve realmente envolvido durante a formação.

Nível 2: Aprendizagem

Mede o que foi realmente adquirido: conhecimentos, competências e, quando se aplica, mudanças de atitude. A forma rigorosa de o fazer é comparar uma medição prévia com outra posterior, porque sem a primeira não se sabe quanto do que alguém responde bem já sabia antes de entrar.

Como se mede: prova antes e depois, exercícios práticos, resolução de casos ou demonstração da competência.
Quanto custa: moderado. O esforço não está em aplicar a prova, mas em desenhá-la bem.
O erro típico: medir apenas a recordação. Uma pergunta de escolha múltipla verifica reconhecimento; pedir que se reconstrua o procedimento ou se resolva um caso verifica compreensão. A diferença aparece justamente na altura de aplicar. É aqui que a avaliação formativa mais contribui, porque permite corrigir as lacunas enquanto o programa ainda está a decorrer em vez de as descobrir no fim.

Nível 3: Comportamento

Mede se o que foi aprendido está a ser aplicado no posto. É o nível que realmente importa, porque é onde se decide se a formação serviu para alguma coisa, e é também onde fracassa a maioria das implementações do modelo.

Como se mede: observação no posto, revisão do trabalho, avaliação do responsável direto, autoavaliação contrastada ou indicadores operacionais de processo.
Quanto custa: alto, e não pelo instrumento mas pela organização. Exige ter definido o comportamento esperado em termos observáveis, que alguém o observe e que esse alguém saiba o que olhar.
O erro típico: tentar medi-lo sem ter definido antes o que se espera ver. “Aplicar o protocolo” não é observável; “registar a ocorrência com o código correto nos dois primeiros minutos” já é. As rubricas de avaliação são a ferramenta que torna este nível reproduzível, porque fixam critérios explícitos que dois observadores diferentes pontuam igual.

E uma nuance que a revisão de 2016 colocou no centro: o comportamento não se sustenta só com formação. Se, ao regressar ao posto, ninguém reforça, ninguém revê e nada muda no ambiente, o comportamento reverte em semanas. Não é uma falha do aluno nem do curso: é uma falha do sistema que rodeia o curso.

Nível 4: Resultados

Mede o impacto no indicador de negócio visado pelo programa: erros operacionais, tempos de processo, vendas, qualidade, rotatividade, sinistralidade.

Como se mede: comparando a evolução do KPI, idealmente com um grupo de comparação que não tenha passado pelo programa.
Quanto custa: alto, e o problema não é recolher o dado mas atribuí-lo. Numa empresa acontecem muitas coisas ao mesmo tempo, e um indicador que melhora depois de uma formação não melhora necessariamente por causa dessa formação.
O erro típico: decidir que indicador olhar quando o programa já terminou. Se o KPI não estava nomeado antes de começar, o nível 4 transforma-se numa procura de números que confirmem o que já se queria concluir.

O erro de ler os níveis como uma cadeia causal

Esta é a parte que distingue quem usou o modelo de quem apenas o leu. A leitura habitual é que os quatro níveis formam uma cadeia: se as pessoas estiverem satisfeitas vão aprender, se aprenderem vão mudar o comportamento e se mudarem o comportamento o negócio melhora. Soa razoável. A investigação não a sustenta.

• Alliger e Janak (1989), na Personnel Psychology, reviram o modelo trinta anos depois da sua formulação e encontraram um apoio empírico muito limitado a esses pressupostos causais. Em concreto: a reação não prevê a aprendizagem, e a aprendizagem não conduz automaticamente à mudança de comportamento. Convém dizer também o que concederam, porque é justo: o modelo traz um vocabulário comum e uma taxonomia razoável para falar de critérios de avaliação.
• Alliger, Tannenbaum, Bennett, Traver e Shotland (1997) confirmaram-no numa meta-análise posterior: nem correlações substanciais entre as medidas dos diferentes níveis, nem evidência da causalidade linear que o modelo sugere.
• Holton (1996), na Human Resource Development Quarterly, foi o mais direto no diagnóstico: o que Kirkpatrick propôs é uma taxonomia de resultados, e não um modelo de avaliação. Um modelo de avaliação teria de explicar que variáveis medeiam entre um nível e o seguinte —a motivação do participante, as condições de transferência, o ambiente de trabalho, o apoio do responsável— e o de Kirkpatrick não as contempla. Também questionou que a reação seja tratada como um resultado, dada a sua escassa correlação com a aprendizagem.
• Bates (2004) e Reio, Rocco, Smith e Chang (2017) acrescentaram a crítica prática: o modelo, aplicado de forma literal, empurra para avaliar o que é fácil de medir em vez do que importa.

Significa isto que se deva descartá-lo? Não, e ninguém sério o propõe. Significa usá-lo para o que serve: como lista ordenada do que se pode observar. O que não se pode fazer é inferir para cima. Um nível 1 de 9 em 10 não autoriza a dar nada por bom; uma média excelente no nível 2 não permite afirmar que alguém mudou a sua forma de trabalhar. Se queres saber o que se passa no nível 3, há que ir olhar o nível 3.

Dito de outro modo: o modelo diz-te onde olhar. Não te poupa de ter de olhar.

O modelo Kirkpatrick do Novo Mundo (2016)

A resposta a essas críticas chegou de dentro da própria família. Em 2016, James D. Kirkpatrick e Wendy Kayser Kirkpatrick publicaram a revisão conhecida como New World Kirkpatrick Model, que não muda os quatro níveis mas muda duas coisas decisivas: o que se mede dentro de cada um e em que ordem se usa o modelo.

A mudança de ordem é a mais importante e a mais fácil de passar ao lado. Na versão clássica o modelo usa-se ao terminar, avaliando de baixo para cima. Na revisão usa-se ao começar, desenhando de cima para baixo: primeiro define-se que resultado de negócio se procura, depois que comportamentos o produziriam, a seguir o que é preciso saber para executar esses comportamentos e, por último, como tem de ser a experiência formativa. É a diferença entre usar o modelo para redigir um relatório e usá-lo para desenhar o programa.

Como aplicar o modelo de Kirkpatrick passo a passo

A sequência que funciona é a da versão de 2016: começar pelo fim. Estes são os cinco passos, com o que é preciso ter resolvido em cada um antes de passar ao seguinte.

Passo 1. Nomeia o resultado de negócio

Antes de desenhar seja o que for, escreve o indicador concreto que deveria mexer e o seu valor atual. Não “melhorar o apoio ao cliente”, mas “reduzir as reclamações escaladas para segundo nível, hoje nos 18%”. Se não o conseguires nomear, o nível 4 não poderá ser medido depois, por muito que se tente.

Passo 2. Define os comportamentos observáveis que o produziriam

O que as pessoas teriam de fazer de forma diferente para que esse indicador mexesse, descrito de forma que duas pessoas distintas possam observar o mesmo e coincidir. Este é o passo que mais se salta e o que mais determina se o nível 3 será mensurável.

Passo 3. Identifica o que é preciso saber e o que é preciso sustentar

Duas perguntas, não uma. Que conhecimentos e competências são necessários para executar esses comportamentos —isso é o conteúdo formativo— e o que tem de mudar no ambiente para que se sustentem: quem revê, quem acompanha, o que é reconhecido. Esses são os required drivers, e sem eles o programa evapora-se ao fim de um mês.

Passo 4. Desenha a medição dos quatro níveis antes de lançar

Que instrumento, quem o aplica e em que data, para cada nível. Incluído o 3, que é o que nunca se planeia e por isso nunca se mede. Se neste ponto não houver um nome e uma data para a observação no posto, esse nível não vai existir.

Passo 5. Mede, interpreta cada nível em separado e decide

Recolhe cada nível no seu momento e, sobretudo, não infiras de um para outro. Interpreta cada um pelo que é e cruza os resultados para localizar onde a cadeia se parte. Se o 2 está alto e o 3 está baixo, o problema está no ambiente de trabalho, não no curso. Se o 3 está alto e o 4 não mexe, o comportamento que escolheste não era o que movia o indicador. Essa capacidade de diagnóstico é a verdadeira utilidade do modelo, e só aparece se medires mais do que um nível.

Que nível medir em cada tipo de programa

Medir os quatro níveis em todos os programas é a forma mais rápida de não medir bem nenhum. A regra prática: chega até ao nível que consigas sustentar com evidência e para no primeiro que não te dê uma decisão. Esta tabela resolve a maioria dos casos.

Exemplo completo de aplicação, do princípio ao fim

Uma rede de lojas deteta que 18% das reclamações são escaladas para segundo nível quando poderiam resolver-se na loja. Assim se aplicaria o modelo completo, pela ordem correta:

• Resultado (nível 4), definido antes de começar: baixar de 18% para 12% as reclamações escaladas em seis meses. Indicador intermédio para não esperar meio ano: percentagem de reclamações fechadas no primeiro contacto, revista todos os meses.
• Comportamentos (nível 3), definidos de forma observável: identificar o motivo real nos dois primeiros minutos, consultar a margem de resolução disponível e registar o caso com o código correto. Será observado através da revisão de dez casos por loja por mês, com uma rubrica comum, a partir do dia 30.
• Required drivers, sem os quais nada do anterior se sustenta: uma ajuda de trabalho de uma página com as margens de resolução, cinco minutos de revisão na reunião semanal da loja e reconhecimento mensal à equipa com melhor resolução no primeiro contacto.
• Aprendizagem (nível 2): prova prévia e posterior sobre as margens de resolução e três casos práticos com decisão. Mede-se confiança, e não apenas acerto: “sentes-te capaz de o resolver sem escalar?”.
• Reação (nível 1): três perguntas no fecho, centradas na relevância percebida e não na satisfação geral.

Repara no que foi desenhado primeiro e no que foi desenhado no fim. O curso é a última peça, não a primeira.

Um caso real de um nível 4 que mexeu mesmo. A Clarel alinhou mais de 1.000 pontos de venda e mais de 3.000 colaboradores em cultura e operação quase em tempo real. Os dados publicados permitem ver dois níveis distintos ao mesmo tempo: 84% de participação na formação —que é cobertura, não impacto— e 90% de aumento na taxa de acertos em produto, que é sim um indicador de negócio que mexeu. A distinção entre esses dois números é exatamente aquilo de que trata este artigo. Ver o caso de sucesso →

Erros habituais ao aplicar o modelo de Kirkpatrick

Quase todos os problemas de implementação se repetem e quase todos podem ser antecipados.

• Ficar no nível 1 e concluir a partir daí. É o erro mais difundido e o que a investigação desautoriza com mais clareza. Um inquérito de satisfação alto não é evidência de nada mais do que de uma boa experiência.
• Medir o nível 3 sem ter definido o comportamento. Se o que se espera ver não está descrito em termos observáveis, a observação transforma-se em opinião e cada responsável pontua com um critério diferente.
• Atribuir um resultado de negócio sem comparação. Que um KPI melhore depois de uma formação não significa que tenha melhorado por causa dela. Sem grupo de comparação ou sem série histórica, é uma correlação apresentada como causa.
• Escolher o indicador quando o programa já terminou. Aí não se mede: procuram-se números que confirmem a conclusão desejada.
• Medir os quatro níveis em todos os programas. O custo do nível 3 é alto e o do 4 também. Aplicá-los a tudo garante fazê-lo mal em tudo.
• Esquecer o ambiente. É a crítica de Holton levada à prática: se ninguém reforça o comportamento ao regressar ao posto, o programa não falhou pelo desenho do curso.

O modelo de Kirkpatrick face a outros modelos de avaliação

Não é o único referencial disponível, e conhecer os restantes ajuda a situar os seus limites. O modelo ROI de Phillips estende-o com um quinto nível que converte os benefícios do nível 4 em valor monetário e o compara com o custo do programa. O de Kaufman acrescenta um nível prévio de inputs e processos e alarga o de resultados ao impacto no cliente e na sociedade. E há vários mais —CIRO, Anderson, Brinkerhoff, CIPP— com abordagens distintas consoante o que se queira averiguar.

Como ponto de partida, Kirkpatrick continua a ser a escolha razoável para quase qualquer organização: é o mais conhecido, o mais barato de implementar nos seus primeiros níveis e o que melhor funciona como vocabulário comum entre L&D e direção.

Como o isEazy LMS te ajuda a aplicar o modelo

Uma plataforma não avalia por ti, mas determina quanto trabalho manual exige cada nível. Com o isEazy LMS podes automatizar a parte que é automatizável:

• Nível 1: inquéritos no fecho do curso, com resultados agregados por grupo e sem exportações manuais.
• Nível 2: provas prévias e posteriores, limiares de aprovação, tentativas e pontuações por módulo, com alertas quando alguém não atinge o limiar.
• Nível 3: rastreabilidade do progresso e da atividade posterior ao curso, relatórios por pessoa, departamento ou centro que servem de base à observação, e segmentação para saber quem é preciso observar.
• Nível 4: exportação de dados formativos para os cruzar com os indicadores de negócio no painel da organização.

E convém dizer também o que nenhuma plataforma resolve: o nível 3 exige observação no posto de trabalho. O LMS diz-te quem completou o quê, com que nota e em quanto tempo, e isso é imprescindível; mas se alguém aplica ou não o que aprendeu com um cliente à frente, isso tem de ser visto por uma pessoa. Qualquer ferramenta que prometa resolver o nível 3 sem observação está a medir outra coisa.

Se quiseres ver como tudo isso se recolhe e se cruza na prática, podes pedir uma demonstração do isEazy LMS.