Baixe Avaliação em Treinamento, Desenvolvimento e Educação: Tipos, Componentes e Coleta de Dados e outras Manuais, Projetos, Pesquisas em PDF para Materiais, somente na Docsity!
Modelos de avaliação e
aplicação em td&e
JAIRo EDuARDo BoRGES‑ANDRADE GARDêNIA DA SILVA ABBAD LuCIANA MouRão
pode ser uma ação isolada de TD&E ou um conjunto dessas atividades, um programa de TD&E. Essas ações podem gerar resultados imediatos que são avaliados em dois níveis, conforme modelos propostos por Kirkpatrick (1976) e Hamblin (1978):
1. Reação , que contempla as opiniões dos participantes em relação ao grau de uti- lidade e dificuldade do curso, bem como em relação à satisfação com o mesmo. 2. Aprendizagem , ou aquisição, por esses par- ticipantes de conhecimentos, habilidades e atitudes – CHAs.
Além disso, segundo esses autores, as ações de TD&E podem ter efeitos em longo prazo em dois ou três níveis:
Ao FINAL DESTE CAPíTuLo, VoCê DEVERá:
ü Definir avaliação em TD&E.
ü Discutir a importância da adoção de modelos de avaliação em TD&E.
ü Descrever modelos somativos de avaliação de sistemas instrucionais.
ü Descrever pressupostos e componentes do MAIS.
ü Relatar o processo de escolha dos indicadores, medidas
e fontes de avaliação para os componentes do MAIS.
ü Identificar instrumentos válidos e confiáveis de avaliação de cada componente do MAIS.
ü Descrever procedimentos de aplicação de instrumentos de avaliação em contexto de
organizações e trabalho.
ü Descrever pontos críticos da análise de dados e da elaboração de relatório de
devolução de resultados provenientes da aplicação dos instrumentos de avaliação.
INTRoDução
O treinamento, o desenvolvimento e a educação (TD&E) precisam ser concebidos pelas organizações como um sistema inte- grado por subsistemas que realizam avalia- ções antes e depois de TD&E, que efetuam seu planejamento e execução e que mantêm entre si um constante fluxo de informações e produtos. O subsistema de avaliação de TD&E é o principal responsável pelo provi- mento de informações, retroalimentação e aperfeiçoamento constante do menciona- do sistema (Borges -Andrade, 2002), como pode ser visualizado na Figura 1.1. Avaliar TD&E envolve sempre algum tipo de coleta de dados que são usados para emitir juízo de valor. O objeto dessa avaliação
MEDIDAS DE AVALIAçãO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAçãO 21
1. Comportamento no cargo ou utilização no trabalho dos conhecimentos, habilidades e atitudes pelos participantes das ações de TD&E. 2. Organização ou mudanças que podem ter ocorrido no funcionamento da organização em que trabalham esses participantes. 3. Valor final ou alterações na produção ou nos serviços prestados por essa orga- nização ou outros benefícios sociais e econômicos.
Uma avaliação de TD&E precisaria colher dados sobre alguns desses efeitos, ou todos eles, e permitir uma emissão de juízo de valor sobre a ação ou o programa enfocado. Isso fica bem claro nos modelos de Kirkpatrick (1976) e Hamblin (1978). Entretanto, Borges -Andrade (1982, 2006) argumenta que outras características ou va- riáveis também devem ser levadas em conta e propõe o Modelo de Avaliação Integrado e Somativo (MAIS). Integrado, pois sugere que necessidades de desempenho e carac- terísticas individuais dos participantes, dos procedimentos e processos de TD&E, bem como ações de disseminação e de apoio à ação, predizem aqueles resultados imedia- tos e efeitos em longo prazo. Desse modo, a avaliação deve transcender sua característica
de julgar o alcance de objetivos ou verificar resultados e efeitos e ser também um meio de predizer tais resultados e efeitos. É somativo, pois visa obter informa- ções para avaliar TD&E já desenvolvido, com o objetivo de verificar a capacidade deste de produzir resultados. Trata-se, conforme proposto por Scriven (1967), de avaliação diferenciada daquela de caráter formativo, caracterizada pela contínua coleta de da- dos durante a realização de TD&E, a fim de obter informações que o validem ou que indiquem as correções a serem efetuadas nele. Apesar de ter sido concebido como um modelo somativo, também apresenta rica contribuição para avaliações formativas, na medida em que prevê a análise dos insumos, do ambiente e dos processos e procedimen- tos relativos às ações de TD&E.
MoDELoS DE AVALIAção
Os modelos de avaliação de TD&E podem ser classificados em:
a) Genéricos , que descrevem conjuntos de variáveis relacionadas aos processos de TD&E, como o MAIS e os de Kirkpatrick (1976) e Hamblin (1978), e geralmente
FIgurA 1.
Sistema de TD&E Fonte : Borges‑Andrade (2006)
Contexto organizacional
Avaliação de TD&E
Avaliação de necessidades
Planejamento e execução
MEDIDAS DE AVALIAçãO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAçãO 23
de apoio, que têm função preponderante- mente facilitadora para a aprendizagem. Finalmente, têm -se as habilidades e atitu- des individuais que podem influenciar a aprendizagem. O MAIS tenta integrar e complementar as três propostas de modelos genéricos des- critas anteriormente e está articulado com o enfoque de “avaliação baseada em teoria” (Fitz -Gibbon e Morris, 1975). Assim, possi- bilita a avaliação dos resultados de TD&E e, além disso, sua utilização plena pode ofe- recer oportunidade para a construção de conhecimento sobre o que pode estar asso- ciado a esses resultados.
PRESSuPoSToS E
CoMPoNENTES Do MAIS
O MAIS foi inicialmente proposto para o contexto educacional por Borges-Andrade (1982), que depois o reapresentou para o contexto de organizações e trabalho (Borges-Andrade, 2006). Está baseado na suposição de que um modelo de avaliação de eventos ou de um programa de TD&E
deve seguir um método de formulação de questões e levantamento de dados con- cernentes a características ( insumos , pro‑ cedimentos , processos e resultados ) desses eventos ou programa e ao ambiente no qual eles ocorrem (Figura 1.2). Esse método deve possibilitar a aná- lise e interpretação integrada das informa- ções obtidas, com as intenções de fornecer informação para a tomada de decisões so- bre esses eventos ou programa e permitir o acúmulo de conhecimento relevante sobre TD&E e o ambiente no qual ocorre, visando à formulação futura de políticas e estraté- gias organizacionais. É um modelo fortemente influencia- do pela abordagem de sistemas e pela psi- cologia instrucional. Supõe que por trás de toda avaliação precisa existir uma “teoria de efetividade” de TD&E. Se ela foi expli- citada pelo responsável pelo planejamento de TD&E, ótimo. Se não foi, precisará ser explicitada pelo responsável pela avalia- ção, quando este formular as questões an- tes mencionadas aqui. Um pressuposto fundamental, portanto, é que essa “teoria” sempre existe, embora possa estar somente
FIgurA 1.
Modelo da avaliação integrado e somativo – MAIS Fonte: Borges‑Andrade (1982, 2006)
Ambiente: disseminação
Ambiente: apoio
Ambiente: necessida- des
Insumos Procedimentos Resultados
Processo
Processo
Ambiente: resultados em longo prazo
24 ABBAD, MOURãO, MENESES, zERBINI, BORGES‑ANDRADE, VILAS‑BOAS (ORGS.)
implícita nas ações e materiais de TD&E. O MAIS pode ser usado como uma ferramenta para torná-la explícita. Os cinco componentes do MAIS estão baseados naquela suposição e são derivados daquelas intenções. Os componentes são: insumos, procedimentos, processos, resulta- dos e ambiente. Os quatro primeiros com- ponentes são o cerne do sistema de TD&E. O último componente representa a inserção desse sistema no contexto de um sistema maior, o da organização. O componente ambiente é dividido em quatro outros sub- componentes: necessidades, suporte, disse- minação e efeitos em longo prazo. A seguir, esses componentes e subcomponentes serão definidos e exemplificados, com base em Borges -Andrade (2006). O primeiro componente, Insumos, se refere aos fatores físicos e sociais e aos esta- dos comportamentais e cognitivos, anterio- res à instrução, que podem afetá -lo ou os seus resultados. O conhecimento sobre os insumos possibilita ao profissional selecio- nar eventos de TD&E efetivos e relevantes para resolver um problema de desempenho ou contribuir para diminuir uma necessida- de de TD&E. Informações sobre insumo po- dem estar associadas a resultados e efeitos em longo prazo, tal como exemplificado em seguida:
ü Nível de escolaridade dos participantes do evento de TD&E.
ü Idade desses participantes. ü Autoeficácia destes (crença de que são capazes de obter sucesso).
ü Cargo^ ocupado,^ no^ trabalho,^ pelos participantes.
ü Comprometimento com a carreira e com a organização.
ü Uso de estratégias de aprendizagem (bus- ca de ajuda interpessoal ou em materiais escritos, repetição e reflexão mentais, controle emocional e monitoramento de compreensão).
ü Crenças individuais (cinismo) a respeito do sistema de TD&E.
ü Domínio de competências que são prer- requisitos para o evento de TD&E.
ü Motivação pessoal para aprender e trans- ferir para o trabalho. ü Percepção^ da^ aplicabilidade,^ no^ tra- balho ou na vida pessoal, do que será aprendido.
O segundo componente, Procedi men- tos, destaca as operações necessárias para facilitar ou produzir os resultados instru- cionais ou a aprendizagem. Os dados so- bre essa variável possibilitam a descrição detalhada do sistema instrucional vigente no evento ou programa de TD&E e a verifi- cação de sua associação com os resultados. Essas informações possibilitam a identifica- ção das características de ensino relevantes em TD&E. Alguns exemplos são:
ü Sequência^ lógica^ de^ ensino^ dos^ obje- tivos. ü Clareza e precisão desses objetivos. ü Adequação das aulas. ü Adequação dos materiais de TD&E. ü Utilização de exercícios práticos e retro- alimentação após os mesmos. ü Discussões de casos e jogos instrucionais. ü Similaridade entre as situações de traba- lho e aquelas apresentadas em TD&E.
O componente Processos se refere ao que acontece a aspectos significantes do comportamento do aprendiz, à medida que os procedimentos são implementados. Como está representado na Figura 1.2, esses aspectos podem começar a ocorrer logo após a introdução dos procedimentos e tendem a se somar, à medida que estes são implemen- tados. Variáveis de processos são concer- nentes aos comportamentos dos aprendizes, enquanto variáveis de procedimentos são geralmente concernentes a decisões de pla- nejamento instrucional ou ao desempenho de instrutores. Os processos e procedimen- tos não devem ser confundidos com os pro- dutos. A aprendizagem e sua aplicação no trabalho seriam exemplos de possíveis pro- dutos resultantes das ações de capacitação, enquanto os processos e os procedimentos se referem ao que foi feito, respectivamente pelos participantes e pelos planejadores da
26 ABBAD, MOURãO, MENESES, zERBINI, BORGES‑ANDRADE, VILAS‑BOAS (ORGS.)
longo prazo, o papel das variáveis de supor- te é muito mais crítico, como é o caso do suporte psicossocial oferecido por colegas e supervisores para a transferência do apren- dido para o trabalho. Qualquer tomada de decisão a respeito da adoção de um progra- ma ou evento precisa levar em consideração as características e condições de suporte que deverão ser adaptadas, modificadas ou im- plantadas, ou os custos diretos e indiretos que elas representarão para a organização ou comunidade. O subcomponente Disseminação, da mesma maneira que o subcomponente Apoio, tem a capacidade potencial de in- fluenciar todos os demais componentes do MAIS, como sugere a Figura 1.2. O segun- do visa melhorar ou sustentar os resultados de curto prazo e os efeitos em longo prazo e o primeiro almeja a adoção bem-sucedida do programa ou evento de TD&E. Alguns exemplos de variáveis de disseminação são:
ü Natureza da divulgação de informações relativas ao programa de TD&E.
ü Método de divulgação de informações sobre esse programa.
ü Fontes (órgão de gestão de pessoas, co- legas e supervisores dos participantes, etc.) de disseminação de informações so- bre TD&E na organização.
ü Canais (eletrônicos, visuais, auditivos) de disseminação de informações sobre TD&E na organização.
ü Conteúdos (sobre insumos, procedimen- tos, suporte e resultados esperados) dis- seminados sobre TD&E na organização.
Efeitos em Longo Prazo, o último sub- componente do componente Ambiente, são as consequências ambientais do programa ou evento de TD&E. A avaliação precisa for- necer medidas do desempenho do progra- ma ou evento, ao tentar alcançar suas metas para atender as necessidades previamente identificadas. Os efeitos em longo prazo, a serem verificados na avaliação, devem in- cluir tanto os esperados quanto os inespera- dos e podem ser desejáveis ou indesejáveis.
De acordo com Kirkpatrick (1976) e Hamblin (1978), esses efeitos podem incluir, respec- tivamente, as mudanças de comportamento no cargo e organizacionais e indicadores de valor final. Exemplos podem ser a melhoria na execução de uma tarefa após a partici- pação na ação de TD&E, a criação de uma nova área na organização, ou uma nova for- ma de realização de trabalho da equipe do indivíduo, depois que ele participou de uma ação de TD&E, ou um incremento na produ- tividade organizacional como decorrência dessa ação. O MAIS pode ser utilizado no pro- cesso de escolha dos indicadores, medidas e fontes de avaliação de TD&E. Para isso, será necessário identificar variáveis de cada componente e subcomponente, rele- vantes para o sistema de TD&E, cujas ações serão avaliadas, e variáveis relevantes con- cernentes à organização que é servida por esse sistema. Depois que esse conjunto de indicadores é definido, será preciso sele- cionar ou desenvolver medidas adequadas para eles e fontes de informação que for- necerão essas medidas. O Quadro 1.1 des- creve algumas das medidas que já foram desenvolvidas ou adaptadas e validadas no Brasil, relativas a esses componentes e subcomponentes. Outro modelo genérico descreve e classifica os efeitos de TD&E em longo pra- zo em três níveis: indivíduo, equipe e orga- nização (Birdi, 1999). Exemplos de efeitos nos indivíduos seriam mudanças de atitudes frente aos colegas e uso de habilidades ad- quiridas para resolver problemas no traba- lho. Exemplos de efeitos no segundo nível seriam a redução da ambiguidade de papéis na equipe ou a certificação desta como de excelência. No terceiro nível, alguns exem- plos poderiam ser a melhoria dos serviços oferecidos pela organização ou a redução das taxas de acidentes de trabalho. Um resumo dessa proposta é apresentado por Borges -Andrade (2006), pois o autor con- sidera que a proposta desses três níveis desdobra ou estende de modo bastante sa- tisfatório o último subcomponente do com- ponente Ambiente.
MEDIDAS DE AVALIAçãO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAçãO 27
QuAdro 1. Instrumentos validados no Brasil, relativos aos componentes e subcomponentes do MAIS
Componentes/ Temas gerais dos subcomponentes instrumentos de medida Autores dos instrumentos
Insumos Lócus de controle Meneses (2002) Autoeficácia Meneses (2002) Autoconceito profissional Tamayo (2002) Valor instrumental do treinamento Lacerda (2002); Pilati (2004) Motivação para aprender e para Abbad (1999); Lacerda (2002) transferir a aprendizagem Comprometimento com a carreira Rodrigues (2000) Comprometimento no trabalho Bastos (1994); Rodrigues (2000); Pilati (2004). Estratégias de aprendizagem zerbini (2003) Hábitos de estudo zerbini (2003); Brauer (2005) Crenças sobre sistemas de treinamento Freitas (2005) Indicadores de prazer e sofrimento Mendes (1999); Mota (2002) Motivação para aplicar Pilati (2004) Estratégias para aplicar no trabalho o Pilati (2004) aprendido em treinamento
Procedimentos Taxonomia de treinamentos (cinco categorias) Pilati (2004)
Processos Uso dos recursos da internet Pilati (2004); em curso a distância Borges ‑Ferreira (2005) Escores em exercícios e testes intermediários zerbini (2003); Carvalho (2003); Borges ‑Ferreira (2005)
Resultados Reação ao treinamento Abbad, Gama e Borges ‑Andrade (2000)
Ambiente/ Expectativas em relação a treinamentos Gonçalves (2008) necessidades
Ambiente/Suporte Suporte organizacional Abbad, Pilati e Borges ‑Andrade (1999) Suporte à aprendizagem Abbad, Pilati e Borges ‑Andrade (1999) Suporte à transferência de treinamento Abbad (1999); (Suporte psicossocial e suporte material) Abbad e Sallorenzo (2001) Falta de suporte à transferência Carvalho (2003) (curso a distância) Suporte à aprendizagem contínua Freitas e Pantoja (2003) Suporte à aprendizagem Coelho Jr. (2004) Barreiras à conclusão de treinamento a distância Brauer (2005) Modernidade organizacional Maestro Filho (2004)
Ambiente/disseminação Disseminação de informações Meira (2004) sobre treinamento
Ambiente/efeitos Transferência de treinamento/ Abbad, Gama e em longo prazo Impacto em amplitude Borges ‑Andrade (2000)
MEDIDAS DE AVALIAçãO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAçãO 29
e nas atitudes dos participantes dependem fortemente de um ambiente organizacional propício ao uso das novas habilidades. O IMTEE, por sua vez, propõe a men- suração de quatro níveis de avaliação:
a) análise de necessidades, subdividida em conteúdo e projeto do treinamento, mudanças nos participantes e demandas organizacionais; b) reações; c) transferência; d) resultados.
Alvarez, Salas e Garofano (2004) defi- nem com clareza as diferenças entre avaliação e efetividade de treinamento e apresentam os diversos inter -relacionamentos existentes entre essas variáveis e as características de um programa de treinamento, com foco nas atitudes pós-treinamento. Os autores relatam que as medidas relativas à avaliação de treinamento en- contradas foram aprendizagem cognitiva, desempenho no treinamento e desempe- nho na transferência do aprendido. Em
relação à efetividade de treinamento, as variáveis relacionadas foram autoeficá- cia pré -treinamento, experiência, orien- tação para aplicação pós -treinamento, princípios de aprendizagem e intervenções pós -treinamento. Considerando essa dife- renciação entre os níveis de avaliação e efe- tividade, os autores apresentam o modelo, incluindo novos níveis e alterando a hierar- quia dos níveis propostos nos modelos de avaliação de Kirkpatrick (1976) e Hamblin (1978). Existem similaridades entre o IMTEE e os modelos genéricos MAIS e de Kirkpatrick (1976) e Hamblin (1978). Os componentes e subcomponentes teoricamente previstos no MAIS (necessidades, insumos, procedimen- tos, processos, resultados, suporte, dissemi- nação e efeitos em longo prazo) aparecem com nomenclaturas mais específicas no IMTEE, que é um modelo resultante de re- sultados de pesquisa. Os itens “Reações” e “Aprendizagem Cognitiva” estariam contem- plados nos mencionados modelos genéricos. As características da organização estariam contempladas no “Ambiente”, enquanto as
FIgurA 1.
Modelo integrado de avaliação e efetividade de treinamento (IMTEE) Fonte: Alvarez, Salas e Garofano (2004)
Análise de necessidades
Projeto e conteúdo do treinamento
Mudanças nos participantes
Demandas organizacionais
Reações Autoeficácia pós ‑treinamento
Aprendizagem cognitiva
Desempenho Transferência^ Resulta‑dos
Características individuais
Características individuais Características do treinamento
Características individuais Características do treinamento Características da organização
30 ABBAD, MOURãO, MENESES, zERBINI, BORGES‑ANDRADE, VILAS‑BOAS (ORGS.)
“características individuais” seriam contem- pladas no componente “Insumos”. Por fim, algumas “Características do Treinamento” estariam contempladas no componente “Processos”. Todos esses foram propostos no MAIS.
PRoCEDIMENToS
DE CoLETA DE DADoS
Como formulado na própria definição de avaliação, avaliar pressupõe uma coleta de dados que permite uma emissão de juízo de valor. Para que possa ser emitido um juízo de valor consistente, é preciso que sejam seguidos alguns procedimentos no proces- so de coleta de dados. A avaliação pode ou não envolver a testagem de algum modelo específico, como os descritos anteriormente. Os dados podem ser coletados para (1) veri- ficar o funcionamento do sistema de TD&E ou somente (2) medir os efeitos das ações de TD&E. No primeiro caso, será possível explicar que variáveis são responsáveis por tais efeitos, no segundo, não. Em ambos os casos, faz -se necessário definir: as fontes de coleta de dados, os momentos de coleta, os tipos de instrumento, o tipo de aplicação e a forma de conduzi-la.
Fontes de coleta de dados
A pesquisa de avaliação de TD&E pode ser feita utilizando-se fontes primárias ou secundárias. As primeiras se referem a in- formações coletadas para um propósito específico ligado à avaliação. As fontes se- cundárias estão disponíveis antes dessa ava- liação. Muitas vezes é possível adotar uma solução combinada de fontes primárias e se- cundárias no processo de coleta de dados, o que pode reduzir os custos da avaliação. Entre as fontes de dados secundários estão: diagnósticos já realizados para o pla- nejamento estratégico da organização ou para formular diretrizes de gestão de pes- soas ou para avaliar necessidades de TD&E;
descrições relativas ao material didático e ao programa da ação de TD&E; resultados das avaliações de desempenho dos participantes e de outros membros da equipe; indicadores de absenteísmo, acidentes de trabalho, rota- tividade, promoção, mobilidade, salário, pre- miações e bonificações e indicadores sociais como taxa de desemprego e de adoção de no- vas tecnologias ou de satisfação de clientes. As fontes primárias para a coleta de dados para avaliação de TD&E também po- dem ser diversas, destacando-se:
a) Os demandantes das ações de TD&E, que poderão especificar as necessidades e a razão para a realização das ações que estão sendo avaliadas, bem como o que seria esperado em termos de resultados da mesma. b) Os profissionais de gestão de pessoas, que costumam ter informações impor- tantes acerca do processo de levanta- mento de necessidades de treinamento e também do planejamento das ações de TD&E. c) Os professores, facilitadores ou tutores, que podem detalhar os processos instru- cionais adotados, as atividades desenvol- vidas, a percepção sobre o aproveitamento e o interesse dos participantes. d) Os participantes das ações de TD&E, que são a razão da existência dessas ações e que certamente poderão oferecer infor- mações sobre suas características indi- viduais e do treinamento e sobre o que fazem do mesmo e o que mudou após a participação delas em tais ações. e) Os supervisores dos participantes, que poderão opinar sobre a demanda e os desempenhos resultantes dessas ações de TD&E. f) Os colegas ou pares dos participantes, que podem observar mudanças no de- sempenho destes e fornecer pistas sobre como elas ocorreram. g) Os clientes ou usuários dos participantes das ações de TD&E, que podem apontar as diferenças de desempenho ou do pro- cesso de trabalho, dependendo do seu grau de envolvimento no processo.
32 ABBAD, MOURãO, MENESES, zERBINI, BORGES‑ANDRADE, VILAS‑BOAS (ORGS.)
não estar associada a esse ou aquele resulta- do de curto e longo prazo.
Tipos de instrumento
Há duas formas de coleta de dados que po- dem ser usadas em avaliação de TD&E: por observação e por comunicação. A cada uma dessas formas de coleta de dados estão asso- ciados alguns tipos de instrumentos (como os do Quadro 1.1), embora alguns deles até possam ser utilizados em ambas as formas de coleta. A coleta de dados por observação se divide entre: observação humana e obser- vação mecânica/eletrônica. Esta pode ser feita, por exemplo, com uma câmera na sala de aula em cursos presenciais ou por meio do registro de dados em cursos pelo computador, como o tempo que uma pessoa permaneceu em um determinado módulo de ensino, as atividades que fez, se “clicou” em hiperlinks ou se usou a biblioteca virtual. Mas se a observação for humana, ela pre- cisará de um roteiro ou lista de verificação para conduzir a coleta e para padronizar o procedimento referente a ela. Esse roteiro pode incluir informações das mais diversas, por exemplo, se os participantes de cursos dão exemplos de suas situações cotidianas de trabalho, como foi a distribuição do tem- po em relação a atividades teóricas e prá- ticas ou se o professor/facilitador realizou atividades integradoras com a turma. A taxonomia de treinamentos proposta por Pilati (2004) e citada no Quadro 1.1 é um exemplo de instrumento dessa natureza. A coleta de dados por comunicação é aquela em que se pergunta para o partici- pante das ações de TD&E, ou para outras fontes primárias da pesquisa, acerca dessas ações. Há vários instrumentos que podem ser utilizados quando o avaliador decide adotar a comunicação como forma de coleta de dados. Ele pode usar um roteiro de pergun- tas para uma entrevista em profundidade, um roteiro de dinâmicas e perguntas para a condução de um grupo focal, um formulário para preenchimento de informações sobre
aquelas ações. De todos os possíveis instru- mentos de coleta de dados, o questionário é o mais utilizado e o que foi consagrado pela prática dos pesquisadores em TD&E. Alguns exemplos são a escala de reação ao treina- mento de Abbad, Gama e Borges -Andrade (2000) e a medida de suporte à transferên- cia de Abbad e Sallorenzo (2001), ambas mencionadas no Quadro 1.1. Existem três razões principais para a prevalência do questionário: a possibilidade que ele oferece de abordar grande quantida- de de assuntos e de variáveis e as facilidades de aplicação e de tabulação dos dados cole- tados. A elaboração do questionário requer cuidados metodológicos e não deve ser feita pela formulação apressada de uma meia dú- zia de perguntas ou pela colagem displicente de perguntas encontradas em outros instru- mentos de medida, estejam eles validados ou não. Para avaliação de TD&E, há um conjunto de medidas já validadas que serão apresentadas nos capítulos ao longo deste livro. Há também um capítulo que descre- ve como se dá o processo de construção e validação dessas escalas, para que aqueles cuidados metodológicos sejam efetivamente levados em conta. Um aspecto importante em relação aos questionários diz respeito ao seu tamanho. É comum que os profissionais queiram men- surar muitos aspectos e variáveis, tendendo a construir instrumentos excessivamente longos. O ideal é que se “pese” para que cada informação seja necessária. Se uma in- formação não pode gerar qualquer alteração em TD&E, então a coleta de dados sobre ela pode ser dispensada. Não existe um núme- ro mínimo ou máximo de perguntas ou de itens. Os objetivos da avaliação e as caracte- rísticas do procedimento de aplicação e do público a ser pesquisado são determinantes do tamanho do questionário. Instrumentos muito extensos tendem a ser mais cansa- tivos e a resultar em uma taxa de retorno menor e também podem levar a um menor grau de fidedignidade nas respostas. Em relação aos roteiros para entrevistas e grupos focais, esses instrumentos tiveram uso crescente, seja por meio de pesquisas
MEDIDAS DE AVALIAçãO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAçãO 33
de abordagem qualitativa, seja por dese- nhos que mesclam abordagens quantitativas e qualitativas. Em geral, esses roteiros são curtos e procuram fazer perguntas bastan- te amplas que permitam às fontes de dados desenvolverem uma conversa e apresentar suas opiniões e percepções de forma apro- fundada e não apenas com respostas curtas do tipo “sim” ou “não”. Os instrumentos utilizados para coleta de dados por comunicação – sejam questio- nários ou roteiros – são instrumentos que mensuram de acordo com a percepção dos indivíduos escolhidos como fontes de da- dos, como os próprios participantes, ou seus chefes imediatos e pares no trabalho. Os métodos por observação estão apoiados na percepção dos observadores. Há vantagens e desvantagens nos dois casos. Por um lado, a observação permite verificar como os fa- tos ocorreram, de acordo com a percepção do observador, e não como os participantes, chefes e seus colegas, por exemplo, pensam que eles ocorreram. Por outro, através da comunicação se pode saber com mais rapi- dez e menos custos, por exemplo, o porquê das reações das pessoas a ações de TD&E.
Tipo e forma de aplicação de
instrumentos de coleta de dados
As aplicações de instrumentos de coleta de dados podem ser individuais ou coletivas. No caso de uma entrevista em profundi- dade, a aplicação costuma ser individual. Em um grupo focal, o processo é coletivo. Questionários tanto podem ser aplicados individualmente como podem também ser aplicados coletivamente. A aplicação indi- vidual é mais recomendada para assuntos polêmicos ou quando existe necessidade de aprofundar opiniões e percepções das pes- soas. A aplicação coletiva pode ser utilizada com interação entre os membros (como no caso do grupo focal) ou com cada um res- pondendo isoladamente (como numa sala de aula). A forma de aplicação dos instrumen- tos de coleta de dados também pode ser
diversificada. Os instrumentos podem ser apresentados impressos e serem respondi- dos em papel ou enviados para o e ‑mail dos indivíduos definidos como fontes de dados. Disponibilizar o questionário em sites da in- ternet ou em intranets tem sido um recurso cada vez mais utilizado, existindo nesse caso a vantagem de as respostas já alimentarem automaticamente o banco de dados, elimi- nando a etapa de digitação dos dados cole- tados e os erros decorrentes dela. Em todos os casos, as instruções devem estar claras e as informações relativas ao sigilo e à pro- teção individual expressamente registradas, para que os respondentes possam se sentir à vontade e pouco temerosos para expres- sar suas opiniões e expor suas percepções. A identidade das pessoas deve ser preserva- da e os dados somente analisados de forma agrupada. A escolha do melhor tipo ou forma de aplicação dependerá da possibilidade ou não de ter o grupo alvo da coleta de dados reunido em um mesmo espaço físico, do seu acesso a computador conectado à internet ou intranet e também da sua capacidade de ler e interpretar textos escritos.
ANáLISE DE DADoS E DEVoLução DE RESuLTADoS
O ato de mensurar os componentes de um sistema de TD&E significa traduzir os fenô- menos pesquisados em símbolos numéricos, buscando o máximo de exatidão na com- preensão do fenômeno pesquisado (Pilati, Riether e Porto, 2006). Esses autores apre- sentam detalhadamente as possibilidades de análises de dados em avaliações de TD&E e como elas podem ser interpretadas. Para uma melhor compreensão desse processo, recomenda-se, portanto, a leitura do texto mencionado. A avaliação do sistema de TD&E é um tipo de pesquisa aplicada. O objetivo de fazer tal avaliação não é apenas conhecer como funciona o sistema e que resultados ele gera, mas também intervir nesse siste- ma a fim de incrementar os efeitos positivos
MEDIDAS DE AVALIAçãO EM TREINAMENTO, DESENVOLVIMENTO E EDUCAçãO 35
impacto do treinamento no trabalho. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília.
Fitz-Gibbon, C. T., & Morris, L. (1975). Theory- based evaluation: evaluation comment. The Jour‑ nal of Educational Evaluation , 5 (1), 1-4. Freitas, I. A. (2005). Impacto de treinamento nos desempenhos do indivíduo e do grupo de trabalho : suas relações com crenças sobre o sistema de treinamento e suporte à aprendizagem contínua. Tese de doutorado não publicada. Universidade de Brasília, Brasília.
Pantoja, M. J., & Freitas, I. A. (2003). Desenvolvi- mento e validação da escala de suporte à aprendi- zagem contínua. Anais do Congresso Norte‑Nordeste de Psicologia, 3 , 395.
Gagné, R. M., & Briggs, L. J. (1976). La planifi‑ cación de la enseñanza : sus princípios. México: Trillas.
Hamblim, A. C. (1978). Avaliação e controle do treinamento. São Paulo: Mc-Graw-Hill do Brasil.
Kirkpatrick, D. L. (1976). Evaluation of training. In: Craig, R. L. Training and development handbook (2nd ed.). New York: McGraw-Hill.
Lacerda, E. R. M. (2002). Impacto do treinamento no trabalho : investigando variáveis motivacionais e organizacionais como suas preditoras. Disserta- ção de mestrado não publicada. Universidade de Brasília, Brasília. Gonçalves, A. I. P. (2008). Avaliação de treinamen‑ to : a expectativa e a reação do treinando como preditoras do impacto no trabalho. Dissertação de mestrado não publicada. Universidade Salgado de Oliveira, Niterói.
Maestro Filho, A. D. M. (2004). Modelo relacional entre modernização organizacional, práticas inova‑ doras de treinamento e satisfação no trabalho. Tese de doutorado não publicada. Universidade Federal de Minas Gerais, Belo Horizonte.
Meira, M. (2004). Disseminação de informações sobre treinamento : construção e validação de um instrumento de medida. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília.
Mendes, A. B. (1999). Valores e vivências de prazer‑sofrimento no contexto organizacional. Tese de doutorado não publicada. Universidade de Brasília, Brasília.
Meneses, P. P. M. (2002). Autoeficácia, locus de controle, suporte à transferência e impacto do trei‑
namento no trabalho. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília. Mota, L. M. O. (2002). Treinamento e prazer‑ sofrimento psíquico no trabalho. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília. Mourão, L., & Borges-Andrade, J. E. (2005). Ava- liação de programas públicos de treinamento: um estudo sobre o impacto no trabalho e na geração de emprego. Organizações e Sociedade , 28 (33), 13-38. Pilati, R. (2004). Modelo de efetividade do trei‑ namento no trabalho : aspectos dos treinandos e moderação do tipo de treinamento. Tese de dou- torado não publicada. Universidade de Brasília, Brasília. Pilati, R., Riether, M., & Porto, J. (2006). Estra- tégias de análise de dados e retroalimentação do sistema de TD&E. In: Borges-Andrade, J. E., Abbad, G. S., & Mourão, L. (Orgs.). Treinamento, desen‑ volvimento e educação em organizações e trabalho : fundamentos para gestão de pessoas (pp. 503-13). Porto Alegre: Artmed. Rodrigues, A. G. (2000). A natureza da participação e suas implicações no impacto do treinamento no trabalho. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília. Scriven, M. (1978). Perspectivas e procedimentos de avaliação. In: Scriven, M., & Stufflebeam, D. (Eds.). Avaliação educacional (II) : perspectivas, procedimentos e alternativas. Petrópolis: Vozes. Scriven, M. (967). The methodology of evaluation. In: Ryler, R., Gagné, R. M., & Scriven, M. (Eds.). Perspectives of curriculum evaluation. Chicago: Rand McNally. Stufflebeam, D. (1978). Alternativas em avaliação educacional: um guia de auto-ensino para edu- cadores. In: Scriven, M., Stufflebeam, D. (Eds.). Avaliação educacional (II): perspectivas, procedi- mentos e alternativas. Petrópolis: Vozes. Tamayo, N. (2002). Autoconceito profissional, su‑ porte à transferência e impacto do treinamento no trabalho. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília. Zerbini, T. (2003). Estratégias de aprendizagem, reações aos procedimentos de um curso via inter‑ net, reações ao tutor e impacto do treinamento no trabalho. Dissertação de mestrado não publicada. Universidade de Brasília, Brasília.
