GUIA REFERENCIAL PARA CONSTRUÇÃO E ANÁLISE DE INDICADORES, Manuais, Projetos, Pesquisas de Gestão de Projeto

Baixe GUIA REFERENCIAL PARA CONSTRUÇÃO E ANÁLISE DE INDICADORES e outras Manuais, Projetos, Pesquisas em PDF para Gestão de Projeto, somente na Docsity!

BRASÍLIA | DF 2021

GUIA REFERENCIAL

PARA CONSTRUÇÃO E ANÁLISE DE

INDICADORES

Leandro Oliveira Bahia

BRASÍLIA | DF 2021

GUIA REFERENCIAL

CONSTRUINDO E ANALISANDO

INDICADORES

Leandro Oliveira Bahia

Sumário

• Prefácio ...............................................................
• 1 Introdução .........................................................
• 2 Indicadores .......................................................
  • 2.1 Alinhamento conceitual .......................................
  • 2.2 Finalidade .............................................................
  • 2.3 Benefícios ..............................................................
  • 2.4 Sistema de medição de desempenho................
  • 2.5 Atributos dos indicadores ..................................
  • 2.6 Tipos de indicadores ..........................................
• 3 Processo de Construção de Indicadores
  • 3.1 Etapas ................................................................. - 3.2 Documentação.................................................... - 3.3 Erros Comuns ..................................................... - 3.4 Limitações e Riscos .............................................
    • 4 Comunicação dos resultados
    • 5 Importância da representação visual
      • 5.1 Storytelling..........................................................
      • 5.2 Data Storytelling .................................................
      • 5. 3 Visual ...................................................................
      • 5.4 Realçar o que é importante ................................
      • 5.5 Eliminar as distrações ........................................
    • Referências bibliográficas....................................

1 Introdução

Este guia foi desenvolvido para profissionais que apoiam, executam ou participam dos processos de planejamento, monitoramento e acompanhamento das estratégicas dos órgãos e entidades da administração pública federal (APF), com os seguintes objetivos:

▪ auxiliar na construção de indicadores de desempenho capazes de apoiar a tomada de decisão de forma ágil e simples;

▪ destacar lições aprendidas, limitações e riscos com o uso inadequado de indicadores; e

▪ fornecer ferramentas para a comunicação atrativa e assertiva dos resultados identificados na coleta dos dados dos indicadores.

Este guia utilizou como base diversos outros trabalhos conduzidos pelo extinto Ministério do Planejamento, Orçamento e Gestão, além de outras referências bibliográficas, com o foco em tornar a construção de indicadores um processo simples e efetivo que seja uma rotina comum na gestão estratégica organizacional.

A intenção do guia não é apresentar um kit completo de ferramentas, mas um conjunto mínimo de etapas que podem ser adotadas sem prejuízo ao uso de outros instrumentos de gestão estratégica. Essas especificações mínimas são indispensáveis para construir um sistema de medição de desempenho de uma organização.

2 Indicadores

2.1 Alinhamento conceitual

A literatura aponta diversas acepções acerca de indicadores, todas guardando certa similaridade conceitual. Segundo Ferreira, Cassiolato e Gonzales (2009), por exemplo:

“O indicador é uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado^8 ”.

Na gestão pública, os indicadores são instrumentos que contribuem para identificar e medir aspectos relacionados a um determinado fenômeno decorrente da ação ou da omissão do Estado. Sua principal finalidade é traduzir, de forma mensurável, um aspecto da realidade dada ou construída, de maneira a tornar operacional a sua observação e avaliação.

Dessa forma os indicadores servem para:

▪ mensurar os resultados e gerir o desempenho;

▪ embasar a análise crítica dos resultados obtidos e do processo de tomada decisão;

▪ contribuir para a melhoria contínua dos processos organizacionais;

▪ facilitar o planejamento e o controle do desempenho; e

▪ viabilizar a análise comparativa do desempenho da organização e do desempenho de diversas organizações atuantes em áreas ou ambientes semelhantes.

Desempenho é um termo sujeito a inúmeras variações semânticas e conceituais, embora existam alguns consensos majoritários em torno de uma definição. Segundo uma abordagem abrangente, o desempenho pode ser compreendido como esforços empreendidos na direção de resultados a serem alcançados.^1

A equação simplificada é: desempenho = esforços + resultados; ou desempenho = esforços --> resultados.

Assim, a definição sintética e ao mesmo tempo ampla para o desempenho é estabelecida pela atuação de uma organização, projeto, processo, tarefa etc. para se alcançar um resultado.

Indicadores são instrumentos de gestão essenciais nas atividades de monitoramento e avaliação do desempenho das organizações, assim como de seus projetos, programas e políticas, pois permitem acompanhar o alcance das metas, identificar avanços, melhorias de qualidade, correção de problemas e necessidades de mudança. 1

recursos que ela utilizará e o que se espera de cada área de negócio. Expor os objetivos por meio de um texto ajuda a organização a comunicar os itens que devem alcançar, o prazo, os recursos e as restrições impostas, porém, ao expor os objetivos traduzidos por indicadores de desempenho, a comunicação fica muito mais clara e precisa. Termos qualitativos de uma frase podem confundir e ser interpretados de diferentes maneiras pelos servidores. Valores numéricos são mais diretos e não necessitam de interpretações subjetivas.

▪ Motivação dos servidores : motivar deriva da palavra mover. Basicamente, trata-se de tirar alguém de sua “zona de conforto” atual em direção a outro estado desejado pela organização na implementação de seu planejamento organizacional. Há resistências naturais do ser humano em sair da “zona de conforto” dado que, segundo seu julgamento, é ali que ele despende o mínimo esforço para realizar suas tarefas. Para fazê- los se mover é necessário mostrar o ganho com o novo estado. Assim, alguns cuidados devem ser tomados para que não se comprometam aspectos relevantes, como por exemplo a qualidade, ao se colocar metas de velocidade de produção. Mesmo no setor público ainda ser um desafio a definição de políticas de motivação para os servidores, um sistema de indicadores bem elaborado permite o melhor aproveitamento da qualidade técnica dos servidores, apoiando no direcionamento e definição de metas individuais.

▪ Direcionamento de melhorias na organização: somente corrigir processos para atingir metas estabelecidas internamente pela organização talvez não seja suficiente. Em um contexto de demandas contínuas para o governo e escassez crescente de recursos, é importante investir na melhoria dos processos para se atingir novos padrões de satisfação por parte da sociedade. Saber onde aprimorar nos processos organizacionais é muito importante para a definição de novas metas.

2.4 Sistema de medição de desempenho

Sistema de medição de desempenho (SMD) é definido como um conjunto de indicadores de desempenho organizados em rede que mantêm uma relação válida de causa e efeito entre si. As relações de causa e feito entre os indicadores são guiadas por necessidades específicas dos gestores que, necessariamente, estão alinhadas aos objetivos a serem atingidos.^7

Indicadores interpretam os objetivos da organização e, portanto, medem os efeitos desejados pelos gestores. Considerando que não há efeito sem causa, um SMD deve conter indicadores de cause que levem ao foco do problema apontado pelo indicador do efeito. Diagnosticada a causa, uma ação corretiva pode ser aplicada e, minimizando ou eliminando a causa, o efeito diminui ou desaparece.

Em geral, um gestor tem uma capacidade limitada de analisar informações. Isso mostra que as informações recebidas por ele têm que ser poucas e essenciais, e isso inclui os indicadores de desempenho.

Monitorar ou controlar poucos indicadores significa que o número de objetivos a serem atingidos pelo gestor é limitado, e mais focado ele estará em suas atividades. Assim, poderá saber o que é essencial e o que é circunstancial para o negócio.

Em um SMD sugere-se no máximo nove indicadores para gestores em cargo estratégico; para gestores em cargos intermediários recomenda-se no máximo sete indicadores; e para cargos operacionais não mais do que cinco indicadores. Vale lembrar que, neste caso, menos vale mais.

Elaborar um SMD não é uma tarefa muito complicada, mas o calcanhar de Aquiles é o sistema para coleta de dados. Se os dados estiverem errados, qualquer cálculo baseado neles estará errado também e, pior, levará o gestor a tomar decisões erradas. O sistema de informações é geralmente a parte mais cara de um SMD, pois é necessária uma infraestrutura tecnológica que garanta a coleta e armazenamento das informações, bem como pessoal qualificado para atuar em todo o processo.

Gaps devem levar a ações corretivas: Se o valor atual de um indicador de desempenho não atingiu sua meta (ou seja, há um GAP, ou lacuna), o gestor deve colocar uma ação corretiva no processo produtivo. Caso um determinado indicador não induza ações corretivas, qualquer que seja seu valor, isso significa que a informação trazida por ele é irrelevante. A melhor decisão é descartá-lo.

Vamos supor que o sistema de indicadores tenha sido brilhantemente concebido, mas os indicadores somente possam ser coletados nos censos do IBGE, a cada dez anos. Ou que os indicadores sejam coletados a partir de fontes não confiáveis, ou que ninguém sequer saiba como os indicadores possam ser coletados. Imagine ainda a hipótese de uma organização manter um sistema de medição com indicadores de apenas metade de suas unidades, ou de não haver indicadores relacionados a boa parte das políticas públicas sob sua responsabilidade.

Para que isso não aconteça, é importante que um sistema de medição de desempenho seja:

▪ Abrangente : todas as unidades precisam ser direta ou indiretamente representadas por um ou mais indicadores (o que não significa dizer que estamos avaliando o trabalho das unidades, ou que cada unidade deva ter seu próprio indicador).

▪ Balanceado : a organização deve ser integralmente representada pelo sistema de medição, de forma equilibrada.

Importante destacar que os indicadores funcionam como ferramentas que conduzem ao comportamento desejado. Eles precisam dar aos servidores o direcionamento necessário para atingir os objetivos institucionais.

Indicadores não podem ser escolhidos de forma isolada, cada área definindo os seus. É, igualmente importante, que os indicadores façam a diferença na execução de projetos e

2.6 Tipos de indicadores

A literatura apresenta diversas formas de classificar a tipologia dos indicadores. A classificação adotada pelo Comitê Temático de Medição do Desempenho da FNQ divide em indicadores de esforço e de resultados, cabendo ressaltar que também é muito utilizada uma denominação em língua inglesa: drivers (indicadores de esforço) e outcomes (indicadores de resultados). 10

- Indicadores de Esforço

É um indicador que pode ser gerenciado pela cobrança, já que exige um esforço específico capaz de construir outro indicador maior. São conhecidos como indicadores construtores, de esforço, drivers ou direcionadores. Eles relatam como o trabalho é executado através de métricas óbvias e objetivas. Um desafio para estabelecer indicadores de esforço é que, para calculá- los, são necessárias informações que na maioria das vezes não estão na base de dados da organização, ou seja, o numerador e denominador do indicador exigirão regras de contagem e novos instrumentos para serem coletados.

- Indicadores de Resultado

É um indicador menos gerenciável e que se origina da expectativa do gestor. São os indicadores de esforço que constroem os indicadores de resultados. Ambos são imprescindíveis para medir o desempenho de uma organização. São conhecidos como indicadores construídos, outcomes ou de controle.

Mas por que essa classificação, em indicadores de esforço e de resultado, é interessante? Porque, se um objetivo foi mensurado com indicadores de resultado e de esforço, caso os resultados pretendidos tenham sido obtidos, é possível concluir se o foram como decorrência das práticas de gestão utilizadas. Trata-se de uma forma proativa de monitorar o desempenho, pois não podem ser considerados resultados de fato aqueles que não foram alcançados como decorrência de práticas de gestão. Um sistema de medição que possui apenas indicadores de esforço reflete falta de objetividade, maior preocupação com os meios que com os resultados. Se possui apenas indicadores de resultados reflete falta de conexão entre a estratégia, os meios e os resultados.

Na díade esforço-resultado, o Princípio de Pareto – também conhecido como Princípio 80/20 ou Lei 80/20 – é uma das ferramentas mais importantes para guiar os procedimentos organizacionais. Idealizada por Vilfredo Pareto, economista, sociólogo e cientista político do século 19, a Lei 80/20 afirma que 80% dos nossos resultados são originários de somente 20% dos nossos esforços. Esse fenômeno, inerente a relações de causa e consequência em geral, está presente em praticamente todos os aspectos da vida pessoal e também da rotina corporativa.

Assim, podemos concluir que um sistema de medição deve ser formado por indicadores de resultado e de esforço e que a mescla entre eles é a chave para a estruturação de um sistema balanceado.

Tabela 1 | Paralelo entre indicadores de resultados e indicadores de esforço

INDICADORES DE RESULTADOS INDICADORES DE ESFORÇO Permite a mensuração do efeito após um certo tempo

Permite a verificar a causa antes de o efeito acontecer

Possibilitar a verificação se os objetivos estão sendo atingidos

Possibilita verificar se os planos relacionados aos fatores críticos de sucesso estão sendo cumpridos

Adequado para a medição final do alcance dos objetivos

Adequado para a medição de planos de ação, projetos e iniciativas

Os indicadores de esforço estão associados aos insumos e processo de trabalho, ou seja, aos recursos do processo e aos esforços envolvidos para o alcance dos resultados preten- didos. Já os de resultado estão associados às consequências das ações, medem o efeito dos produtos e serviços oferecidos. Essa é uma classi ficação importante quando há necessidade de priorizar indicadores.

Figura 1 | Indicadores de esforço e de resultado

INSUMO PROCESSO PRODUTO IMPACTO

Pessoas e Recursos Eficiência^ Eficácia^ Efetividade

Indicadores de esforço Indicadores de resultado

Para entender melhor a Figura, é importante classificar os indicadores em cada uma dessas etapas do processo de trabalho:

▪ Indicadores de insumo: estão relacionados às pessoas e aos recur sos materiais e financeiros utilizados. São indicadores úteis para dimensionar os recursos necessários para a produção (quais e quantos), mas não são capazes de indicar o cumprimento de objetivos finais.

▪ Indicadores de processo: quantificam o desempenho de ati vidades relacionadas à forma de produção de bens e serviços. Medem a eficiência de determinado processo de trabalho, ou seja, o quanto se consegue produzir com os meios disponibilizados e o dispêndio mínimo de recursos e esforços.

▪ Indicadores de produto: demonstram quantitativamente os bens e serviços produzidos como resultado da combinação de um conjunto de insumos, mediante determinado processo. Apontam a eficácia, ou seja, a capacidade de alcançar as metas e objetivos planejados.

▪ Indicadores de impacto: estão relacionados à capacidade de cumprir os objetivos almejados, entregando os produtos com os meios disponibilizados e com o dispêndio mínimo de recursos e esforços. Relacionam-se à efetividade.

3.1 Etapas

Ao definir um conjunto de indicadores é preciso cuidar para que ele não seja excessivamente grande a ponto de atrapalhar as atividades do dia a dia ou confundir o acompanhamento, nem tão reduzido, que não possibilite uma visão sistêmica e a tomada de decisões.

Neste guia, estruturou-se em 10 passos o processo de construção de indicadores:^1

Figura 2 | 10 passos para construir Indicadores

1º Sondagem e pré-diagnóstico

2º Identificação do objetivo da mensuração

3º Estabelecimento de indicadores

4º Validação preliminar

5º Construção de fórmulas

6º Estabelecimento de metas

7º Definição de responsáveis

8º Geração de Sistema de Coleta de Dados

9º Validação Final

10º Mensuração de Desempenho

- 1º passo: sondagem e pré-diagnóstico

Começar um trabalho visando colocar em prática um anseio, um sonho, um desejo de mudança baseado apenas numa opinião, sem informações que comprovem sua pertinência, pode comprometer irremediavelmente uma boa ideia, além de tempo, recursos, motivação, trabalho e, sobretudo, a melhoria pretendida.

Para um desejo de mudança ter possibilidade de se transformar em realidade, antes de tudo, deve-se levantar informações gerais sobre a situação que se pretende modificar, de forma a evidenciar a relevância de se atuar sobre ela. É também o momento de identificar oportunidades e po tencialidades com base na percepção dos benefi ciários e das outras partes interessadas, as quais serão fundamentais para alavancar os trabalhos.

Ao se iniciar um processo de elaboração de indicadores, é extremamente importante a apropriação sobre o contexto, identificando informações sobre experiências anteriores, bem como sobre o perfil do solicitante e das demais partes interessadas.

Neste momento, pesquisas, entrevistas e leituras analíticas são grandes ferramentas para auxiliar na contextualização para a construção dos indicadores, sejam eles para planos estratégicos, intermediários ou operacionais.

- 2º passo: identificação do objetivo da mensuração

É necessário estabelecer o marco zero, ou seja, qual será o ponto de partida, qual será a base de comparação para estabelecer as metas e, ao final, verificar se de fato elas foram alcançadas.

O ponto de partida para a construção de indicadores está no entendimento do que se deseja medir. Definir o que será mensurado constitui a reflexão inicial do processo de criação de indicadores de desempenho. Esse passo pode ser realizado juntamente com o primeiro. Neste Guia, a diferenciação é para reforçar a importância das duas atividades.

A identificação dos objetos de mensuração se dá, por exemplo, a partir do uso da cadeia de valor, por se tratar de um instrumento facilitador da representação do universo de análise, contribuindo para uma melhor compreensão de seu ambiente interno e externo, das expectativas das partes interessadas, bem como para explicitação dos resultados e impactos pretendidos pela organização.

Uma vez identificado o objeto a medir, faz-se necessário seu exame atento e minucioso a fim de abstrair o fator crítico de sucesso, ou seja, os pontos-chave que, quando bem executados, garantem o sucesso do meu objeto de mensuração.

A identificação dos fatores críticos de sucesso nessa etapa farão a grande diferença para estabelecer qual o foco de mensuração o indicador terá.

Um bom começo é fazer os seguintes questionamentos:

Figura 3 | Identificação de Fatores Críticos de Sucesso

Por qual motivo esse objetivo é considerado estratégico?

O que é essencial para que o objetivo seja atingido?

Quais os benefícios diretos pelo seu alcance?

Quais os impactos diretos caso ele não venha a ser alcançado?

MOTIVAÇÃO ESSENCIAL BENEFÍCIOS BENEFÍCIOS

A partir das respostas, começam a surgir o que podemos chamar de fatores críticos de sucesso (FCS), os quais são pontos- chave que, quando bem executados, definem e garantem o desenvolvimento e o crescimento de uma organização, atingindo seus objetivos. Em contrapartida, quando esses mesmos fatores são negligenciados ou ignorados, contribuem, e muito, para o fracasso do que se pretendia alcançar. 7

Eles não devem ser confundidos com critérios de sucesso. Os últimos são os resultados de um projeto ou realizações de uma organização necessários para considerar o projeto um sucesso ou a organização bem-sucedida.

Os fatores críticos de sucesso devem e precisam ser encontrados a partir da análise dos objetivos da organização, auxiliando

▪ representatividade, confiabilidade e sensibilidade : capacidade de demonstrar a mais importante e crítica etapa de um processo, projeto etc. Os dados devem ser precisos, capazes de responder aos objetivos e coletados na fonte de dados correta e devem refletir tempestivamente os efeitos decorrentes das intervenções;

▪ investigativos: os dados devem ser fáceis de analisar, sejam estes para registro ou para reter informações e permitir juízos de valor;

▪ comparabilidade: os indicadores devem ser facilmente comparáveis com as referências internas ou externas, bem como séries históricas de acontecimentos;

▪ estabilidade: procedimentos gerados de forma sistemática e constante, sem muitas alterações e complexidades, uma vez que é relevante manter o padrão e permitir a série histórica; e

▪ custo-efetividade : projetado para ser factível e economicamente viável. Os benefícios em relação aos custos devem satisfazer todos os outros demais níveis. Nem todas as informações devem ser mensuradas, é preciso avaliar os benefícios gerados em detrimento do ônus despendido.

Além disso, é necessário identificar se a escolha do indicador atende às expectativas de seus públicos de interesse, como os órgãos setoriais, órgãos centrais, órgãos de controle e outros possíveis interessados, de modo a assegurar a relevância do indicador proposto.

- 4º passo: validação preliminar dos indicadores com as partes interessadas

Ter os principais indicadores, apresentados de forma simples e compreensível aos interessados, é uma estratégia essencial para orientar decisões, direcionando os recursos com inteligência para as melhorias pretendidas, e também para sensibilizar as pessoas a trabalharem em prol do que for definido.

Selecionar e validar os indicadores com as partes interessadas é fundamental para a obtenção de um conjunto significativo de indicadores que propicie uma visão global da organização e represente o desempenho da mesma. O processo de validação é conduzido vis-à-vis com a análise dos critérios de avaliação do indicador. Durante a validação devem ser levados em consideração os critérios apresentados em 3° passo: estabelecimento de indicadores :

▪ Seletividade ou importância

▪ Simplicidade, clareza, inteligibilidade e comunicabilidade

▪ Representatividade, confiabilidade e sensibilidade

▪ Investigativos

▪ Comparabilidade

▪ Estabilidade

Esses critérios servirão de base para a decisão de manter, modificar ou excluir os indicadores inicialmente propostos.

- 5º passo: construção de fórmulas

Uma vez definido o conjunto de indicadores e, por sua vez, analisados à luz dos critérios (principalmente, seletividade e viabilidade), o passo de construção de fórmulas, estabelecimento de metas e notas pode ser iniciado.

A fórmula descreve como deve ser calculado o indicador, possibilitando clareza com as dimensões a serem avaliadas. A fórmula permite que o indicador seja: inteligível; interpretado uniformemente; compatibilizado com o processo de coleta de dados; específico quanto à interpretação dos resultados e apto em fornecer subsídios para o processo de tomada de decisão.

Nesse sentido, recomenda-se evitar fórmulas de alta complexidade ou que não respondam às questões necessárias. A fórmula do indicador deve, sobretudo, ser de fácil compreensão e não envolver dificuldades de cálculo ou de uso, proporcionando a obtenção de um resultado, numérico ou simbólico, facilmente comparável com valores predeterminados, posteriores ou anteriores, para apoiar o processo decisório.

Cada fórmula possui uma unidade de medida que confere um significado ao resultado. As unidades de medida podem ser diversas, contudo, sua composição deve seguir uma linha de raciocínio, possibilitando a análise do resultado obtido e a comparação com uma série histórica.

As unidades de medida mais comuns são:

▪ Indicadores simples: representam um valor numérico (uma unidade de medida) atribuível a uma variável. Normalmente, são utilizados para medir eficácia, ou seja, a quantidade de determinado produto ou serviços entregue ao beneficiário. Não expressa a relação entre duas ou mais variáveis.

Exemplos:

números de alunos matriculados no ensino médio;

número de alunos aprovados no ensino fundamental;

número de novos postos de trabalhos criados.

▪ Indicadores compostos: os indicadores compostos expressam a relação entre duas ou mais variáveis. De acordo com as relações entre as variáveis que os constituem e a forma como são calculadas, são denominados de maneiras específicas. Assim, têm-se quatro tipos de indicadores compostos:

▪ Proporção ou coeficiente: é a divisão entre duas medidas, sendo o numerador o número de casos específicos e o denominador o número total do conjunto. Pode ser usada para estimar a probabilidade de um evento.