Baixe Análise da utilização de cartaz de controle em avaliações institucionais e outras Resumos em PDF para Gestão da Qualidade, somente na Docsity!
Análise da utilização de Cartas de Controle em Avaliações
Institucionais
Alice Santos de Oliveira Engenharia de Produção - UFRN Lucas Vinicius Garcia Alves Engenharia de Produção - UFRN Fernanda Cristina Barbosa Pereira Queiroz Engenharia de Produção - UFRN Resumo: Este estudo avalia a evolução da qualidade do ensino no departamento de Engenharia de Produção da UFRN, utilizando dados de avaliações institucionais coletados no SIGAA em dois períodos distintos. Foram analisadas as notas atribuídas por alunos e professores. Os resultados, analisados no software Minitab, indicam uma melhora significativa na avaliação dos professores pelos alunos ao longo do tempo. Disciplinas com avaliações iniciais menos positivas apresentaram, em geral, uma evolução positiva no segundo período. Conclui-se que, de modo geral, a qualidade do ensino no departamento apresentou uma tendência de melhoria. Palavras-chave: Cartas de controle. Qualidade na educacional, Cartas de controle I-AM, Análise de dados educacionais.
Analysis of the use of Control Charts in Institutional Assessments
Abstract: This study evaluates the evolution of teaching quality in the Production Engineering department at UFRN, using data from institutional evaluations collected at SIGAA in two distinct periods. The grades given by students and teachers were analyzed. The results, analyzed using Minitab software, indicate a significant improvement in students' evaluation of teachers over time. Disciplines with less positive initial evaluations showed, in general, a positive evolution in the second period. It is concluded that, in general, the quality of teaching in the department showed an improvement trend. Keywords: Control charts. Educational quality, I-AM control charts, Educational data analysis.
1. Introdução O ensino superior é um grande formador de profissionais, que impulsionam um país para um futuro promissor e mais próspero, e para isso, é importante ter uma rede de ensino qualificada, um dos aspectos mais importantes para fazer esse nível de ensino se manter em um patamar elevado é a avaliação dos professores feita pelos alunos, nela é possível que os alunos façam uma análise completa da disciplina e do professor que a ministrou, julgando aspectos que compõe a postura profissional do professor e sua atuação didática, além de uma seção para autoavaliação do aluno. Isto permite promover uma análise do que está sendo feito e apontar erros e acertos. Na Universidade Federal do Rio Grande do Norte não é diferente, através de dados coletados das avaliações dos professores, são
feitas análises, para verificar o desempenho dos docentes no decorrer dos períodos, se houveram mudanças no sentido de melhora ou não dos professores em suas determinadas matérias. A avaliação da docência é um processo colaborativo que envolve professores, alunos e a instituição. Os docentes participam ativamente do processo, realizando a autoavaliação e avaliando as turmas. Os alunos realizam autoavaliação após o término do semestre e estendem-se até o último dia da rematrícula, no entanto a rematrícula está condicionada à realização da avaliação docente. A avaliação da docência é referida pela resolução N° 131/2008 do Conselho Superior de Ensino, Pesquisa e Extensão (CONSEPE), da Universidade Federal do Rio Grande do Norte (UFRN), que institui normas disciplinares em relação à avaliação docente, reafirmando, dessa forma, a importância da discussão do assunto no meio acadêmico. Os resultados são apresentados nos Conselhos de Centro e Unidade Acadêmica Especializada (CONSEC's), com o objetivo de estimular a participação dos Departamentos na definição de ações para o aprimoramento da graduação. Essas ações devem ser incorporadas aos planos trienais e submetidas à aprovação da PROPLAN. A metodologia da avaliação da docência é baseada em um instrumento que contempla três eixos principais: postura profissional, atuação didática e autoavaliação do aluno, além de uma avaliação da infraestrutura. Tanto professores quanto alunos respondem a itens semelhantes, o que permite uma análise comparativa dos dados e uma avaliação mais precisa da prática docente Essa integração permite uma avaliação abrangente e fornece subsídios para a melhoria contínua do ensino, ou mesmo reestruturação do processo educacional caso necessário, de forma que oriente melhor os professores quanto a metodologia que deve ser empregada, além disso, pode ser feita a análise, se os alunos estão conseguindo acompanhar a programação curricular e também verificar se os métodos utilizados estão melhorando o seu desenvolvimento, como evolução ensino, pesquisa, extensão e a sua gestão como um processo de melhoria contínua. O presente estudo aprofundou-se somente em duas variáveis, autoavaliação docente e avaliação do aluno para o professor. Nesse sentido, a pesquisa é importante visto que nos últimos anos tem sido um assunto amplamente discutido nas Universidades, com o objetivo de melhorar a qualidade do ensino. Ao colocarmos o professor como único e principal responsável pela avaliação ensino-aprendizado torna o processo injusto para ambas as partes. É nesse contexto que a avaliação institucional se torna uma ferramenta crucial, ao passo que objetiva responder à questão: "Através da análise das cartas de controle, é possível identificar padrões de divergência entre a autoavaliação docente e a avaliação dos alunos sobre os professores? Quais as implicações desses padrões para a qualidade do ensino?”, dessa maneira, colabora para um cenário bibliográfico que visa facilitar a tomada de decisão com o objetivo de tornar o ensino excelente e mais perto de um modelo ótimo. Como objetivo geral, a pesquisa se propõe a compreender sobre a avaliação institucional realizada pelo aluno com relação ao professor. Já como objetivos específicos, pretende-se analisar os desvios entre a nota dada pelo aluno e a autoavaliação docente, como também mostrar a possibilidade do uso da Carta de Controle de Variáveis como auxílio para a proposição de medidas de ajustes e intervenção aos problemas identificados. Dito isso, essa dinâmica de avaliação de professores mostra-se importante no processo de desenvolvimento, juntamente com outras medidas podem contribuir para uma mudança significativa e positiva do ensino, mostrando a visão do docente e trazendo melhoria de serviços prestados por esse indivíduo fundamental no processo.
2. Fundamentação teórica 2.1 Avaliação docente
em subgrupos, o administrador usa uma carta I-AM para monitorar a média e a variação dos tempos de cirurgia. Figura 1: Carta de controle I-AM, modelo. Fonte: Autores (2024) Os pontos variam aleatoriamente ao redor da linha central e estão dentro dos limites de controle. Nenhuma tendência ou padrão estão presentes. A quantidade de tempo para realizar cirurgia de hérnia e a variação nos tempos são estáveis.
3. Metodologia Os resultados são publicados no SIGAA, oferecendo diferentes níveis de detalhamento. Professores acessam seus resultados individuais. Gestores, como chefes de departamento e diretores, têm acesso a relatórios consolidados. Outra funcionalidade permite que os alunos consultem as médias gerais dos professores. Através de uma coleta de dados no SIGAA UFRN, realizou-se uma análise da avaliação da docência nos períodos 2016.2 e 2023.2, por meio da pesquisa quantitativa, com o intuito de entender os cenários nos respectivos períodos apontados. Em seguida, foi feito uma análise criteriosa através da aplicação da Carta de Controle variável para entender os comportamentos componentes da amostra e verificar se com o decorrer do tempo houve melhorias significativas, nas perspectivas dos alunos, resultado de novas medidas adotadas pelos docentes após resultados de semestres anteriores. A análise limitou-se a comparar dois períodos e a comparação entre as notas autoavaliativas dos professores e avaliação dos alunos em relação aos professores. Com a finalidade de delimitar os materiais de pesquisa, isto é, publicações de artigos acadêmicos, nas bases de dados do Capes periódico, ABEPRO - Associação Brasileira de Engenharia de Produção, CONBREPO e Google Scholar. 4. Resultados A seguir são apresentadas as tabelas da página virtual do SIGAA onde foram coletadas as informações: Resultado sintético da avaliação Institucional dos Docentes no departamento de engenharia de produção no período de 2016.
Figura 2: Avaliação dos docentes do Dep. de Eng. de Produção de 2016. Fonte: Autores (2024) Resultado sintético da avaliação Institucional dos Docentes no departamento de engenharia de produção no período de 2023.2. Figura 3: Avaliação dos docentes do Dep. de Eng. de Produção de 2023.
Fonte: Autores (2024) A partir desse gráfico, pode-se concluir que existem 2 matérias que obtiveram uma baixa avaliação dos alunos, são elas PRO1998 - Projeto de Trabalho de Conclusão de Curso e PRO1103 - Estratégia de Produção, consecutivamente, ou seja, das 51 matérias que foram realizadas análises, apenas 2 fugiram da área que o desvio padrão delimitou, visualmente entende-se que são outliers, são matérias que precisam de uma atenção maior de seus docentes para entregar um resultado mais satisfatório aos seus alunos. Uma outra análise que pode colaborar com a linha de pensamento feita acima é a análise das cartas de controle sobre a diferença entre as notas que os alunos deram aos professores e as notas que os professores deram a eles mesmos. Calculou-se a diferença entre ambas as notas, e trabalhou-se novamente com as cartas de controle I-AM. É possível verificar o resultado abaixo: Figura 5: Carta de controle I-AM para desvio (Dados de 2016.2) Fonte: Autores (2024) A partir desse ponto de vista, consegue-se notar que o gráfico apresentado anteriormente segue o mesmo comportamento da análise das cartas de controle das notas dos alunos, mas nesse caso ele mostra que além da confirmação da análise anterior, ele ressalta a alta diferença entre as avaliações dos professores e alunos, destacando também a matéria de PRO1401 - Planejamento e Gestão dos Processos Produtivos no turno da tarde e a matéria ministrada à noite.
Após a análise feita no período de 2016.2, foi executada a análise para o período de 2023.2, período de dados mais recente em relação a data atual do artigo. Seguiu-se os mesmos procedimentos dos dados de 2016.2, tratando-os no Minitab e seguidos do estudo dos gráficos gerados, focando a atenção as matérias que resultaram uma avaliação não tão positiva por parte dos alunos em 2016.2. No gráfico a seguir e nos dados coletados pode-se ver que os pontos 13 e 17 que são Projeto de Trabalho de Conclusão de Curso e Estratégia de Produção consecutivamente obtiveram uma avaliação com notas maiores, visualmente isso fica bem claro, pois os pontos estão acima da linha média. Figura 6: Carta de controle I-AM (dados de 2023.2) Fonte: Autores (2024) Ao mesmo tempo que foi feita essa comparação de um período para outro, também foi notório que existe um novo outlier no ponto 32, trata-se da matéria PRO1301 Economia para Engenharia de Produção, no qual a nota dos alunos perante a matéria ministrada foi 8,18. e em 2016.2 a avaliação resultou em 9.12, ou seja, pode-se ver que houve uma queda na comparação dos semestres. Após essa análise, realizou-se a diferença entre a nota do aluno com a nota do professor, resultando no gráfico a seguir, onde é possível perceber que há um outlier no ponto 32. Carta de controle I-AM para desvio (Dados de 2023.2)
importante ressaltar que a avaliação docente é um processo complexo e multifacetado, e os resultados obtidos neste estudo devem ser interpretados com cautela. Referências CONSEPE. RESOLUÇÃO No131/ 2008-CONSEPE, de 02 de setembro de 2008.. Acesso em: 9 out. 2024. MARTINEZ, L. R. M. et al. Avaliação institucional no ensino superior privado na percepção de professores e coordenadores. Revista de Educação PUC-Campinas, Campinas, v. 25, p. 87-97, nov. 2008. Minitab, LLC. Suporte ao Minitab. Disponível em: https://support.minitab.com/pt- br/minitab/help-and-how-to/quality-and-process-improvement/control-charts/how- to/variables-charts-for-individuals/i-mr-chart/before-you-start/overview/. Acesso em 21 out.
MONTGOMERY, D. C. Introdução ao controle estatístico da qualidade. PEREIRA, R. B. et al. Aplicação de Ferramentas da Qualidade no Setor de Metalurgia em uma Tapeçaria Automotiva. 29 jan. 2023. PRODANOV, C. C.; FREITAS, E. C. Metodologia do trabalho científico: métodos e técnicas da pesquisa e do trabalho acadêmico. Novo Hamburgo: Feevale, 2013 UFRN. RELATÓRIO DE AVALIAÇÃO DA DOCÊNCIA 2016.1 UFRN. Acesso em: 7 out.
