LOS EFECTOS DE LA FORMACIÓN CONTINUA EN LA COMPETENCIA EN EVALUACIÓN DE LOS PROFESORES

Resumen: El presente estudio tuvo como objetivo analizar el impacto de la formación continua en evaluación en la competencia de los profesores, especialmente en relación a las deficiencias frecuentemente observadas en la formación inicial. La evaluación es una habilidad esencial para los docentes, pero muchos informan sentirse despreparados para enfrentar los desafíos de esta tarea compleja y multifacética. Participaron 253 profesores que enseñan en la Zona Pedagógica de Lisboa y la Península de Setúbal (Portugal), quienes respondieron al Cuestionario de Evaluación de Alfabetización en Evaluación (QALA), un instrumento que evalúa varios aspectos de la competencia en evaluación, incluyendo la comprensión de los objetivos educativos, la elección adecuada de métodos e instrumentos de evaluación, así como la interpretación y utilización de los resultados obtenidos para mejorar el aprendizaje de los alumnos. Los resultados destacan la importancia de la formación continua en evaluación. Los profesores que asistieron a cursos específicos en evaluación obtuvieron resultados significativamente superiores a los profesores que no participaron en tales formaciones, demostrando mayor confianza y competencia en la realización de evaluaciones formativas y sumativas. Estos resultados respaldan la necesidad de invertir en programas de desarrollo profesional que se centren en la capacitación de los profesores en evaluación. Las instituciones educativas y los formuladores de políticas deben priorizar la oferta de cursos y talleres específicos para mejorar las habilidades de evaluación de los docentes, abordando las deficiencias identificadas en la formación inicial.

Palabras clave: evaluación, competencia en evaluación, formación continua de profesores, profesores de educación primaria y secundaria.

Introdução

O processo de avaliação dos estudantes sempre se assumiu como uma das mais importantes responsabilidades dos professores, bem como uma das tarefas onde mais tempo é despendido (Mertler, 2003; Ramesal, 2011). Assim, é a posse de conhecimentos e capacidades em avaliação constituem-se como elementos fundamentais que deverão estar na posse de todos os professores. De uma forma bastante genérica, ao conjunto de conhecimentos e capacidades em avaliação dá-se o nome de literacia em avaliação.

O conceito de literacia em avaliação foi apresentado primeiramente por Richard Stiggins (1991) como sendo o conhecimento aprofundado das questões relacionadas em avaliação. Ainda segundo Stiggins, os educadores / professores com altos níveis de literacia em avaliação sabem o que avaliar, a razão de avaliar, como avaliar, os problemas relacionados com a avaliação e como evitar que esses mesmo problemas ocorram (Stiggins, 1995). Brown (2008), por sua vez, considera a literacia em avaliação como sendo a habilidade de desenhar, selecionar, interpretar e utilizar adequadamente a informação resultante do processo de avaliação, de forma a possibilitar a tomada de decisões educacionais adequadas.

A investigação realizada neste domínio da avaliação tem revelado dois aspetos importantes e igualmente preocupantes. Por um lado, mostra-nos que há uma preparação inadequada dos professores para avaliar as aprendizagens dos estudantes (DeLuca & Klinger, 2010; Koh, 2011; Xu & Brown, 2016) e, por outro, que os professores, independentemente da experiência letiva, revelam uma falta de confiança considerável em avaliar os alunos de forma adequada e precisa (Koh, 2011; Yamtim & Wongwanich, 2014; Volante & Fazio, 2007). Isto ocorre devido a uma clara lacuna de conteúdos em avaliação na formação inicial de professores, bem como uma falta de estudos em avaliação que permitam aos professores aprofundarem os seus conhecimentos nesta área (DeLuca, Chavez, Bellara & Cao, 2013). Estes aspectos ajudam a explicar as razões pelas quais uma grande parte dos professores tem revelado uma fragilidade importante para desenvolver e aplicar formas de avaliação diversificadas, bem como uma incapacidade para interpretar os dados resultantes da aplicação dos instrumentos de avaliação (Koh, 2011). Mertler (2003) também sugere que na formação inicial, os professores em formação raramente frequentam programas que lhes ensinem, por exemplo, o papel da avaliação no processo de ensino e aprendizagem ou abordagens que tenham impactos significativos na aprendizagem. Esta ideia é reforçada por Xu e Brown (2016) quando referem que muitos programas de formação inicial de professores oferecem apenas uma disciplina introdutória às questões relacionadas com a avaliação ou, em alguns casos, nem sequer oferecem tal disciplina. Tais lacunas têm como principal consequência o uso de más práticas na avaliação, levando os professores, em muitos casos, a avaliar seus estudantes de forma semelhante à forma como eram avaliados enquanto estudantes (McGee & Colby, 2014).

No entanto, e como já referido, a tarefa de avaliar é uma das principais responsabilidades dos professores, já que é um processo fundamental para verificar e melhorar as aprendizagens dos alunos (Hailaya, Alagumalai & Ben, 2014, McGee & Colby, 2014). A literacia em avaliação assume-se assim como uma das principais características que todos os professores deverão desenvolver, mesmo antes do início da sua carreira docente, ou seja, a partir da sua formação inicial. Newfields (2006) destaca três razões pelas quais a literacia em avaliação é tão importante. A primeira respeita-se à universalização da avaliação em contexto escolar, ou seja, a avaliação está presente na grande maioria dos sistemas escolares mundiais. Este fator leva a que os professores, em todo o mundo, consumam grande parte do seu tempo em atividades ligadas, direta ou indiretamente, à avaliação. Em segundo lugar, Newfields (2006) destaca a necessidade de compreender a literatura educacional vocacionada para as questões relacionadas com a avaliação. Uma maior familiaridade com os conceitos e com os processos estatísticos inerente à avaliação, permite aos professores uma maior facilidade em se manterem atualizados nesses domínios, tendo uma maior capacidade em introduzir novos métodos que melhorem a aprendizagem dos alunos e, consequentemente, a sua avaliação. Por último, o autor refere que um professor com elevados níveis de literacia em avaliação consegue comunicar, de forma mais eficaz, os resultados escolares aos alunos (feedback).

Gottheiner e Siegel (2012) destacam outro aspecto que permite uma melhor perceção da importância da literacia em avaliação. Os autores afirmam que a utilização de ferramentas diversificadas de avaliação deverá assumir-se como umas das principais características de um professor com literacia em avaliação. Assim, professores com tais características conseguem adotar e desenvolver instrumentos mais adequados e consentâneos com os objetivos educacionais a serem alvo de avaliação (Gottheiner & Siegel, 2012, p. 534), tornando-a mais justa e fiável. Malone (2013) refere ainda que uma avaliação forte e devidamente implementada fornece a professores, a estudantes e a todas as partes interessadas, informações importantes sobre o desempenho dos estudantes e sobre em que medida os objetivos educacionais estão, ou não, a ser cumpridos. Assim, a avaliação pode e deve integrar-se com o ensino, formando uma relação na qual informa e melhora o ensino e vice-versa. Contudo, esta relação de reciprocidade não pode florescer quando os professores não dispõem de formação suficiente para realizar todas as ações implicadas numa boa avaliação. Consequentemente, um baixo nível de literacia em avaliação põe em causa tanto a avaliação dos estudantes, como todo o processo de ensino e aprendizagem. Quanto melhor os professores dominarem as noções e os processos que conduzem à tomada de decisões, no respeitante à avaliação dos alunos, melhor serão as escolhas que o professor fará em benefício deles. Popham (2018) refere mesmo que, à partida, o sucesso de um professor aumenta quanto maior for a sua literacia em avaliação, pois evita erros típicos que normalmente são cometidos pelos professores que possuem baixos níveis de literacia em avaliação. Os erros típicos, a que se refere Popham (2018), encaixam-se normalmente nas seguintes categorias: a) Utilização de instrumentos de avaliação inadequados; b) utilização incorreta de instrumentos de avaliação adequados; c) não utilização de instrumentos de avaliação formativa.

A utilização de instrumentos de avaliação inadequados assume-se como um dos erros mais graves cometidos pelos professores com baixos níveis de literacia em avaliação. Popham (2018) refere que um erro comum é a utilização de testes estandardizados para avaliar as aprendizagens dos estudantes já que, segundo o autor não existem evidências que tais testes sejam apropriados para tão importante missão avaliativa. O segundo erro identificado por Popham ocorre quando instrumentos de avaliação desenvolvidos, para um determinado propósito, são utilizados para outros fins. Embora nada impeça um professor de encontrar novos usos para um instrumento de avaliação, é necessário garantir que esse instrumento é adequado ao fim a que se destina, caso contrário a informação recolhida poderá ser enviesada. Um exemplo ilustrativo deste tipo de erro poderia ser a aplicação de um teste a um aluno com necessidades educativas especiais que não tenha em conta as suas características e dificuldades. Embora o teste possa estar correto e adequado à generalidade dos alunos, pode não o ser para o aluno em questão. A terceira categoria de erro está intimamente relacionada com a avaliação formativa. Sendo reconhecido que a avaliação formativa é a que mais contribui para o desenvolvimento das aprendizagens dos estudantes, quando não é aplicada, ou é incorretamente utilizada, não produz os efeitos que deveria produzir. Professores com altos níveis de literacia em avaliação conhecem o valor e a utilidade da avaliação formativa, pelo que tomam melhores decisões sobre quais instrumentos deverão utilizar com vista ao desenvolvimento das aprendizagens dos estudantes. Já os professores com baixos níveis de literacia em avaliação tendem a não utilizar, ou a usar de forma incorreta, este tipo de avaliação (Koh. 2011; Yamtim & Wongwanich, 2013).

Considerando, por um lado, a importância que a literacia em avaliação tem em todo o processo de ensino e aprendizagem e, por outro, as lacunas evidenciadas por parte dos professores neste domínio (em virtude de uma formação inicial que em muitos casos negligencia esta área) muitos são aqueles que sentem a necessidade de aprofundar os seus conhecimentos e desenvolver competências em avaliação frequentando, por exemplo, cursos de formação contínua.

Neste contexto, considera-se a formação contínua como todas as formas deliberadas e organizadas de aperfeiçoamento profissional do docente, seja através de palestras, seminários, cursos, oficinas ou outras propostas (Santos & Silva, 2009). Contudo, há que considerar que a formação contínua não se trata apenas de algo que acontece eventualmente, nem de um instrumento destinado a suprir deficiências de uma formação inicial mal feita ou de baixa qualidade, e sim, deve ser sempre parte integrante do exercício profissional do professor (Laranjeira, Abreu, Nogueira & Soligo, 1999). Para Libâneo (1998) a formação contínua de professores deverá levá-los a uma ação reflexiva. Só assim é que os professores poderão reformular a sua prática, repensando os pontos positivos e negativos ocorridos durante o desenrolar das atividades letivas. Dito de outra forma, a formação contínua deve permitir aos professores desenvolver as suas competências e capacidades com o objetivo de reorientarem as suas práticas atuais, em consequência da introdução de novas metodologias de ensino, da diversificação dos contextos de trabalho, de mudanças nos procedimentos ou expectativas de gestão ou como resultado de uma mudança de funções na escola (Logan & Sachs, 1988).

O propósito do presente artigo é a análise dos impactos que a formação contínua em avaliação tem, por um lado, nas perceções dos professores acerca dos seus conhecimentos e capacidades em avaliação e, por outro, dos seus níveis de literacia em avaliação. Com os resultados alcançados, pretende-se demonstrar que a frequência de cursos de formação contínua em avaliação melhora significativamente tanto a perceção que os professores têm dos seus conhecimentos e capacidades em avaliação, como os seus níveis de literacia em avaliação.

Método

Participantes

Participaram neste estudo 253 professores do ensino básico e ensino secundário a lecionar na zona pedagógica de Lisboa e Península de Setúbal (Portugal). Conforme se poderá constatar na Tabela 1, a grande maioria dos participantes é do sexo feminino (79.45%). Relativamente à área disciplinar dos professores participantes, verifica-se que a área das Línguas é a mais representada (27.21%), seguindo-se os professores dos 1º Ciclo do Ensino Básico (22.07%), os professores de Matemática e Ciências Experimentais (21.03%), de Ciências Sociais e Humanas (15.17%) e, por último, de Expressões (14.48%). Mais de metade dos participantes leciona no 3º Ciclo do Ensino Básico e Secundário (51.02%), seguindo-se os professores do 2º Ciclo (27.21%) e os professores do 1ºCiclo (21.77%). Quanto à experiência letiva, a maioria possui entre 7 e 25 anos de serviço (52.96%), seguindo-se os participantes com entre 26 e 35 anos (28.46%) e com mais de 35 anos (10.67%). Por último, refira-se que a grande maioria dos professores (73.12%) admitiu ter frequentado cursos de formação contínua em avaliação.

Tabela 1

Dados gerais dos participantes

Variáveis		N	%
Sexo	Feminino	201	79.45
Sexo	Masculino	52	20.55
Área disciplinar	1º Ciclo do Ensino Básico	64	22.07
	Matemática e Ciências Experimentais	61	21.03
	Ciências Sociais e Humanas	44	15.17
	Línguas	79	27.24
	Expressões	42	14.48
Nível de Ensino	1º Ciclo do Ensino Básico	64	21.77
	2º Ciclo do Ensino Básico	80	27.21
	3º Ciclo do Ensino Básico e Secundário	150	51.02
Experiência letiva (anos)	6 ou menos	20	7.91
	7-25	134	52.96
	26-35	72	28.46
	Mais de 35	27	10.67
Formação contínua em avaliação	Sim	185	73.12
Formação contínua em avaliação	Não	68	36.88

Instrumento

Para a análise das perceções dos professores em relação aos seus conhecimentos e capacidades em avaliação, foi utilizado o Questionário de Aferição da Literacia em Avaliação (QALA) desenvolvido por Almeida (2021). O QALA é composto por quatro partes. A primeira corresponde à recolha de informações gerais dos respondentes. A segunda parte visa a recolha de informações sobre as perceções dos professores face aos seus conhecimentos e capacidades em avaliação, sendo constituída por 20 itens do tipo Likert com uma escala que varia de 1 (Discordo Totalmente) a 5 (Concordo Totalmente). A terceira parte é composta por 40 itens de caráter dicotómico (Verdadeiro/Falso) e visa recolher informações sobre os conhecimentos que os professores têm em relação à avaliação em contexto de sala de aula. Já a quarta parte é constituída por 20 itens de escolha múltipla, e visa recolher informações sobre os conhecimentos dos professores em avaliação face a 5 cenários hipotéticos.

Os itens presentes na segunda, terceira e quarta partes, estão organizados em torno 4 quatro domínios da literacia em avaliação, inspirados na proposta de Abell e Siegel (2011), nomeadamente:

Conhecimentos sobre objetivos e funções da avaliação: Procura-se verificar os conhecimentos sobre os objetivos e funções da avaliação, em geral, e da avaliação de diagnóstico, formativa e sumativa em particular. Inclui-se ainda nesta dimensão o conhecimento sobre as diferenças entre avaliação criterial e normativa;
Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar: Neste domínio importa verificar o conhecimento dos professores sobre os diferentes tipos de currículo, os documentos curriculares em vigor em Portugal (as Aprendizagens Essenciais e o Perfil do Aluno à Saída do Ensino Obrigatório), a legislação em vigor no domínio da avaliação no Ensino Básico e Secundário, o conhecimento sobre domínios de complexidade cognitiva como sejam, por exemplo, a Taxonomia de Bloom, proposta por Bloom (1956), a taxonomia de Marzano, proposta por Marzano (2000), e a Depth-of-Knowledge, proposta por Webb (1997), assim como o conhecimento de ferramentas de auxilio à construção de instrumentos de avaliação;
Conhecimentos sobre construção e utilização de instrumentos de avaliação diversificados: Em especial, instrumentos de avaliação de diagnóstico, formativa e sumativa. Importa também verificar os conhecimentos dos professores na construção de diferentes itens de avaliação e a inclusão dos alunos no processo de avaliação;
Conhecimentos sobre interpretação e utilização da informação recolhida no processo de avaliação: Procura-se, nesta dimensão, verificar os conhecimentos e competências dos professores em calcular medidas de localização e dispersão, bem como algumas propriedades psicométricas dos instrumentos de avaliação. Considerou-se igualmente relevante aferir os conhecimentos e competências na construção de instrumentos de registo de avaliação e de utilização do feedback em sala de aula.

O QALA evidenciou boas qualidades psicométricas, aferidas a partir do modelo Rasch, e bons níveis de consistência interna nas Partes 2 e 3, com valores de alfa de Cronbach de 0.94 e 0.74 respetivamente (Almeida, 2023). Já a Parte 4 apresentou valores de alfa de de Cronbach de 0.59 que, sendo um valor modesto, é segundo alguns autores aceitável, satisfatório e suficiente (Taber, 2017).

Procedimentos

Devido à situação pandémica derivada da COVID-19, com as recomendações específicas relativas ao distanciamento social e para evitar aglomerações, não foi possível realizar a recolha de dados presencialmente junto dos professores. Como alternativa, foi desenvolvida uma versão online do QALA (Questionário de Aferição da Literacia em Avaliação) e posteriormente enviada às direções de várias instituições de ensino, tanto do setor público como privado, abrangendo a Zona Pedagógica de Lisboa e a Península de Setúbal, desde que oferecessem pelo menos um dos ciclos de estudos considerados nesta investigação.

Para minimizar os possíveis efeitos do viés da desejabilidade social, assegurou-se o anonimato dos respondentes, não sendo solicitadas quaisquer informações que os pudessem identificar. Adicionalmente, os participantes foram informados de que as suas respostas seriam agrupadas por áreas disciplinares, em vez de serem organizadas por Grupos de Recrutamento, reforçando ainda mais o anonimato dos dados recolhidos.

A adoção de uma abordagem de recolha de dados online apresentou várias vantagens. Além de cumprir as necessárias orientações de saúde e segurança durante a pandemia, facilitou a participação mais abrangente de um conjunto diversificado de educadores, envolvendo várias instituições educativas. Ao eliminar a necessidade de presença física, este método permitiu que professores de áreas remotas contribuíssem para o estudo, garantindo uma amostra mais completa e representativa.

A resposta à versão online do QALA foi encorajadora, com um número significativo de professores a fornecerem informações valiosas sobre a sua literacia em avaliação. A vontade dos educadores em participar neste estudo, mesmo em circunstâncias tão desafiadoras, demonstra o seu compromisso com o desenvolvimento profissional e a dedicação em aprimorar as suas práticas de avaliação.

Em conclusão, a adoção de uma abordagem de recolha de dados online foi uma resposta pragmática à situação pandémica, permitindo um estudo abrangente, apesar dos desafios impostos pelas circunstâncias. A utilização da tecnologia possibilitou uma maior participação e garantiu o anonimato dos respondentes, reforçando a integridade dos dados recolhidos. A cooperação dos professores ao partilharem as suas experiências e perspetivas através deste novo método de recolha de dados exemplifica a resiliência e a capacidade de adaptação da comunidade educativa em tempos de crise.

Análise Estatística

Os dados obtidos foram analisados através de estatísticas descritivas e inferenciais, abrangendo assim uma análise completa. Na análise descritiva, utilizaram-se medidas de tendência central, como a média, a moda e a mediana, bem como medidas de dispersão, incluindo o desvio-padrão, o mínimo e o máximo.

Quanto à análise inferencial dos dados, optou-se por empregar um conjunto de técnicas não-paramétricas. A decisão de utilizar métodos não-paramétricos foi motivada pelo facto de não se verificar o pressuposto de normalidade da distribuição, como evidenciado pelo teste de Kolmogorov-Smirnov. Como tal, recorreu-se ao teste U de Mann-Whitney para duas amostras independentes na análise inferencial, permitindo assim efetuar comparações significativas entre grupos. O nível de significância adotado para a análise inferencial foi de 5% , garantindo assim uma abordagem rigorosa na interpretação dos resultados. Adicionalmente, a ferramenta estatística utilizada para conduzir estas análises foi o programa JASP (versão para Linux), desenvolvido pela Universidade de Amesterdão, que é reconhecido pela sua eficácia e precisão.

A combinação de estatísticas descritivas e inferenciais possibilitou uma compreensão abrangente e aprofundada dos dados recolhidos. As medidas de tendência central forneceram informações sobre os valores centrais dos dados, enquanto as medidas de dispersão destacaram a variabilidade dos resultados. Por outro lado, a análise inferencial permitiu comparar grupos distintos, revelando padrões e relações importantes entre as variáveis estudadas.

A utilização de técnicas não-paramétricas na análise inferencial conferiu robustez e fiabilidade ao estudo, mesmo perante distribuições não-normais. Deste modo, garantindo a precisão dos resultados obtidos, a investigação proporcionou insights valiosos para compreender os fenómenos em análise.

Resultados

Os resultados obtidos na Parte 2 do QALA, que aborda as perceções sobre os conhecimentos e capacidades em avaliação, foram sistematizados na Tabela 2. Ao analisar os dados, é evidente que os professores que frequentaram cursos de formação contínua em avaliação apresentaram valores substancialmente superiores em comparação com aqueles que não participaram desses cursos. Essa tendência é observável tanto em cada um dos domínios considerados, como nos resultados globais.

Ao aplicar o teste de Mann-Whitney, cujos resultados são apresentados na última coluna da tabela, constatou-se que, tanto para o conjunto total dos domínios, como para 3 dos 4 domínios específicos, as diferenças entre os professores com formação contínua em avaliação e os professores sem essa formação são estatisticamente significativas para a variável em análise. A única exceção ocorreu no domínio 3, que trata dos conhecimentos sobre a utilização de instrumentos de avaliação diversificados. No entanto, é importante ressaltar que o valor de p para o domínio 3 ficou muito próximo do nível de significância estatística estabelecido (p=0.054).

Tais resultados são bastante relevantes, pois reforçam a importância da formação contínua em avaliação para o desenvolvimento das competências dos professores nessa área crucial da prática docente. Os resultados indicam claramente que a participação em cursos específicos em avaliação tem um impacto positivo nas perceções dos professores sobre seus conhecimentos e capacidades para avaliar as aprendizagens dos alunos.

Os professores que se dedicaram à formação contínua em avaliação demonstraram uma maior consciência das suas competências e habilidades nesse âmbito, refletindo-se positivamente em sua prática educacional. Esse conhecimento mais sólido sobre avaliação permite-lhes abordar de forma mais eficaz e confiante as tarefas avaliativas em sala de aula, resultando em benefícios significativos para o processo de ensino e aprendizagem.

Tabela 2

Resultados obtidos na Parte 2 do QALA - Perceções sobre os conhecimentos e capacidades em avaliação

	Com formação contínua em avaliação (N=185)		Sem formação contínua em avaliação (N=68)		p-valor
	Média (Máx.=5)	DP	Média (Máx.=5)	DP	p-valor
Domínio 1: Conhecimentos sobre os objetivos e funções da avaliação	4.09	.62	3.87	.54	.005
Domínio 2: Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar	3.88	.62	3.64	.44	.001
Domínio 3: Conhecimentos sobre a utilização de instrumentos de avaliação diversificados	4.32	.57	4.17	.51	.054
Domínio 4: Conhecimentos sobre a interpretação e utilização da informação recolhida no processo de avaliação	3.79	.73	3.54	.67	.010
Resultados globais	4.02	.55	3.80	.44	.001

Já a Tabela 3 sistematiza os resultados obtidos na Parte 3 do QALA, ou seja, sobre os conhecimentos em Avaliação. Dois aspetos sobressaem pela análise dos resultados. Por um lado, há uma evidente lacuna de conhecimentos, por parte dos professores, em relação a vários aspetos da avaliação. De notar, que o domínio com a maior taxa de acertos foi o Domínio 2 (Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar), com cerca de 67,5%, alcançado pelos professores com formação contínua em avaliação. Já o domínio com a menor taxa de acertos foi o Domínio 4 (Conhecimentos sobre a interpretação e utilização da informação recolhida no processo de avaliação), com cerca de 37.2%, alcançado pelos professores sem formação contínua em avaliação. Por outro, é evidente que, à semelhança do sucedido na Parte 2 do QALA, os professores com formação contínua em avaliação apresentam resultados substancialmente superiores aos professores sem esse tipo de formação. No Domínio 1 (Conhecimentos sobre os objetivos e funções da avaliação), a diferença entre estes dois grupos de professores é praticamente inexistente (apenas 0,27 pontos percentuais), sendo que as diferenças entre estes dois grupos não são estatisticamente significativas, verificado a partir do teste de Mann-Whitney.

No domínio 2 (Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar), os professores com formação contínua em avaliação obtiveram uma taxa média de acertos de cerca de 67,5%. Por sua vez, os professores sem formação contínua alcançaram uma taxa média de acertos de cerca de 61,5%, o que representa uma diferença de 6 pontos percentuais. A partir do teste de Mann-Whitney, verifica-se que as diferenças nos resultados alcançados por estes dois grupos de professores são estatisticamente significativas (p=0,008).

No domínio 3 (Conhecimentos sobre a utilização de instrumentos de avaliação diversificados), os professores com formação contínua em avaliação alcançaram uma taxa média de acertos de cerca de 61%, enquanto os professores sem formação contínua alcançaram uma taxa média de acertos próxima de 54,3%, o que representa uma diferença de cerca de 6,7 pontos percentuais entre os dois grupos. A partir do teste de Mann-Whitney, verifica-se que as diferenças nos resultados alcançados por estes dois grupos de professores são estatisticamente significativas (p=0.017).

O domínio 4 (Conhecimentos sobre a interpretação e utilização da informação recolhida no processo de avaliação) é aquele que apresenta os resultados mais modestos, tanto no grupo dos professores com formação contínua em avaliação (média de 45.19% de acertos) como sem esse tipo de formação (média de 37.21% de acertos). A diferença entre os dois grupos em análise é de cerca de 8 pontos percentuais, sendo, portanto, o domínio onde as diferenças são mais expressivas. Este aspeto é confirmado pelo teste de Mann-Whitney, verificando-se que a diferença entre os dois grupos é estatisticamente significativa (p=0.001).

Dadas as diferenças verificadas em cada um dos domínios considerados, também a globalidade da Parte 3 do QALA (Conhecimentos em Avaliação) mostra-nos que são os professores com formação contínua em avaliação que apresentam resultados mais satisfatórios, comparativamente aos professores que não têm esse tipo de formação. Ainda assim, são notórias as fragilidades no domínio dos conhecimentos em avaliação dados os baixos resultados alcançados.

Tabela 3

Resultados obtidos na Parte 3 do QALA - Conhecimentos em Avaliação

	Com formação contínua em avaliação (N=185)		Sem formação contínua em avaliação (N=68)		p-valor
	%	DP	%	DP	p-valor
Domínio 1: Conhecimentos sobre os objetivos e funções da avaliação	66.59	14.63	66.32	13.48	.856
Domínio 2: Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar	67.46	18.84	61.47	16.51	.008
Domínio 3: Conhecimentos sobre a utilização de instrumentos de avaliação diversificados	60.97	19.81	54.26	18.15	.017
Domínio 4: Conhecimentos sobre a interpretação e utilização da informação recolhida no processo de avaliação	45.19	18.18	37.21	15.63	.001
Resultados globais	60.05	13.34	54.82	10.77	.001

Na tabela 4, encontram-se resumidos os resultados alcançados na Parte 4 do QALA, que aborda os Cenários em contexto de avaliação. Diferentemente do que foi observado nas Partes 2 e 3; nesta secção do QALA não é notável um destaque especial dos professores com formação contínua em avaliação, quando comparados com os professores que não frequentaram tais formações. Surpreendentemente, os professores sem formação contínua em avaliação obtiveram melhores resultados em dois domínios específicos - Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar (Domínio 2) e Conhecimentos sobre a utilização de instrumentos de avaliação diversificados (Domínio 3) - além de apresentarem um desempenho superior na globalidade da Parte 4.

Os resultados obtidos e o teste de Mann-Whitney aplicado a esta parte do QALA sugerem que não existe uma relação especial entre os resultados alcançados e a frequência, ou a falta dela, de cursos de formação contínua em avaliação. De facto, não se identificou qualquer domínio com um p-valor estatisticamente significativo, o que indica que a formação contínua em avaliação não parece estar diretamente associada aos resultados obtidos nessa seção específica do questionário. Essa constatação pode levantar questões pertinentes sobre os fatores que influenciam o desempenho dos professores em cenários de avaliação, além da formação contínua. Outros fatores contextuais, a experiência profissional dos docentes ou até mesmo as abordagens pedagógicas adotadas podem ter um papel relevante nesse contexto.

É fundamental interpretar esses resultados com prudência e considerar a complexidade das interações entre diferentes variáveis que podem afetar o desempenho dos professores em cenários de avaliação. Essa diversidade de fatores pode exigir investigações mais aprofundadas e estudos complementares para melhor compreender a dinâmica subjacente a esses resultados aparentemente contraditórios.

Tabela 4

Resultados obtidos na Parte 4 do QALA - Cenários em contexto de avaliação

	Com formação contínua em avaliação (N=185)		Sem formação contínua em avaliação (N=68)		p-valor
	%	DP	%	DP	p-valor
Domínio 1: Conhecimentos sobre os objetivos e funções da avaliação	63.36	21.36	62.06	22.70	.798
Domínio 2: Conhecimentos sobre o currículo e sobre aquilo que é importante aprender e avaliar	62.82	18.67	65.00	17.06	.373
Domínio 3: Conhecimentos sobre a utilização de instrumentos de avaliação diversificados	66.82	20.51	70.3	19.08	.296
Domínio 4: Conhecimentos sobre a interpretação e utilização da informação recolhida no processo de avaliação	45.94	19.82	42.06	18.00	.125
Resultados globais	59.73	13.62	59.85	12.73	.921

Discussion and Conclusions

A formação inicial é a etapa inicial para a construção da profissionalidade docente, no entanto, tem-se verificado que esta é manifestamente insuficiente para preparar os professores para todas as tarefas que terão de enfrentar ao longo das suas carreiras. Uma das áreas que tem sido notavelmente negligenciada na formação inicial é a avaliação escolar. Contudo, é de conhecimento geral que uma grande parte do tempo em sala de aula é dedicada a tarefas direta ou indiretamente relacionadas com a avaliação, quer sejam de caráter formativo ou sumativo.

As deficiências encontradas na formação inicial levam a que os professores apresentem níveis relativamente baixos de literacia em avaliação, o que é preocupante, tendo em conta a importância da tarefa de avaliar em todo o processo de ensino e aprendizagem. Dessa forma, para colmatar as fragilidades sentidas, muitos professores optam pela formação contínua, nomeadamente na área da avaliação pedagógica.

No presente artigo, o principal objetivo era comparar, por um lado, as perceções que os professores, com e sem formação contínua em avaliação, tinham em relação aos seus conhecimentos em avaliação e, por outro, aferir os respectivos níveis de literacia em avaliação. A partir da comparação entre os dois grupos analisados, procurou-se estabelecer uma relação entre os níveis de literacia em avaliação dos professores e a frequência, ou não, de cursos de formação contínua em avaliação.

Dos resultados alcançados, foram retiradas duas conclusões fundamentais. Os resultados parecem evidenciar que os professores que frequentaram cursos de formação contínua em avaliação tinham uma melhor perceção sobre os seus conhecimentos e capacidades para avaliar as aprendizagens dos alunos. Adicionalmente, os professores com formação contínua em avaliação manifestaram níveis de literacia em avaliação mais elevados, quando comparados com os professores que não frequentaram tais formações. Assim, são notórios os efeitos positivos que a formação contínua tem nos níveis de literacia em avaliação, colmatando, dessa forma, as fragilidades verificadas aquando da formação inicial de professores.

Os resultados deste estudo destacam a importância de considerar a avaliação como um elemento central nas práticas pedagógicas e sublinham a necessidade de promover e incentivar a participação dos docentes em cursos e workshops específicos em avaliação. Essas iniciativas podem ser implementadas tanto pelas instituições educacionais como pelos responsáveis pela política educativa, visando garantir que os professores estejam preparados para enfrentar os desafios da avaliação em sala de aula.

Em suma, a formação contínua em avaliação representa uma ferramenta efetiva para elevar os níveis de literacia dos professores nessa área crítica. Ao fortalecer as competências em avaliação, estes profissionais têm a oportunidade de aperfeiçoar suas práticas, proporcionando um ambiente educacional mais enriquecedor e eficaz. A promoção de uma cultura de desenvolvimento profissional contínuo é fundamental para assegurar o progresso educacional e, ao mesmo tempo, atender às necessidades dos educadores em seu crescimento profissional..

Referências

Abell, S., & Siegel, M. (2011). Assessment Literacy: What science teachers need to know and be able to do. In D. Corrigan et al. (Eds.), The Professional Knowledge Base of Science Teaching. Springer. https://doi.org/10.1007/978-90-481-3927-9_12

Almeida, L. (2023). Qualidades Psicométricas do Questionário de Aferição da Literacia em Avaliação. Revista Portuguesa de Educação, 36(1), e23007. http://doi.org/10.21814/rpe.24079

Almeida, L. (2021). Literacia em Avaliação de Professores: Desenvolvimento e Aplicação do Questionário de Aferição da Literacia em Avaliação, [Tese de Doutoramento, Universidade Lusófona de Humanidades e Tecnologias].

Bloom, B. (1956). Taxonomy of Educational Objectives. Book I: Cognitive Domain. David Mckay.

Brown, G. (2008). Assessment literacy training and teachers’ conceptions of assessment. In C.M. Rubic-Davis and C. Rawlinson (Eds.), Challenging Thinking about Teaching and Learning. Nova Science Publishers.

DeLuca, C., & Klinger, D. (2010). Assessment literacy development: identifying gap in teacher candidates’ learning. Assessment in Education: Principles, Policy and Practice, 17 (4), 419-438. https://doi.org/10.1080/0969594X.2010.516643

DeLuca, C., Chavez, T., Bellara, A., & Cao, C. (2013). Pedagogies for preservice assessment education: Supporting teacher candidates’ assessment literacy development. The Teacher Educator, 48 (2), 128-142. https://doi.org/10.1080/08878730.2012.760024

Gottheiner, D., & Siegel, M. (2012). Experienced Middle School Science Teachers’ Assessment Literacy: Investigating Knowledge of students conceptions in Genetics and ways to shape instruction. Journal of Science Teacher Education, 23, 531-557. https://doi.org/10.1007/s10972-012-9278-z

Hailaya, W., Alagumalai, S., & Ben. F. (2014). Examining the utility of Assessment Literacy Inventory and its portability to education systems in the Asia Pacific region. Australian Journal of Education, 58 (297), 297-317. https://doi.org/10.1177/0004944114542984

Koh, K. (2011). Improving teachers’ assessment literacy through professional development. Teaching Education, 22 (3), 255-276. https://doi.org/10.1080/10476210.2011.593164

Laranjeira, M. I., Abreu, A. N., Nogueira, N. & Soligo, R. (1999). Referências para Formação de Professores. In Bicudo, M. A. V. & Silva, Junior C. A. (Orgs.). Formação do Educador e Avaliação Educacional: Formação Inicial e Contínua. Unesp.

Libâneo, J. (1998). Adeus Professor, Adeus Professora? novas exigências educacionais e profissões docente. Cortez.

Logan, L., & Sachs, J. (1988). Inservice Education in Queensland: Some Lessons. South Pacific Journal of Teacher Education, 16 (1), 63-69. https://doi.org/10.1080/0311213880160105

Malone, M. (2013). The essentials of assessment literacy: Contrasts between testers and users. Language Testing, 30 (3), 329-344. https://doi.org/10.1177/0265532213480129

Marzano, R. J. (2000). Designing a new taxonomy of educational objectives. Corwin.

McGee, J., & Colby, S. (2014). Impact of an assessment course on teacher candidates’ assessment literacy. Action in Teacher Education, 36 (5-6), 522-532. https://doi.org/10.1080/01626620.2014.977753

Mertler, C. (2003). Preservice versus inservice teachers’ assessment literacy: Does classroom experience make a difference? In The Mid-Western Educational Research Association. Columbus, Ohio.

Newfields, T. (2006). Teacher development and assessment literacy. Authentic Communication. In 5th Annual JALT Pan-SIG Conference. (pp. 48-73).

Popham, W. (2018). Assessment literacy for educators in a hurry. ASCD.

Ramesal, A. (2011). Primary and secondary teachers’ conceptions of assessment: a qualitative study. Teaching and Teacher Education, 27, 472-482. https://doi.org/10.1016/j.tate.2010.09.017

Santos, J., &Silva, P. (2009). Formação continuada dos docentes na contemporaneidade: desafios e possibilidades. I Encontro da Associação Nacional de Política e Administração em Educação. AMPAE-AL. VI EPEAL, Alagoas.

Stiggins, R. (1991). Assessment literacy. Phi Delta Kappan, 72, 534-539.

Stiggins, R. (1995). Assessment literacy for the 21st century. Phi Delta Kappan, 77 (3), 238-246.

Taber, K. (2017). The use of Cronbach’s alpha when developing and reporting research instruments in Science Education. Research in Science Education, 48, 1273-1296. https://doi.org/10.1007/s11165-016-9602-2

Volante, L., & Fazio, X. (2007). Exploring Teacher candidates’ assessment literacy: implications for teacher education. Canadian Journal of Education, 30 (3), 749-770.

Webb, N. L. (1997). Criteria for alignment of expectations and assessments in mathematics and science (Council of Chief State School Officers and National Institute for Science Education Research Monograph No. 6). Madison: University of Wisconsin–Madison, Wisconsin Center for Educational Research.

Xu, Y., & Brown, G. (2016). Teacher assessment literacy in practice: A reconceptualization. Teaching and Teacher Education, 58, 149-162. https://doi.org/10.1016/j.tate.2016.05.010

Yamtim, V., & Wongwanich, S. (2014). A study of classroom assessment literacy of primary school teachers. Procedia – Social and Behavioral Sciences, 116, 2998-3004. https://doi.org/10.1016/j.sbspro.2014.01.696

MLS - Educational Research (MLSER)