Ponto de partida: a Matriz de Referência

2.2 Ponto de partida: a Matriz de Referência
Os testes de avaliação em larga escala têm como objetivo aferir a proficiência dos alunos em determinada área de conhecimento, em períodos específicos de escolarização. Assim, é necessário definir as habilidades e competências que serão avaliadas em cada área de conhecimento, de modo que se possam elaborar os itens a serem utilizados na composição dos testes.
A definição dessas habilidades é dada pela Matriz de Referência para avaliação e somente com a construção dessa Matriz é que temos condições de elaborar um teste de avaliação em larga escala, visto que é essa Matriz que orienta a elaboração dos itens.
As Matrizes de Referência do Sistema Nacional de Avaliação da Educação Básica – Saeb – são resultado do estudo de Parâmetros Curriculares, Diretrizes Curriculares e livros didáticos e da reflexão realizada por professores, pesquisadores e especialistas que buscam um consenso a respeito das habilidades consideradas essenciais em cada etapa do Ensino Fundamental e Médio. As Matrizes de Referência são compostas por um conjunto de descritores, os quais contemplam dois pontos básicos do que se pretende avaliar: o conteúdo programático a ser avaliado em cada período de escolarização; e o nível de operação mental necessário para a habilidade avaliada. Tais descritores são selecionados para compor a Matriz, considerando-se aquilo que pode ser avaliado por meio de um teste de proficiência, medida por meio de itens de múltipla escolha.
A Matriz de Referência para avaliação de Matemática tem como eixo a habilidade de
resolver problemas contextualizados em consonância com os Parâmetros Curriculares Nacionais. Os temas selecionados - espaço e forma, grandezas e medidas, números e operações e tratamento da informação – representam conteúdos com base nos quais são elaborados descritores que expressam habilidades em Matemática.
No processo de elaboração dos itens de Matemática, leva-se em conta o que um aluno
aprendeu e se ele é capaz de utilizar esse aprendizado para resolver um dado problema, pois a
resolução de problemas possibilita o desenvolvimento de capacidades de raciocínio, tais como
intuição, indução, dedução e estimativa. É preciso enfatizar que os descritores não podem ser adotados como um conjunto de indicações básicas para as práticas de ensino-aprendizagem
nas escolas, uma vez que não contêm a análise do conhecimento da linguagem, as orientações
didáticas, estratégias e recursos didáticos, as sugestões de como trabalhar os conteúdos,
bem como não selecionam a progressão de conteúdos por ano ou ciclos. Esse tipo de orientação cabe às Diretrizes, Parâmetros e Matrizes Curriculares.
Aos descritores, cabe, apenas, a referência para a elaboração dos itens que comporão os testes. Apresentamos, a seguir, as Matrizes de Referência para avaliação em Matemática utilizadas pelo Saeb para avaliação da 4ª série/5º ano e 8ª série/9º ano do Ensino Fundamental e 3º ano do Ensino Médio para que possamos analisar sua estrutura.

2.3 O perfil do elaborador
Algumas características importantes devem compor o perfil do elaborador de bons itens.
Entre as principais, podemos citar:

1. O elaborador deve ter domínio da área de conhecimento a ser avaliada. Isso significa
que ele precisa entender o conteúdo escolar como um meio para se desenvolverem habilidades e competências. Trata-se de explorar o conteúdo nas suas dimensões “conceitual,
factual, procedimental e atitudinal”1, de modo a levar o aluno a mobilizar seus recursos cognitivos.

2. O elaborador deverá entender os processos de desenvolvimento e aprendizagem que caracterizam os estudantes para os quais o item será construído. Isso significa que o professor-elaborador deve estar familiarizado com os prováveis níveis de desenvolvimento cognitivo e educacional, de modo a ajustar a complexidade e o grau de dificuldade dos itens de modo apropriado e o padrão das alternativas de resposta.

3. O elaborador deve ter o domínio da linguagem verbal utilizada pelos alunos para quem o teste será construído. Ele deve, além de conhecer o significado das palavras e usá-las, ser há de modo a fazer com que elas expressem o desejado da maneira mais simples possível.

4. O elaborador deve ter a habilidade de utilizar as técnicas de escrever itens. Para isso, é
preciso que esteja familiarizado com os diversos tipos de teste e com suas possibilidades
e limitações. Além disso, deve conhecer as características gerais de bons itens e precisa
estar consciente dos erros comumente cometidos.

Recomendações para elaboração de itens

O processo de construção dos itens de múltipla escolha para compor testes de proficiência
utilizados nos programas de avaliação em larga escala é pautado por requisitos técnicos que
buscam estabelecer procedimentos necessários à clareza e precisão dos instrumentos utilizados na avaliação.
Para que um item apresente boa qualidade pedagógica e técnica, é fundamental que sejam
observadas algumas etapas para sua elaboração. Vejamos essas etapas:

1º passo: Escolha de um descritor

O primeiro passo no processo de construção dos itens de avaliação em larga escala é a escolha de um dos descritores da Matriz de Referência. (veja matriz de referência)

2º passo: A construção do enunciado

Após a definição do descritor, passamos à construção do enunciado, escolhendo o suporte e
elaborando o comando para resposta.

a) A escolha do suporte

Uma vez definido o descritor, o próximo passo da elaboração de um item de Língua Portuguesa é a seleção do suporte, ou seja, o texto que será utilizado na elaboração da situação - problema que se deseja apresentar. A escolha do suporte é uma etapa importante do processo de elaboração do item, pois ele deve inspirar o elaborador a construir boas situações-problema as quais permitam identificar aqueles alunos proficientes na habilidade que se pretende avaliar.
O suporte pode ser retirado de várias fontes, como livros, jornais, revistas, panfletos, sites. Devem ser evitados, entretanto, suportes retirados de livros didáticos, também aqueles que fazem propaganda de algum produto ou marca, bem como textos literários criados pelo próprio elaborador do item. A utilização de diferentes suportes atende ao pressuposto de que um teste de proficiência deve avaliar a capacidade do aluno de ler, extrair informações significativas do que lê, para resolver o problema solicitado. Quanto mais variados os suportes, maior é a probabilidade de eles atenderem, de forma mais generalizada, aos contextos dos diferentes grupos que se submetem à avaliação.
É importante que na escolha do suporte, o elaborador considere, ainda, as situações da vida cotidiana nas quais a leitura é utilizada com propósitos comunicativos reais. Nesse sentido, a consulta ao quadro com os diferentes gêneros textuais e as situações nas quais eles se fazem presentes.

b) A construção do comando para resposta

O enunciado traz, ainda, o comando para resposta, que deve indicar de forma clara e objetiva a tarefa a ser realizada em conexão com a habilidade que se pretende avaliar, ou seja, deve estar diretamente relacionado a um único descritor da Matriz de Referência.
Ao elaborarmos o comando para resposta, devemos afastar todo e qualquer fator que possa
dificultar a compreensão do item pelo aluno. Dessa forma, a escolha cuidadosa do vocabulário e a objetividade constituem procedimentos fundamentais para a elaboração de um bom item. Não deve ser, contudo, excessivamente breve, a ponto de sonegar informações importantes para a resolução da tarefa que será solicitada, nem excessivamente longo, contendo informações desnecessárias.
De forma similar, o vocabulário deve ser adequado ao nível de escolaridade do aluno avaliado.
A utilização de conceitos, fatos e terminologias nas suas formas universalizadas são garantias para que se evitem comportamentos diferenciados do item, originados de posturas ideológicas ou especificidades regionais.

3º. Passo: A construção das alternativas de resposta

As alternativas de respostas devem ser construídas tendo-se em vista a produção de informações relevantes sobre o processo de construção da habilidade avaliada. Isso significa que a resposta correta – o gabarito - deve validar a capacidade do aluno em relação à determinada habilidade cognitiva. As demais alternativas, os distratores, produzem informações importantes para a avaliação, na medida em que apontam possíveis caminhos de raciocínio dos alunos, delimitando a etapa do desenvolvimento da aprendizagem em que o aluno se encontra. Assim, os distratores que apresentam soluções supondo erros que os alunos costumam cometer são mais plausíveis de serem escolhidos por aqueles que não consolidaram a habilidade requerida, oferecendo informações sobre as dificuldades encontradas. No caso de distratores que são imediatamente descartados, a resposta correta surge do processo de eliminação, e não da ação reflexiva sobre a tarefa solicitada. Portanto, é recomendável que não se proponham alternativas mutuamente excludentes, nem que sejam construídas de forma a induzir o acerto por exclusão.

Algumas considerações importantes

• O enunciado deve conter todas as informações necessárias, para que o aluno resolva o item.
Importante é evitar que o aluno erre o item porque não compreendeu o que lhe estava sendo perguntado (comando para resposta) Certifique-se de que o comando está efetivamente de acordo com o descritor.
• Os itens devem ser elaborados numa linguagem apropriada aos alunos do período de escolarização avaliado.
• Os itens devem ser elaborados com pontuação correta. Se a instrução for uma frase incompleta, as alternativas devem começar com letras minúsculas e terminar com ponto apropriado para a frase.
Caso o enunciado seja uma pergunta, as alternativas devem começar com letras maiúsculas.
• A diversificação das fontes abre novas possibilidades de tratar o conteúdo. Vale lembrar a importância de se considerarem fontes relacionadas ao cotidiano dos alunos.
• Não se deve empregar a 1ª pessoa na elaboração dos itens.
• Até sua remessa à coordenação do programa, os itens devem ser revisados por seus autores em momentos diferentes. Esse procedimento contribuirá para melhorar a qualidade do item.
• Não utilizar livros didáticos.

Roteiro básico para a elaboração de itens

Apresentaremos, a seguir, um roteiro para elaborar itens de boa qualidade pedagógica e técnica.

SUPORTE

• Devem ser adequados ao período de escolarização avaliado no que diz respeito, por exemplo, à complexidade, ao assunto, etc.
• Devem considerar o cotidiano dos alunos.
• Devem considerar o tempo para a realização do teste .
• Devem constituir-se fragmentos que permitam a apreensão do sentido global.
• Devem apresentar figuras que possuam boa qualidade gráfica.
• Não é permitida a utilização de textos que apresentem qualquer tipo de viés cultural e preconceito em relação à etnia, gênero, religião, profissão, crenças religiosas, etc.
• Não é permitido o emprego de textos que façam apologia a comportamentos e condutas em desacordo com preceitos educacionais, éticos e legais.
• Não é permitida a utilização de fragmentos que não se constituam como uma unidade mínima significativa.
• Não é permitida a adaptação de textos pelo elaborador.
• Não é permitida a utilização de textos de autoria do elaborador de itens
• Não é permitida a utilização de textos de propaganda ou de divulgação de produtos e/ou marcas.
• Devem apresentar referência bibliográfica completa .
• Devem permitir um número máximo de itens conforme o período de escolarização avaliado: 5º ano EF – 4 itens; 9º ano EF – 6 itens; 3º ano EM – 8 itens.
• Devem conter títulos (mesmo os fragmentos – textos verbais).
• Devem apresentar figuras que contribuam para a construção de sentido e não sejam apenas ilustração.
• Devem ser numerados de 05 em 05 linhas (textos verbais).

ITENS

• Devem ser inéditos.
• Devem apresentar 4 alternativas para o 5º e o 9º anos do EF e 5 alternativas para
o 3º ano do EM.
• Devem estar rigorosamente relacionados à Matriz de Referência para avaliação
• Devem apresentar um único problema.
• Devem ser adequados ao período de escolarização a que se destinam.
• Devem avaliar uma única habilidade.
• Devem ser elaborados sem “pegadinhas”.
• Devem apresentar gabarito.
• Devem apresentar o descritor que avalia a habilidade a ser aferida.
• Devem apresentar enunciado e alternativas estruturados de maneira positiva.
• Devem referir-se a, pelo menos, um texto-base.
• Não é permitida a elaboração de item cujo descritor já tenha sido abordado em
um mesmo texto.
• Não é permitida a utilização de itens que avaliem a capacidade de memorização
do aluno.
• Não é permitida a apresentação de resposta que depende de outro item.
• Não é permitido o emprego de termos como: “sempre”, “nunca”, “todo(a)”,
““totalmente”,”absolutamente”, “completamente” e “somente”.
• Devem apresentar enunciado e alternativas redigidos conforme a norma culta.
• Devem ser elaborados de modo claro e objetivo.
• Devem apresentar um único gabarito.
• Devem apresentar pontuação conforme o modelo do CAEd.

ENUNCIADO

• Deve apresentar, de modo completo, o problema a ser solucionado.
• Não é permitido o emprego de expressões negativas.
• Não é permitida a elaboração de enunciados que induzam a resposta do aluno.
• Não é permitida a utilização de expressões como: “Assinale a resposta correta”,
“Qual das alternativas...”, “A alternativa que indica...”, e estruturas semelhantes.
• Deve deixar clara a habilidade indicada pelo descritor.
• Deve fazer referência, quando necessário, à linha do texto.
• Deve atender à norma culta da língua.
• Não é permitida a redação na 1ª pessoa.

ALTERNATIVAS E RESPOSTAS

• Os distratores devem ser plausíveis.
• Devem apresentar paralelismo sintático-semântico.
• Não é permitida a elaboração de alternativas que induzam ao erro.
• Não é permitido o emprego da palavra NÃO ou do prefixo IN-.
• Não é permitida a elaboração de alternativas que apresentem detalhes irrelevantes ou conteúdos absurdos.
• Não são permitidas alternativas mutuamente excludentes, salvo em casos em que o descritor o exigir.
• Não são permitidas alternativas que induzam ao acerto por exclusão.
• Devem ser ordenadas obedecendo à progressão textual ou à ordem alfabética.
• Devem ter, aproximadamente, a mesma extensão.
• Devem apresentar um vocabulário adequado ao período de escolarização avaliado.
• Devem constituir-se como respostas completas.
• Não é permitida a elaboração de alternativas muito longas.

GABARITO

• Deve corresponder à habilidade indicada pelo descritor.
• Deve ser redigido de modo a não se tornar atrativo em relação aos distratores.
• Deve ter, aproximadamente, a mesma extensão dos distratores.
• Deve apresentar paralelismo sintático e semântico em relação aos distratores.
• Deve ser elaborado, utilizando-se vocabulário adequado ao período de escolarização avaliado.
• Deve ser redigido de modo claro e objetivo.

CRITÉRIO DE REVISÃO DE ITENS

Após a elaboração do item, é fundamental que ele seja revisado, de modo a garantir sua qualidade pedagógica e técnica. Por isso, estabelecemos os critérios que devem ser observados no momento de se fazer a revisão dos itens.

Veremos, a seguir, esses critérios. A sua utilização se assemelha a uma lista de controle de qualidade, cujas etapas devem ser rigorosamente cumpridas. Dessa forma, após a revisão criteriosa, o item estará pronto para a pré-testagem, e os itens que apresentarem um bom comportamento passarão a compor o teste.

1. QUANTO AOS SUPORTES - Se não atenderem ao critério

1.1 Devem ser adequados ao período de escolarização avaliado no que diz
respeito, por exemplo, à complexidade, ao assunto, etc. (Rejeitar)
1.2 Devem considerar o cotidiano dos alunos. (Rejeitar)
1.3 Devem considerar o tempo para a realização do teste . (Rejeitar)
1.4 Devem constituir-se fragmentos que permitam a apreensão do sentido global. (Rejeitar)
1.5 Devem apresentar figuras que possuam boa qualidade gráfica. Rejeitar
1.6 Não é permitida a utilização de textos que apresentem qualquer tipo de
viés cultural e preconceito em relação à etnia, gênero, religião, profissão, crenças, variantes linguísticas, etc. (Rejeitar)
1.7 Não é permitido o emprego de textos que façam apologia a comportamentos e condutas em desacordo com preceitos educacionais, éticos e legais. (Rejeitar)
1.8 Não é permitida a utilização de fragmentos que não se constituam como uma unidade mínima significativa. (Rejeitar)
1.9 Não é permitida a adaptação de textos pelo elaborador. (Rejeitar)
1.10 Não é permitida a utilização de textos de autoria do elaborador de itens (Rejeitar)
1.11 Não é permitida a utilização de textos de propaganda ou de divulgação de produtos e/ou marcas. (Rejeitar)
1.12 Devem apresentar referência bibliográfica completa . (Modificar)
1.13 Devem permitir um número máximo de itens, conforme o período de escolarização avaliado:
5º ano EF – 4 itens; 9º ano EF – 6 itens; 3º ano EM – 8 itens. (Modificar)
1.14 Devem conter títulos (mesmo os fragmentos – textos verbais). (Modificar)
1.15 Devem apresentar figuras que contribuam para a construção de sentido e não sejam apenas ilustração. (Modifica)(excluir figura)
1.16 Devem ser numerados de 05 em a 05 linhas (textos verbais). (Modificar)

2. QUANTO AOS ITENS - Se não atenderem ao critério

2.1 Devem ser inéditos. (Rejeitar)
2.2 Devem apresentar 4 alternativas para o 5º e o 9º anos EF e 5 alternativas para o 3º ano EM. (Rejeitar)
2.3 Devem estar rigorosamente relacionados à Matriz de Referência para avaliação (Rejeitar)
2.4 Devem apresentar um único problema. (Rejeitar)
2.5 Devem ser adequados ao período de escolarização a que se destinam. (Rejeitar)
2.6 Devem avaliar uma única habilidade. (Rejeitar)
2.7 Devem ser elaborados sem “pegadinhas”. (Rejeitar)
2.8 Devem apresentar gabarito. (Rejeitar)
2.9 Devem apresentar o descritor que avalia a habilidade a ser aferida. (Rejeitar)
2.10 Devem apresentar enunciado e alternativas estruturados de maneira positiva. (Rejeitar)
2.11 Devem referir-se a, pelo menos, um texto-base. (Rejeitar)
2.12 Não é permitida a elaboração de item cujo descritor já tenha sido abordado em um mesmo texto. (Rejeitar)
2.13 Não é permitida a utilização de itens que avaliem a capacidade de memorização do aluno. (Rejeitar)
2.14 Não é permitida a apresentação de resposta que depende de outro item. (Rejeitar)
2.15 Não é permitido o emprego de termos como: “sempre”, “nunca”, “todo(a)”, “totalmente”,”absolutamente”, “completamente” e “somente”, etc. (Rejeitar)
2.16 Devem apresentar enunciado e alternativas redigidos conforme a norma culta. (Modificar)
2.17 Devem ser elaborados de modo claro e objetivo. (Modificar)
2.18 Devem apresentar um único gabarito. (Modificar)
2.19 Devem apresentar pontuação conforme o modelo do CAEd. (Modificar)

3. QUANTO AO ENUNCIADO - Se não atender ao critério

3.1 Deve apresentar, de modo completo, o problema a ser solucionado. (Rejeitar)
3.2 Não é permitido o emprego de expressões negativas. (Rejeitar)
3.3 Não é permitida a elaboração de enunciados que induzam a resposta do aluno. (Rejeitar)
3.4 Não é permitida a utilização de expressões como: “Assinale a resposta correta”, “Qual das alternativas...”, “A alternativa que indica...”, e estruturas semelhantes. (Rejeitar)
3.5 Deve deixar clara a habilidade indicada pelo descritor. (Modificar)
3.6 Deve fazer referência, quando necessário, à linha do texto. (Modificar)
3.7 Deve atender à norma culta da língua. (Modificar)
3.8 Não é permitida a redação na 1ª pessoa. (Modificar)

4. QUANTO ÀS ALTERNATIVAS - Se não atenderem ao critério

4.1 Os distratores devem ser plausíveis. (Rejeitar)
4.2 Devem apresentar paralelismo sintático-semântico. (Rejeitar)
4.3 Não é permitida a elaboração de alternativas que induzam ao erro. (Rejeitar)
4.4 Não é permitido o emprego da palavra NÃO ou do prefixo IN-. (Rejeitar)
4.5 Não é permitida a elaboração de alternativas que apresentem detalhes irrelevantes ou conteúdos absurdos. (Rejeitar)
4.6 Não são permitidas alternativas mutuamente excludentes, salvo em casos em que o descritor o exigir. (Rejeitar)
4.7 Não são permitidas alternativas que induzam ao acerto por exclusão. (Rejeitar)
4.8 Devem ser ordenadas obedecendo à progressão textual ou à ordem alfabética. (Modificar)
4.9 Devem ter, aproximadamente, a mesma extensão. (Modificar)
4.10 Devem apresentar um vocabulário adequado ao período de escolarização avaliado. (Modificar)
4.11 Devem constituir-se como respostas completas. (Modificar)
4.12 Não é permitida a elaboração de alternativas muito longas. (Modificar)

5.QUANTO AOS GABARITOS - Se não atenderem ao critério

5.1 Devem corresponder à habilidade indicada pelo descritor. (Rejeitar)
5.2 Devem ser redigidos de modo a não se tornarem atrativos em relação aos distratores. (Rejeitar)
5.3 Devem ter, aproximadamente, a mesma extensão dos distratores. (Modificar)
5.4 Devem apresentar paralelismo sintático e semântico em relação aos distratores. (Modificar)
5.5 Devem ser elaborados utilizando-se vocabulário adequado ao período de escolarização avaliado. (Modificar)
5.6 Devem ser redigidos de modo claro e objetivo. (Modificar)

Referência Bibliográfica

Guia de Elaboração de Itens – Língua Portuguesa . Centro de Avaliação da Educação - CAEd. Universidade Federal de Juiz de Fora, 2008.

Guia de Elaboração de Itens – Matemática . Centro de Avaliação da Educação - CAEd. Universidade Federal de Juiz de Fora, 2008.