A OCDE (Organização para a Cooperação e Desenvolvimento Econômico) é um órgão internacional que reúne países desenvolvidos na realização de pesquisas e projetos e consultoria voltados ao desenvolvimento socioeconômico. No mês de dezembro, o órgão divulgou os resultados do PISA. Para saber mais sobre a OCDE em si e a participação do Brasil, veja o material já preparado pelo Politize! Agora, vamos ao PISA. A sigla, que em inglês quer dizer Programme for International Student Assessment, ou Programa Internacional de Avaliação de Estudantes, representa a mais importante avaliação comparativa de educação no mundo.
Neste artigo, vamos explicar os pontos mais relevantes desta avaliação: sua história, seus critérios e seu funcionamento, assim como a visão de especialistas sobre o assunto.
Breve histórico
O PISA foi criado e desenvolvido em 1997 pelo pesquisador alemão Andreas Schleicher, dando início a uma nova abordagem da OCDE na área de educação. O Brasil, assim como outros países em desenvolvimento, foi convidado a participar do PISA desde a sua primeira edição, em 2000, mesmo não sendo membro da organização.
Justamente pela sua proposta e objetivo de ser uma avaliação que reflete a realidade da educação mundial, ela não está restrita a países membros. A participação também comporta não-membros e, em alguns casos, avalia apenas uma parcela de um país. Este é o caso da China, que, em 2018, teve a prova aplicada apenas às províncias de Pequim, Shangai, Jangsu e Zhejiang. Há ainda participantes que são considerados apenas regiões administrativas, e não países, como Hong Kong e Singapura.
Em termos de ranking de desempenho, a primeira edição do programa, em 2000, revelou a Finlândia como a grande potência mundial em educação. Especialistas têm desenvolvido estudos sobre o desempenho dos países nórdicos e outros casos notáveis para compreender os elementos que possibilitaram esses resultados. Em 2018, por exemplo, chamou atenção a colocação da China em 1º lugar nas três categorias examinadas pelo PISA: leitura, matemática e ciências. No entanto, de maneira geral, os pesquisadores veem como ineficientes as tentativas de replicar práticas de países que obtêm bons desempenhos.
O PISA é realizado a cada três anos, e cada edição se aprofunda em uma daquelas três categorias. Na edição de 2018, a categoria em foco foi a leitura, enquanto nas edições de 2015 e 2012 a avaliação concentrou-se em ciências e matemática, respectivamente. Isto ajuda a organização a obter informações mais profundas sobre uma ou outra habilidade específica dos estudantes, assim como divulgar dados mais detalhados sobre os resultados.
Qual é o modelo de avaliação do PISA e como ela é realizada?
O PISA foi elaborado como uma avaliação não-baseada no conteúdo específico ensinado nas escolas, justamente pela consciência de que os currículos variam muito de acordo com a região, país, economia e sistema educacional. Além disso, estabeleceu-se a idade de 15 anos como marco para a realização do exame. Os desenvolvedores do PISA sabem que o contexto do sistema educacional coloca alunos da mesma idade em estágios diferentes de sua vida escolar de acordo com a organização de seu país. Nesse sentido 15 anos de idade foi o marco escolhido por ser um momento em que se espera dos alunos uma base sólida nas competências necessárias para uma participação efetiva e contributiva no desenvolvimento econômico e social.
Os testes são realizados por meio de computadores, e têm duas horas de duração. As competências avaliadas incluem: análise e uso de formas e dados matemáticos, a compreensão do funcionamento e aplicação do método científico, e a compreensão de textos. Adaptar a prova às diferentes regiões e países é visto como algo dispensável, pois não se busca avaliar conteúdos específicos que variam de acordo com o currículo escolar.
No total, 600.000 estudantes de 15 anos de escolas públicas e particulares do mundo todo participaram da edição de 2018. Essa amostra é considerada representativa dos 32 milhões de estudantes de 15 anos nos países participantes. A participação do Brasil contou com pouco mais de 10 mil estudantes, representando os cerca de 2 milhões de brasileiros de 15 anos que estão atualmente na escola.
O que o PISA busca medir e como ele faz isso?
O PISA visa conectar fatores socioeconômicos, ambiente escolar e bem-estar dos alunos para melhor entender as variações no desempenho geral do país. O relatório de análise geral da avaliação publicado em 2019 reitera que o objetivo da prova não é gerar mais um elemento de responsabilização de diretores e professores de forma hierarquizada (de cima para baixo, apenas delegando ordens): deve funcionar como um incentivo para que os próprios educadores e profissionais da área reavaliem suas próprias práticas.
Além disso, segundo o relatório, tem-se por objetivo diagnosticar a capacidade dos estudantes de não apenas reproduzir o que aprenderam na escola, mas também aplicar o conhecimento de forma criativa, interdisciplinar e prática, permitindo-os efetivamente transformar seu entorno.
O PISA também é uma maneira de avaliar o investimento financeiro em educação e o retorno que este proporciona em termos de qualidade. O relatório geral informa, por exemplo, que o investimento em educação aumentou em média 15% nos países membros da OCDE, mas que isso não implicou uma significativa melhoria do desempenho. Isto não significa que não seja útil e necessário investir uma parcela suficiente do orçamento de um país em educação, mas demonstra claramente que a resposta para a melhoria de qualidade que buscamos nem sempre está na simples disponibilidade de dinheiro, mas em como ele é aplicado e também elementos que vão além do puramente financeiro.
O relatório final identifica que, para aumentos maiores que US$50.000 dólares por aluno, não há relação entre aumento de gasto e melhoria no desempenho. Outro dado importante é que não se identificou uma correlação entre o número de horas em que o aluno permanece efetivamente na escola e a melhoria do desempenho.
A avaliação faz comparações entre o desempenho dos gêneros feminino e masculino, bem como o contexto socioeconômico da escola como um todo e dos alunos individualmente. No quesito de leitura, os resultados gerais de 2018 não trouxeram dados alarmantes de diferenças no desempenho de meninos e meninas, e os maiores desafios enfrentados pelos países participantes, o Brasil incluso, estão em eliminar a diferença significativa entre escolas e alunos categorizados como mais privilegiados e os menos privilegiados.
Também se observa outros elementos, como a inserção no seguimento da educação vocacional ou profissionalizante. Ainda, a idade em que há separação dos alunos pelo desempenho ou trajetória acadêmica e profissional também é observada. A separação mais tardia está associada a uma melhora moderada no desempenho.
Além disso, essa edição trouxe um questionário completo que busca compreender melhor a vida escolar dos alunos participantes, incluindo o quão bem eles se sentem no ambiente escolar em relação a bullying, colegas, professores e funcionários.
A edição de 2018 também trouxe algumas novidades em questionários de aplicação opcional aos países e regiões participantes sobre as aspirações acadêmicas e profissionais dos estudantes, a realidade escolar e de conhecimentos sobre finanças pessoais. Além disso, as edições trazem questionários mais aprofundados sobre a competência em foco no ano. Como a edição de 2018 focou na leitura, o questionário buscou compreender os hábitos de leitura dos participantes, incluindo quantas horas diárias de leitura eles têm por hábito e quais são os materiais de sua preferência.
Por fim, a edição buscou promover uma noção, já consolidada entre especialistas, de que é importante cultivar o que eles chamam de mentalidade de crescimento: a crença de que os nossos talentos e conhecimentos se expandem e não permanecem fixos ao longo da vida.
Como tem sido o desempenho histórico do Brasil ao longo das edições?
A informação mais relevante que se tem sobre o desempenho do Brasil é a de que o país conseguiu aumentar significativamente os índices de matrícula e participação na educação básica, enquanto manteve ou melhorou moderadamente os resultados aos longos das edições. Uma queda no desempenho seria esperada, dado que, além do aumento no total de alunos avaliados, houve aqueles que passaram períodos afastados do sistema educacional e foram posteriormente reinseridos. A tendência, nestes casos, é de resultados mais baixos.
Um elemento importante identificado no Brasil é que as escolas que apresentaram os piores desempenhos são aquelas que mais sofrem com a rotatividade e escassez de professores qualificados. Desde a primeira edição, no ano 2000, o país vem observando uma melhora modesta, mas constante nas três competências. Observou-se única queda expressiva em matemática na edição de 2015. Considerando a melhoria nos indicadores de inclusão (a parcela de jovens de 15 anos matriculados na escola foi de 63% a 75%) e redução dos índices de evasão escolar, temos muito a comemorar.
No entanto, a posição do país no ranking se mantém bastante abaixo da média dos países da OCDE, entre as últimas colocações. Considerando casos de países que observaram verdadeiros saltos na pontuação entre uma edição e outra, como é o caso da província de Macao, na China, podemos concluir que é possível sim progredir, e ainda temos um longo caminho a percorrer.
Quais são as repercussões da existência de uma avaliação como essa para a educação brasileira e também a nível internacional?
O PISA sofre críticas de alguns especialistas que não acreditam ser possível desenvolver uma avaliação a nível internacional que possibilite uma comparação entre os resultados de alunos com diferentes línguas maternas, contextos sociais e culturais, inseridos em diferentes sistemas educacionais. Apesar disso, ele ainda é amplamente observado e utilizado por pesquisadores e agentes públicos na tomada de decisões sobre políticas públicas, por se entender que a prova consegue proporcionar dados importantes.
Como o PISA também tem por objetivo mapear indicadores socioeconômicos e outras circunstâncias capazes de explicar as causas das diferenças no desempenho entre escolas e alunos, mudanças na performance dos países geram repercussão internacional, e possibilitam a reavaliação de políticas públicas em todos os países participantes. A representação quantitativa (numérica) de dados educacionais possibilita comparações estatísticas tanto com as performances dos demais participantes quanto com o próprio desempenho em edições anteriores.
Para muitos especialistas, no entanto, isso gera repercussão negativa por representar uma visão simplista dos desafios da educação, desviando o debate dos fatores técnicos que realmente explicariam os aspectos positivos e negativos do resultado. Ao invés disso, seriam promovidas rasas discussões políticas para influenciar resultados de eleições, e não resultados educacionais.
É inclusive comum que quando o desempenho é debatido em um contexto político, presidentes e ministros da educação busquem receber o crédito por melhorias ou justificar más performances, ou, em alguns casos, responsabilizar seus adversários políticos. Vale lembrar que esse fenômeno acontece também no Brasil, mas não está restrito a ele.
Conclusões
O PISA é considerado a mais importante comparação internacional de desempenho na educação. Ele também busca ilustrar o contexto socioeconômico que auxilia na análise e explicação dos resultados. Por isso ele é tido como uma ferramenta técnica muito importante na elaboração de políticas públicas. Ressaltamos que representações numéricas ou quantitativas de qualidade da educação devem sempre serem avaliadas de maneira crítica, mas equilibrada.
Caso você deseje ter contato com o modelo de prova e questões, o INEP, órgão do MEC responsável pela aplicação de avaliações que medem indicadores educacionais, incluindo o PISA, as disponibiliza em seu portal.
REFERÊNCIAS
OECD: análise específica do Brasil no PISA 2018
OECD: análise geral dos participantes do PISA 2018
OECD: análise específica do Brasil nas edições anteriores 2012
OECD: análise específica do Brasil nas edições anteriores 2015
