O Tribunal de Contas do Estado de São Paulo construiu uma nova metodologia de análise, o Indicador de Efeito-Escola (IEE), que inclui fatores como a situação socioeconômica dos alunos na avaliação da eficácia escolar. Por meio da Inteligência Artificial, calcula-se o quanto a escola agregou na proficiência de seus alunos, trazendo à tona o princípio da equidade, reconhecendo as necessidades de cada grupo escolar e trabalhando para reduzir o impacto dessas diferenças.
O IEE é criado a partir do resíduo do modelo, ou seja, a diferença entra a nota real tirada pela escolada no Saeb e a nota estimada pelo modelo considerando apenas fatores socioeconômicos dos alunos. Ou seja, é uma estimativa da parcela da nota que cabe aos fatores escolares, uma medida de eficácia escolar.
Exemplo: Escola com Nota de 260 pontos no exame Prova Brasil cuja nota estimada pelo modelo é 250 pontos tem o IEE de 10 pontos. Podemos interpretar da seguinte forma: aquela escola tirou 10 pontos a mais do que o esperado para escolas com perfil socioeconômico de alunos semelhante.
A metodologia de avaliação do IEE permite que o auditor selecione as escolas que mais se destacaram (Maior IEE) no intuito de se identificar as boas práticas que possivelmente influenciaram no desempenho acima do esperado e assim, tais ações podem ser disseminadas para outras escolas. Por outro lado, as escolas com piores notas IEE também são selecionadas para avaliação e possível identificação dos fatores que determinaram um desempenho inferior ao esperado. Como as sugestões são inseridas no relatório de auditoria, o gestor público toma conhecimento e assim pode trabalhar para suprimir os fatores causadores das piores notas e disseminar as boas práticas reconhecidas pela avaliação do TCESP.
O Tribunal de Contas do Estado de São Paulo (TCESP), no contexto do aprimoramento de suas ações precípuas, identifica que o ambiente de controle externo está sendo influenciado por três principais tendências, abordadas no XXIII Congresso Internacional das Instituições Superiores de Controle (INCOSAI), que desenvolveu o documento “Declaração de Moscou” e apresentou as diretrizes para o triênio 2019-2022 das Entidades de Fiscalização Superiores (EFS) das Cortes de Contas associadas à INTOSAI (Organização Internacional de Entidades Fiscalizadoras Superiores):
Aumento da cobrança social para que as Entidades de Fiscalização avaliem os resultados das políticas públicas, incluindo aqueles relacionados aos Objetivos do Desenvolvimento Sustentável (ODS) da Agenda 2030;
Necessidade das Entidades de Fiscalização de aprofundar a análise de dados e;
Necessidade das ações das EFS terem maior impacto na gestão pública.
Dentro desse alinhamento às diretrizes da INTOSAI, o TCESP construiu uma nova metodologia de análise, o Indicador “Efeito-Escola” (IEE), que avalia a eficácia escolar baseada na análise de fatores relacionados tanto à escola como fatores extraescolares, como a condição socioeconômica dos alunos. O trabalho realizado teve como inspiração um artigo publicado em 2006 chamado Indicador de Efeito Escola: uma metodologia para a identificação dos sucessos escolares a partir dos dados da Prova Brasil, de autoria dos professores Amaury Patrick Gremaud, Fabiana de Felicio e Roberta Loboda Biondi, todos da Universidade de São Paulo (USP).
A identificação de escolas que proporcionam aos seus alunos um resultado melhor do que, em tese, espera-se delas, traz à luz uma nova metodologia de fiscalização, que avalia as políticas de educação para que ela seja inclusiva, de qualidade e equitativa, alinhando-se ao ODS 4 da Agenda 2030.
Colaboradores e Parceiros
Amaury Patrick Gremaud, Fabiana de Felicio e Roberta Loboda Biondi, do INEP: Autores do artigo que inspirou a criação da metodologia no TCESP.
Livia Kobayashi Hiratsuka – Autora do IEE no TCESP
Mariana Castro Pires – Coautora do IEE no TCESP
Carmen Leite Vanin, Marina Ferreira Pacini e Tiago Romani Variz – Validação do modelo para auditoria no TCESP
Mariana Cury, Gabriel Tabak, Roseli Aparecida - Universidade de São Paulo (USP ICMC) – Aperfeiçoamento do modelo de IA.
Documentação