Medir e situar

O gráfico mostra duas mudanças ao mesmo tempo.

Primeiro, o grupo que só se situa cresce, de 22,9% na edição de 2003 para 47% na de 2025, com quedas em 2007, 2011 e 2025. Na última edição, ele é o maior dos quatro grupos. Segundo, o grupo que não faz nenhuma das duas coisas diminui, de 57,4% para 21,8%. A maior parte da mudança acontece entre esses dois grupos.

O grupo que só mede desempenho fica entre 12,4% e 22% em todas as edições. O grupo que faz as duas coisas vai de 4,9% para 11,5%: 176 trabalhos medem desempenho e também se situam. Por isso, não se pode dizer que um tipo de pesquisa substituiu o outro. Medir se algo funciona e perguntar de onde se fala aparecem juntos no mesmo trabalho.

Cada ponto do gráfico é uma edição, e não um período escolhido pelos pesquisadores responsáveis. O CIDI acontece a cada dois anos, e cada edição tem de 61 a 274 trabalhos. Com esse número, um trabalho a mais ou a menos não muda o resultado.

Este painel mostra por que o eixo situado tem três níveis. O território como objeto sobe de 27,9% para cerca de 40% e fica nessa faixa. São trabalhos do congresso que estudam material do Brasil com as categorias habituais do campo. O território como posição segue outro caminho. Ele começa em 0% em 2003, com 0 trabalhos, e chega a 17,5% em 2025.

Se as duas curvas fossem somadas, o crescimento da posição ficaria escondido no total. Separadas, elas mostram que, nos últimos anos, cresceu a epistemologia, isto é, a pergunta sobre como o conhecimento é produzido, e não apenas o material estudado.

A porcentagem de trabalhos que medem desempenho varia entre 18,6% e 32,3% ao longo de 22 anos, sem subir nem descer de forma contínua. No acervo inteiro, a pesquisa que avalia desempenho reúne 27% dos trabalhos. São 488 trabalhos que medem desempenho, e 176 deles também se situam.

Por isso, os dois eixos não se opõem. Juntos, eles mostram um campo que manteve a pergunta sobre a eficácia e passou a fazer também uma pergunta nova.

No acervo inteiro, 488 trabalhos medem desempenho e 793 se situam de alguma forma: 654 pelo material estudado e 139 pela posição.

Os dois filtros estão no Catálogo e podem ser combinados com edição, eixo temático, instituição ou palavra-chave. Assim é possível ver, por exemplo, quais trabalhos medem desempenho entre os que tratam o território como posição.

A segunda classificação foi feita por um comitê de 4 juízes, isto é, 4 sessões do mesmo modelo, separadas entre si e da primeira classificação. Cada juiz recebeu uma parte dos trabalhos, e todos classificaram um bloco comum de 177 trabalhos. Nesse bloco, os 4 juízes deram a mesma resposta em 95,5% dos casos no desempenho e em 84,7% no eixo situado, com 6 empates. Antes de comparar os resultados, cada juiz anotou os limites entre categorias que achou difíceis de aplicar. Dessas anotações saíram as regras usadas no desempate.

Esse resultado tem um limite. Duas classificações feitas pelo mesmo modelo, com os mesmos critérios, não equivalem à concordância entre juízes independentes. Elas mostram se os critérios produzem resultados estáveis, e não se dois avaliadores diferentes chegariam à mesma resposta. O desempate foi feito com as duas classificações à vista. Por isso, as 316 linhas desempatadas resultam da aplicação das regras, e não de uma terceira classificação independente.

O comitê classificou os trabalhos das edições de 2011 em diante. Os 306 trabalhos dos anais em CD de 2005, 2007 e 2009 receberam a segunda classificação na mesma sessão da primeira. As duas não divergiram em nenhum trabalho. Neste caso, a concordância de 100% mostra só que as duas classificações ficaram próximas. Por isso, a classificação desses 306 trabalhos tem uma base mais frágil do que a das outras edições.

Os 61 trabalhos de 2003 foram classificados por duas sessões separadas do modelo, e nenhuma abriu o arquivo da outra. As duas concordaram em 100% dos casos no desempenho e em 91,8% no eixo situado. Os 5 casos de divergência foram decididos por uma terceira sessão, que releu o resumo sem saber o que cada leitura tinha dito. Como as três sessões são do mesmo modelo, a concordância mostra que os critérios produzem resultados estáveis, e não que dois avaliadores diferentes chegariam à mesma resposta.

O modelo leu o resumo, e não o texto completo. Por isso, um trabalho que só declara a sua posição na conclusão aparece aqui como não situado. 11 trabalhos não têm resumo em nenhum campo da base e foram classificados pelo título. Os critérios completos, com as treze regras de decisão e o resultado, estão em Procedimentos.