(Um Ensaio Administrativo Sobre
Planilhas e Métodos Avaliativos)
– TOMO II –
Seguindo a Análise das planilhas e notas, publicada no TOMO I deste Estudo, levando em consideração os apontamentos feitos sobre avaliações e Avaliadores, aqui, então, partimos já para o que consideramos como o ideal para identificar uma real ordem de classificação de Concorrentes de um determinado concurso artístico.
Como já dito, claro que é esta uma sistemática ampla e um tanto complexa, o que torna sua visualização para o público leigo e para os instrutores, inclusive, algo um tanto dificultada. Porém, pode ser um importante exercício para a verificação de resultados em Rodeios, Concursos e Eventos Tradicionalistas, como revisão do que foi realmente apresentado em palco.
Esta sistemática traz todos os Avaliadores para um mesmo padrão de notas, onde o descarte passa a incidir, aí sim, nos desvios de julgamentos. Está é a motivação.
Como se nota, nas TABELAS abaixo, cada Avaliador tem um método de avaliação (o que é, inclusive, saudável), variando especialmente em duas questões: Padrão de notas mais altos ou mais baixos; e Diferença entre as notas do mesmo Avaliador.
Entendendo isso, chegamos assim nas TABELAS abaixo demonstradas, que pretendem resolver esses DOIS PROBLEMAS:
*PROBLEMA 01_Um Avaliador tem a média de notas muito alta, como o Avaliador CARLOS, e acaba caindo pra todos os Grupos. Ou o Avaliador DANIEL, que tem padrão um pouco abaixo dos outros, e acaba caindo também para a maioria dos Grupos (varia de 9,698 a 9,388, caindo para 6 dos 10 Grupos Concorrentes).
*PROBLEMA 02_Alguns Avaliadores tem uma diferença entre as notas, um tanto maior que os outros. A Avaliadora BÁRBARA, por exemplo, vai de 9,810 a 9,225, que é 0,585 de diferença. Já o Avaliador CARLOS, vai de 9,880 a 9,765 e a diferença é só 0,115 do primeiro para o último. É mais de cinco vezes a diferença, o que também causa discrepância.
Juntando estes DOIS PROBLEMAS, notamos que, justamente em decorrência deles, o Avaliador CARLOS qualificou o 5º lugar para o CTG 02 DE CAÇAPAVA (a pior colocação deste Grupo), sendo que os demais Avaliadores o classificaram em 1º, 2º ou 3º, porém a nota dele caiu como a MAIS ALTA (repetimos: a PIOR COLOCAÇÃO caiu como a nota MAIS ALTA). Já a Avaliadora ELISA, classificou o CTG 06 DE TRÊS DE MAIO em 1º Lugar, sendo que a outra melhor classificação deste CTG tinha sido somente um 4º Lugar, e a avaliação dela entrou no somatório. No final, sem dúvidas, teria que “cair” a nota da Avaliadora ELISA, para o CTG 06 DE TRÊS DE MAIO, por ter sido a MAIS ALTA relativamente às notas dela e às notas dos outros, e deveria “cair” a nota do avaliador CARLOS como MAIS BAIXA para o CTG 02 DE CAÇAPAVA, por ser mais baixa relativamente às notas dele e dos outros. O Avaliador ÁLVARO, por ter as notas mais próximas à média, teve a nota considerada no cálculo de todos os Grupos.
LEIA MAIS: AVALIAÇÃO: POR QUE CAIR A MAIOR E MENOR NOTA? – TOMO I
Mas seguindo, vamos às TABELAS…
Essa aqui é a TABELA com as notas finais de cada Avaliador. A colocamos para ficar visível que “caem” TODAS as notas do Avaliador CARLOS, e a maioria do Avaliador DANIEL.
No final, em “MÉDIA DO AVALIADOR”, apontamos a média das notas de cada um, separadamente. O Avaliador ÁLVARO dá 9,633 em média; A Avaliadora BÁRBARA, 9,601; CARLOS, 9,820; DANIEL, 9580; e, por fim, ELISA, 9,637 em média.
Dá pra notar aqui, que a média do Avaliador CARLOS é muito mais alta, e isso faz com que ele caia pra todos os Grupos. Nada resolve, portanto, “cair” a menor e a maior nota, sendo que a nota que será descartada será sempre a do Avaliador CARLOS.
Aqui é uma regra-de-três, simples. É a nota que o Avaliador deu pra determinado Grupo, multiplicada pela média das notas de todos os Avaliadores (9,654 da primeira TABELA) e dividida pela média de cada Avaliador.
Ela resolve o PROBLEMA 01 (onde um Avaliador tem o padrão de notas alto e outro um padrão de notas baixo, e acabam tendo as notas simplesmente desconsideradas). Porém, considerando que as diferenças entre as notas também são discrepantes, de um para outro Avaliador, dá pra notar que as notas do Avaliador CARLOS ficam todas próximas da média, enquanto as da Avaliadora BÁRBARA oscilam bastante.
Daí vêm os próximos passos…
Esse é um passo intermediário. É a diferença da nota de cada Avaliador, já equilibrada à Média Geral de notas do Evento, para a Média Geral.
Por exemplo: O CTG 01 DE CABURÉ, que ficou em primeiro pra Avaliadora BÁRBARA, teve 0,210 pontos a mais do que a média de notas dela. O CTG 03 DE MACHADINHO, que ficou em primeiro pro Avaliador CARLOS, teve apenas 0,059 de distância pra média. Só pra ficar mais claro, o Avaliador ÁLVARO, que classificou o CTG 03 DE MACHADINHO em 4º Lugar, deu 0,125 acima da média, e o avaliador CARLOS, que classificou em 1º Lugar, deu menos da metade disso, 0,059.
Na Diferença Total, temos a discrepância entre a maior e a menor nota de cada Avaliador da TABELA 02, e a média total dessas diferenças. O que ela vai fazer, na próxima TABELA, é colocar todas as diferenças num mesmo padrão, resolvendo, então, o PROBLEMA 02.
Bueno. Aqui, é outra regra-de-três simples aplicada sobre a TABELA 03, pra chegar a uma diferença “padronizada”. Multiplicamos a diferença do Avaliador pra determinado Grupo, pela média de todas as diferenças (0,339), e depois dividimos pela média das diferenças desse Avaliador. O que acontece, então, é que os 0,210 que a Avaliadora BÁRBARA deu para o CTG 01 DO CABURÉ de diferença pra média, se nivela (não se iguala: Se NIVELA) aos 0,157 que o avaliador ÁLVARO destinou ao CTG 02 DE CAÇAPAVA.
As notas, assim, vão para um padrão onde todas as diferenças ficam num mesmo nível, e, daí sim, contabiliza o quanto cada Avaliador achou que o Grupo dançou melhor que outro, eliminando o padrão de notas como fator determinante para o resultado.
Claro que, essa não é a formatação de nota mais “glamorosa” e comum. Há Grupo que fica com pontuação, inclusive, negativa. Mas, sem dúvida alguma, é o resultado mais justo.
Aqui, o fato é que não importa o valor absoluto da nota que o Avaliador dá. O que importa é a diferença dessa nota pras notas que ele dá para os outros Grupos. Não implica se um determinado Avaliador dê nota 7 para determinado Grupo, e se para os outros ele der notas abaixo disso. Apesar da “nota baixa”, esse Grupo continuará sendo o Vencedor para esse Avaliador. Essa TABELA 04 busca, de uma forma lógica, equilibrar as notas possibilitando compará-las, não apenas dentro do conjunto de notas de um mesmo Avaliador, mas entre um Avaliador e outro.
Dois Avaliadores apontaram o CTG 03 DE MACHADINHO como 1º e um como 2º Lugar. Em paralelo, um Avaliador o balizou em 4º, porém, essa nota não “caiu”. O CTG 06 DE TRÊS DE MAIO ficou em 6º para 3 dos Avaliadores, e em 4º para outro. A Avaliadora ELISA o apontou como 1º, e também não “caiu” (pode parecer redundante esse apontamento, mas é preciso justamente que se destaque novamente aqui).
Essas discrepâncias são resolvidas somente quando conseguimos colocar as notas todas num mesmo padrão. Uma nota que fuja do padrão (pra cima ou pra baixo, podendo ser intencional ou não), nesse cálculo sempre vai “cair”. No cálculo que é feito atualmente (como vimos no TOMO I deste Estudo), é bem provável que não caia.
Uma possibilidade para ser usada na nota e ter um formato mais palatável, é o exemplo apresentado na TABELA 05, abaixo. Nele, somamos a diferença apurada na TABELA 04, à Média de todas as notas, de todos os Avaliadores, para todos os grupos (9,654 da TABELA 01). É nesse último cálculo, também, que voltam a incidir os descontos apontados para cada Grupo. Os descontos são desconsiderados no início dessa parte do Estudo, pois, dependendo do montante descontado, a média de notas dadas pelos Avaliadores pode acabar distorcida.
Como a intenção desses cálculos é equilibrar os padrões de notas dos Avaliadores, a fim de poder compará-las, os descontos vão voltar a ser considerados apenas na Classificação Final.
Dessa forma conseguimos chegar a uma nota com a formatação que já é consagrada no meio, e apresentando as diferenças já equilibradas, permitindo, então, o descarte da nota mais alta e nota mais baixa sem a interferência do padrão individual de avaliação de cada pessoa.
Se repararmos, nessa última TABELA, ao ser indicada a menor e a maior nota, todas as discrepâncias, apresentadas ao longo do estudo, são corretamente descontadas. A 1ª Colocação da Avaliadora ELISA para o CTG 06 DE TRÊS DE MAIO é descontada como nota mais alta, o 5º Lugar do avaliador CARLOS para o CTG 02 DE CAÇAPAVA é descontado como a nota mais baixa (ao contrário do desconto como, nota mais alta, anteriormente verificado), por exemplo.
Não temos dúvidas de que seria o método mais justo, porém entendemos a dificuldade de tomar voz um método de avaliação desses, por ser de difícil entendimento e visualização (como novamente repetimos), em uma Análise mais rasa, que no fim das contas é o que é feito.
O que podemos notar, é que, mesmo a partir de uma Análise mais absoluta, em cima das notas dadas pelos Avaliadores, lá das primeiras TABELAS, é que, de qualquer forma, quanto mais específico é o desconto das notas maiores e menores, maior verossimilhança há entre o resultado e as impressões tomadas pelos Avaliadores. Mesmo esse cálculo mais complexo, apresentado nas últimas TABELAS, pode ser ainda mais específico, aplicando-os quesito a quesito, ou, mais ainda, aplicando aos quesitos para cada dança individualmente.
O objeto desse Estudo, em suma, acaba sendo comprovar a ineficácia do desconto puro e simples, de uma nota alta e uma nota baixa, simplesmente, visto que são adotados diferentes critérios na avaliação (padrão de descarte este, que hoje se utiliza na maioria dos Eventos). Da mesma maneira que alertamos para a proporcional ineficiência de somatório de todas as médias, de todos os Avaliadores, sem descarte algum (como costumam requerer atualmente, na maioria dos Eventos e discussões sobre o assunto).
Assim, aqui, não se quer avaliar a capacidade de qualquer dos Avaliadores dos nossos Eventos (sejam de regulamentos do ENART, de Festivais diversos, de Rodeios, de FEGADAN, etc. e etc.), nem tampouco usar esses dados como forma de desprestigiar qualquer que seja o modo de avaliação existente.
Entendemos sim, é que a metodologia para o cálculo das notas possa ser feito da forma mais exata possível e diluindo problemas, matematicamente falando. Porém, as impressões do Avaliador, quanto ao que está sendo assistido em palco (mediante critérios estudados e pré-estabelecidos básicos), é feito baseado em sua vivência e trajetória, tanto no meio Tradicionalista quanto no meio da própria arte da dança, em si.
Claro que, não somos absolutos. Estes Estudos são reflexos das nossas vivências e de nossos Estudos acadêmicos, inclusive, que podem ou não serem mais plenos que outros. Por isso cremos que possa ficar esta Análise meio que em aberto pra sugestões tantas, de amadurecimento, outros Estudos, acréscimos, visões, etc. Apesar deste Estudo, dúvidas ou sugestões de alterações ou qualquer coisa do tipo são sempre bem vindos.
Se os concursos tanto atraem os jovens, tanto agregam pessoas (em ensaios, rodeios, finais-de-semanas, painéis, cursos, oficinas e tanto e tanto mais) e tanto fomentam a procura por cultura, nada mais justo que, nós, que tanto apreciamos, ao longo da vida, esses eventos (recebendo essa herança desde nossos pais, passando elas adiante, a nossos filhos, afilhados, sobrinhos, alunos, etc.), possamos agregar conhecimento, observações e análises em suas formatações e novos rumos. Nada mais gratificante, inclusive, que, nós, possamos ajudar esse meio a crescer e se desenvolver, cada vez de maneira mais justa e palpável, a quem compete.
Por isso que assim vamos estudando nosso meio e nos próprio atualizando, como possível… Sempre.
E, novamente, viva a dança!
Powered by Rock Convert
Muito bom este material! Uso um método similar para corrigir estes problemas! Comparei teu método com o que uso e ambos deram a mesma resposta! Parabéns!