Skip nav

R&D Institutions

Evaluations

No English version available

Resumo do Relatório Global do Coordenador da Avaliação das Unidades do Programa de Financiamento Plurianual em 1996

ÍNDICE

Introdução

Organização da Avaliação

Dimensão e Execução do Exercício de Avaliação

Comunicação dos Resultados e Comentários das Unidades

Observações Gerais sobre a Avaliação e os Resultados

Variação na distribuição de classificações de apreciação geral nos vários domínios científicos

Alguns factores estruturais que afectam a distribuição de classificações de apreciação global

Efeitos do subfinanciamento das Ciências Sociais e Humanas no passado recente

Distorções na composição das unidades induzidas por políticas de financiamento anteriores: incentivos à dimensão das unidades e consideração de áreas prioritárias

Razoabilidade de diferenciação moderada entre níveis de financiamento de base de escalões diferentes que devam ser financiados

Conveniência da redução da dependência do financiamento de base das percentagens de dedicação à investigação indicadas nos relatórios das unidades

Atribuição de financiamento programático

Aumento significativo do financiamento plurianual

Necessidade de mecanismos de apoio a Pós-Doutorados e Doutorandos estrangeiros

Distribuição de classificações de apreciação global

Efeito da consideração de mais um nível de classificação e dos critérios de referência adoptados

Qualidade internacional da actividade de um número significativo de unidades

Dificuldades de compatibilização da actividade científica com o actual funcionamento das universidades

Elevado potencial para uma actividade científica de qualidade internacional elevada

Aspectos inovadores da avaliação: critérios internacionais de referência, avaliação por Painéis de cientistas estrangeiros, visitas dos avaliadores às unidades, divulgação pública

 

Introdução

A componente principal do financiamento da investigação científica é através de projectos e bolsas aprovados e propostos em base concorrencial e não o que é atribuído directamente a unidades de investigação. Assim, o financiamento plurianual de unidades de investigação tem um carácter suplementar aos financiamentos através de projectos e bolsas, e não deve substitui-los. Trata-se de uma forma de financiamento que faculta um apoio ao funcionamento das unidades num montante relativamente reduzido, mas estável, independentemente de flutuações nos financiamentos por projectos e bolsas, permitindo uma base alargada da actividade científica no país e tendo um papel estruturante na organização das actividades de investigação.

A principal utilidade de uma avaliação de unidades de investigação é promover uma reflexão crítica sobre a actividade de investigação e estimular a reorientação das actividades e a reorganização das unidades, com base em recomendações de observadores externos com experiência de avaliação científica. O contacto directo das equipas de avaliação com os investigadores das unidades avaliadas é essencial neste processo. Os efeitos mais importantes de uma avaliação deste género ocorrem com frequência nas próprias visitas às unidades, em consequência das questões e observações dos avaliadores.

O processo de avaliação teve aspectos marcadamente inovadores. Pela primeira vez, as unidades de investigação associadas às universidades foram avaliadas com base em critérios internacionais de referência, por painéis de cientistas estrangeiros e envolvendo o contacto directo dos avaliadores com os investigadores das unidades avaliadas. Também pela primeira vez ficou estabelecido que haveria ampla divulgação dos resultados da avaliação, com recomendações dos avaliadores às unidades, e explicitação pública dos critérios de avaliação.

Em geral, os resultados da avaliação indicam que existe um potencial elevado para uma maior expressão e desenvolvimento de actividades de investigação de elevada qualidade internacional, em particular em consequência do aumento significativo de novos doutorados que se tem verificado recentemente. Porém, os avaliadores assinalaram deficiências estruturais na organização e constituição das unidades com consequências negativas para a actividade científica. Atribuiram essas deficiências estruturais a distorções induzidas por políticas anteriores de financiamento, em particular a consideração de escalões de financiamento mais elevados para unidades de maior dimensão (programas CIENCIA e Plurianual), a definição de áreas prioritárias de financiamento (programas CIENCIA e PRAXIS XXI), a ausência de financiamento apropriado das áreas de Ciências Sociais e Humanas (programas CIENCIA, Plurianual e PRAXIS XXI). Os avaliadores consideraram que estas políticas induziram a criação de unidades com configurações que não são as mais adequadas à actividade científica, por terem resultado em associações artificiais, ditadas mais por objectivos de aumentar o número de doutorados nas unidades e de as posicionar em áreas prioritárias de financiamento do que por razões ligadas às condições e aos resultados do trabalho de investigação.

Os Painéis de Avaliação referiram, frequentemente com grande ênfase, dificuldades de compatibilização de uma actividade científica de elevado nível internacional com o presente funcionamento das universidades no país, em particular quanto a: excessivo período anual dedicado a aulas e exames, exagerada carga lectiva semanal dos investigadores em várias das universidades, carência de apoio administrativo e técnico profissionalizado para as actividades de investigação e ensino, reduzidas oportunidades de períodos de dedicação plena dos docentes a actividades de investigação, falta de flexibilidade para contratação de novos docentes de elevado mérito e falta de mobilidade interinstitucional de docentes.

Atravessamos em Portugal um período invulgar, mesmo em âmbito internacional, quanto ao aumento de novos investigadores doutorados e à expansão da actividade científica. Este momento exige a adopção de procedimentos claros de avaliação, financiamento e definição da política científica que só podem ser definidos e concretizados com a participação da comunidade científica. É necessário que seja claro para os novos investigadores que há uma grande abertura para a sua participação, que os processos de definição de políticas científicas e de avaliação são adequados e justos, e que as oportunidades de actividade científica e de liderança pelos mais competentes estão asseguradas pelos procedimentos que vão sendo adoptados. Por estas razões, é ainda mais importante divulgar com grande abertura as acções de execução de política científica e os seus resultados, e solicitar a participação e a reflexão crítica da comunidade científica. Pretendeu-se que o processo de avaliação das unidades de investigação aqui considerado também fosse inovador sobre este ponto de vista.

Organização da Avaliação

A avaliação decorreu sob a orientação de um Coordenador nomeado no final de Abril de 1996 pelo Ministro da Ciência e da Tecnologia e subscritor do presente relatório. O Coordenador da Avaliação foi assessorado e recebeu o apoio técnico da Drª Maria José Abreu da JNICT.

O processo adoptado foi o de avaliação por pares (peer review) reunidos em Painéis de Avaliação que se constituiram por domínios científicos. Cada Painel de Avaliação foi coordenado por um investigador Português, sendo a generalidade dos restantes membros cientistas estrangeiros.

Os membros estrangeiros de cada Painel de Avaliação foram propostos pelo correspondente Coordenador de Painel, a quem se solicitou a identificação de cientistas de elevado mérito internacional, com experiência de avaliação científica comprovada e, tanto quanto possível, escolhidos de forma a garantir uma participação adequada de especialistas das diferentes sub-áreas principais do domínio científico considerado (Constituição dos Painéis de Avaliação em 1996).

A definição da duração das visitas e da sua programação ficou ao critério do correspondente Coordenador de Painel a quem se solicitou que, com base na sua experiência da área e nos relatórios de actividades, prevesse para cada unidade um período de visita e uma programação apropriados.

Os Guiões de Avaliação foram definidos com a colaboração dos Coordenadores dos Painéis. Ficou estabelecido que, antes do início das avaliações, cada Coordenador de Painel identificaria, mediante análise dos relatórios, as unidades que devessem ser avaliadas por outros painéis por terem actividades científicas significativas que não pudessem ser adequadamente apreciadas por avaliadores do correspondente Painel. Contudo, por razões de comparabilidade dos resultados da avaliação, a consideração de unidades por vários Painéis de Avaliação deveria ser ponderadamente limitada, uma vez que se pretendia avaliar unidades de investigação com actividade num determinado domínio científico, considerando de forma global as suas actividades.

Apesar de, na generalidade, os membros de cada Painel de Avaliação terem sido identificados pelo correspondente Coordenador, houve duas excepções em que para constituição do Painel se solicitou uma intervenção institucional exterior: o Painel das Ciências Agrárias foi constituído com o apoio da Embaixada de França em Portugal, procurando-se continuar uma colaboração anterior na avaliação do Programa CIENCIA; o Painel das Ciências da Saúde integrou, para além de outros avaliadores, uma equipa do INSERM - Institut Nacionale de la Santé et de la Recherche Medicale, designada por este instituto, também na continuação de uma colaboração institucional anterior na avaliação do Programa CIENCIA.

Dimensão e Execução do Exercício de Avaliação

Foram avaliadas 270 unidades. Por razões de multidisciplinaridade realizaram-se mais de 280 visitas de Painéis de Avaliação a unidades. As visitas iniciaram-se a 6 de Junho e terminaram a 18 de Outubro de 1996. Até ao início de Agosto tinham sido visitadas 75% das unidades e até 15 de Setembro 91%.

Constituiram-se 21 Painéis de Avaliação, coordenados por investigadores portugueses (3 dos quais residentes no estrangeiro) e que integraram um pouco mais de 100 avaliadores, na sua quase totalidade investigadores em instituições estrangeiras, pelo que a avaliação teve um cariz marcadamente internacional (Constituição dos Painéis de Avaliação em 1996).

Comunicação dos Resultados e Comentários das Unidades

Os relatórios dos Painéis de Avaliação foram comunicados às próprias unidades em Dezembro de 1996, juntamente com as indicações de atribuição de financiamento. Cerca de um mês depois, solicitou-se às unidades que enviassem uma página de comentários ao relatório do Painel de Avaliação ou de observações de auto-apreciação para serem publicadas, caso o pretendessem, em conjunto com o relatório de avaliação.

Observações gerais sobre a Avaliação e os Resultados

Variação na distribuição de classificações de apreciação geral nos vários domínios científicos

A distribuição de classificações de apreciação global varia consideravelmente entre domínios científicos (ver Figura 1). As apreciações globais são, na generalidade, consistentes no âmbito considerado por cada Painel de Avaliação, mas há diferenças de critérios entre painéis diferentes. Assim, para efeitos comparativos, as apreciações globais têm essencialmente significado relativo no âmbito dos domínios considerados por cada Painel.

Numa avaliação de unidades de investigação que englobe todas as áreas científicas, diferenças de critérios entre painéis de domínios diferentes são inevitáveis, mesmo quando são definidas escalas de classificação comuns a todas as áreas, como foi o caso presente. Assim, a interpretação dos resultados da avaliação, em termos de critérios absolutos, deve ser cautelosa e enquadrada criticamente.

Para referência aos resultados da avaliação das unidades de investigação em 1994 inclui-se na Figura 2 a distribuição de classificações de apreciação global nessa altura. É de notar que em 1994 foram considerados apenas quatro níveis de classificação enquanto que agora se consideram cinco níveis. Como se notará numa observação seguinte, a passagem de quatro para cinco níveis de classificação e os critérios de referência adoptados para estes níveis corresponderam sensivelmente, em números globais para a totalidade das áreas científicas, a desagregar o nível mais elevado (nível 1) da classificação de 1994, que contou com 118 unidades, nos níveis Excellent e Very Good da presente avaliação que agora englobam 120 unidades. Note-se que a Figura 3 não inclui as classificações de nível 4 em 1994, uma vez que essas unidades não ficaram abrangidas pelo programa de financiamento plurianual e, portanto, não foram consideradas na avaliação de 1996.

Figura 1

Figura 1: Apreciações globais das unidades por área científica em 1996

 

Figura 2

Figura 2: Apreciações globais das unidades por área científica em 1994 (1 é o nível mais elevado)

 

Alguns factores estruturais que afectam a distribuição de classificações de apreciação global

Uma parte significativa da variação das classificações de apreciação global está associada a diferenças entre os vários domínios científicos na dimensão média das unidades em número doutorados (ver Figuras 3 e 4). Unidades muito grandes têm necessariamente subgrupos de qualidade muito diversa e a apreciação global traduz a observação global da unidade.

 

Figura 3

Figura 3: Número de doutorados nas unidades de cada área científica

Figura 4

Figura 4: Média de doutorados por unidade em cada área científica

Nas unidades classificadas com Excellent, a dimensão em número de doutorados mais frequente situa-se entre 10 e 15 (ver Figuras 5 e 6) e é também neste escalão de dimensão em número de doutorados que ocorre a maior fracção de unidades com apreciação global mais elevada. Em alguns domínios científicos a dimensão média das unidades em doutorados é superior: é próxima ou superior a 20 em Eng. Química e Biotecnologia, Ciências do Mar, Eng. Civil, e ainda é superior a 15 em Ciência e Eng. de Materiais, Ciências Agrárias, Matemática, Eng. Electrotécnica e Informática, e Química (ver Figura 4).

Figura 5

Figura 5: Distribuição da dimensão das unidades em número de doutorados

 

Figura 6

Figura 6: Distribuição da dimensão das unidades classificadas com Excellent em número de doutorados

 

Uma outra parte da variação das classificações de apreciação global deve-se a diferenças de maturidade científica entre os domínios. Esta depende de inúmeros factores que condicionaram a sua evolução no nosso país. Encontra-se numa fase de alterações consideráveis em consequência de atravessarmos um período de mudanças significativas quanto a recursos humanos, infraestruturas e práticas de gestão da actividade científica.

Há ainda variações na distribuição de classificações de apreciação global por domínios científicos que podem resultar da fracção da actividade nacional que decorre nas unidades de investigação do programa de financiamento plurianual ser relativamente baixa em certos domínios, o que pode traduzir-se numa distribuição pouco representativa da actividade geral nessas áreas e, por isso mesmo, algo distorcida. Globalmente, os doutorados associados às unidades de investigação avaliadas correspondem a cerca de 75% da totalidade de doutorados do país, mas em certas áreas das Ciências Sociais e Humanas a fracção do total de doutorados integrados em unidades do programa de financiamento plurianual é relativamente baixa. Por outro lado, uma parte significativa da actividade de investigação das Ciências da Vida decorre em unidades das Ciências da Saúde e, embora com menor incidência, nas de Biotecnologia.

Para além destes factores, há que ter em conta possíveis diferenças de exigência nas apreciações de Painéis diferentes, como referido na observação precedente.

Efeitos do subfinanciamento das Ciências Sociais e Humanas no passado recente

Detectou-se uma situação de fragilidade das Ciências Sociais e Humanas, comparativamente aos outros grandes agrupamentos de áreas científicas, em particular relativamente a objectivos estratégicos, organização da actividade, publicação internacional de resultados, definição de critérios de exigência científica. Na opinião de vários avaliadores, tal situação deve-se em parte a estas áreas terem sido ignoradas, ou recebido pouco apoio, em programas anteriores de financiamento da investigação (para o financiamento plurianual ver Figura 7). Foi ainda referido que a própria comunidade científica destas áreas deveria, também, reequacionar em forums próprios os seus princípios de funcionamento e critérios de avaliação, em particular dando maior ênfase a publicações internacionais.

Distorções na composição das unidades induzidas por políticas de financiamento anteriores: incentivos à dimensão das unidades e consideração de áreas prioritárias

Os avaliadores referiram-se explicitamente a situações de unidades com uma composição em áreas de actividade distorcida e recomendaram que se corrigissem essas situações.

As razões apontadas pelos avaliadores para as distorções foram:

- A tendência de se procurarem constituir unidades de maior dimensão, induzida por políticas de financiamento que favoreciam as maiores unidades.

- A ocorrência de situações em que investigadores de uma área científica aparecem integrados numa unidade de outra área, não por razões de trabalho científico mas por verem as suas oportunidades de financiamento favorecidas ao aparecerem em unidades de áreas consideradas prioritárias em programas de financiamento anteriores, nomeadamente no Programa CIENCIA. Esta situação ocorre, por exemplo, para os pares Química - Biotecnologia, Química - C. e Eng. de Materiais, C. da Vida - C. da Saúde.

Este último factor teve um efeito particularmente acentuado na rarefacção das C. da Vida. As unidades desta área não incluem neste momento a parte mais significativa da actividade de investigação em Biologia, a qual ocorre frequentemente em unidades de C. da Saúde e, em menor grau, em unidades de Biotecnologia.

Vários avaliadores criticaram, também, situações em que as unidades se constituiram corporizando todo um departamento universitário, em vez de serem determinadas por especificidades da actividade científica.

 

Figura 7

Figura 7: Financiamento de base por doutorado em cada área científica em contos/ano (antes da avaliação)

 

 

Figura 8

Figura 8: Financiamento de base por doutorado em cada área científica em contos/ano (depois da avaliação)

 

Alguns Painéis identificaram certas unidades de muito elevada dimensão e grande heterogeneidade científica que deveriam ser reorganizadas ou segmentadas em unidades mais coerentes. Áreas em que situações deste tipo foram mencionadas: C. da Saúde, Eng. Mecânica, Eng. Química e Biotecnologia, C. e Eng. de Materiais, Sociologia-Antropologia-Demografia-Geografia, Eng. Electrotécnica e Informática.

Detectaram, também, casos pontuais de unidades distintas numa mesma instituição de acolhimento que deveriam associar-se ou repartir os seus elementos de modo diferente, por razões de afinidade científica.

Razoabilidade de diferenciação moderada entre níveis de financiamento de base de escalões diferentes que devam ser financiados

Para efeitos de financiamento de base, os dois níveis mais elevados de apreciação global não foram diferenciados e as diferenças de financiamento por doutorado entre escalões sucessivos foram moderadas. Se bem que se considere vantajosa uma diferenciação moderada do financiamento em níveis diferentes de apreciação global, como materialização do estímulo à melhoria da actividade das unidades, não há razões substantivas para aplicar financiamentos plurianuais de base por doutorado muito distintos para unidades com apreciações globais diferentes mas que devam ser financiadas. A opção diferenciadora, no que toca a financiamento de base, é entre unidades que devem e unidades que não devem ser financiadas.

A diferenciação de financiamentos de grupos de investigação de acordo com projectos científicos e concessões de bolsas, em âmbito nacional e internacional, é mais apropriada e ocorre naturalmente devido ao carácter bastante competitivo e significativamente mais avultado desses financiamentos.

O financiamento de base por doutorado nos três escalões de financiamento foi na proporção 1 : 5/6 : 2/3 , em substituição da proporção adoptada em 1994 de 1,05 : 0,80 : 0,50 , a qual previa um financiamento por doutorado no terceiro escalão de financiamento inferior a metade do primeiro escalão. Esta foi uma opção de diferenciação acentuada entre níveis de classificação diferentes que parece exagerada, tanto mais que, na altura, unidades com idêntica apreciação de qualidade poderiam ficar em escalões de financiamento diferentes devido à sua dimensão calculada a partir das percentagens de dedicação à investigação indicadas nos relatórios das unidades.

Conveniência da redução da dependência do financiamento de base das percentagens de dedicação à investigação indicadas nos relatórios das unidades

Entendeu-se que a contabilização de doutorados para efeitos de atribuição do financiamento de base não deve depender muito das percentagens de tempo de investigação indicadas nos relatórios. Na verdade, este parâmetro não se suporta numa base de comparabilidade generalizada, e encontra-se desacreditado na comunidade científica por, em geral, não ter significado real e apresentar variações importantes resultantes de práticas diferentes nas várias instituições de acolhimento ou áreas científicas. Estas práticas não correspondem a diferenças efectivas na dedicação à investigação, mas antes a convenções adoptadas para preenchimento dos formulários, uma vez que se trata de um parâmetro de difícil objectivação (os valores declarados chegam a médias de 30% nas Ciências Sociais e Humanas, enquanto que para certas outras áreas, nomeadamente em engenharia e nas ciências exactas, são superiores a 50%).

Atribuição de financiamento programático

Para efeitos de atribuição de financiamento programático, foi solicitado aos avaliadores para considerarem propostas de financiamento que promovessem aumentos de resultados de investigação de elevada qualidade e de internacionalização das actividades, para os quais a unidade tivesse um elevado potencial e que não pudesse atingir com os fundos de que dispôs no passado ou é provável que venha a dispor de outras fontes de financiamento no futuro. Este tipo de financiamento não deveria ser considerado para substituir ou fazer deslizar aplicações de fundos a que a unidade tem acesso. Também não deveria ser proposto como prémio de qualidade nem deveria ser considerado para unidades que tivessem assegurado financiamentos adequados de outras origens. Em suma, tratava-se de propor a sua aplicação em situações em que fizesse uma maior diferença para aumentos de resultados de investigação de elevada qualidade que não pudessem ser assegurados de outra forma.

As decisões sobre financiamentos deste tipo são sempre difíceis, por estarem associadas à detecção de necessidades específicas e não pura e simplesmente à avaliação da qualidade da actividade de investigação realizada. É claramente inaceitável considerar financiamentos programáticos para unidades que deles não necessitem ou deles não possam tirar o melhor benefício, assim como é natural que haja unidades que numa dada altura tenham uma modesta produtividade científica e possam incrementá-la significativamente se forem especialmente financiadas no momento adequado. As indicações de avaliadores experientes são uma valiosa contribuição para a consideração deste tipo de financiamento, embora sejam geralmente insuficientes em termos de avaliação de necessidades financeiras uma vez que não se suportam na análise pormenorizada de aspectos financeiros.

Naturalmente, houve unidades classificadas com Excellent para as quais os avaliadores não propuseram financiamento programático, assim como houve unidades classificadas com Fair para as quais ele foi proposto. Mais precisamente, o financiamento programático foi fortemente ou muito fortemente recomendado pelos avaliadores para, respectivamente, 81%, 69%, 41%, 20% das unidades classificadas com Excellent, Very Good, Good, Fair. Por outro lado, a fracção do financiamento programático total atribuído a unidades com cada uma destas apreciações globais, consideradas na mesma ordem, foi de 36%, 47%, 14%, 3%, respectivamente, pelo que 83% do financiamento programático total foi atribuído a unidades nos dois níveis de apreciação global mais elevados. Como o número de unidades classificadas com Excellent é um pouco mais de metade do número de unidades classificadas com Very Good, verifica-se que, para além de ter tido essencialmente incidência nas unidades com estas duas classificações, o financiamento programático foi mais significativo para as unidades com classificação mais elevada (ver Figura 9).

 

Figura 9

Figura 9: Média do financiamento programático atribuído para 3 anos por unidade
em cada nível de classificação de apreciação global

A variação do financiamento programático por áreas é, naturalmente, superior à do financiamento de base (ver Figuras 10 e 11). As indicações dos avaliadores conduziam a um financiamento programático global para três anos de cerca de 2,6 vezes o financiamento de base anual, relação que, devido a restrições orçamentais, não podia ultrapassar 1,5. Na Figura 10 pode-se observar que nas propostas dos avaliadores a razão entre o financiamento programático para três anos e o financiamento de base anual situou-se para quase todas as áreas entre 0,6 e 4, exceptuando-se Eng. Mecânica (6,1), C. e Eng. de Materiais (4,3) e E. Literários (0,1). Na Figura 11 vê-se a razão correspondente para o financiamento programático atribuído, que ficou a variar de 0,6 a 2 (com excepção de 0,1 para E. Literários).

 

Figura 10

Figura 10: Relação entre o financiamento programático proposto para 3 anos pelos avaliadores e o financiamento de base anual

 

Figura 11

Figura 11: Relação entre o financiamento programático atribuído para 3 anos e o financiamento de base anual

Aumento significativo do financiamento plurianual

O financiamento plurianual de unidades de investigação foi consideravelmente aumentado, passando de um montante global de 1,5 milhões de contos em 1996 para cerca de 4 milhões de contos (base+programático) por ano. Assim, o factor de aumento global do financiamento plurianual foi de 2,7, embora de forma diferenciada para os vários grupos de áreas científicas: Ciências Exactas (2,6), Ciências Naturais (2,6), Ciências da Saúde (3,1), Engenharia e Tecnologia (2,3), Ciências Sociais (3,6), Ciências Humanas (3,8).

Na Figura 12 pode-se ver a repartição do financiamento plurianual para 1997 por grupos de áreas científicas.

 

Figura 12

Figura 12: Distribuição do financiamento base+programático por grupos de áreas científicas.

Necessidade de mecanismos de apoio a Pós-Doutorados e Doutorandos estrangeiros

Vários Painéis de Avaliação consideraram de grande importância o apoio a um aumento muito significativo de Pós-Doutorados, nacionais e estrangeiros, e de estudantes de Doutoramento estrangeiros nas unidades de maior mérito científico, como reforço da sua internacionalização. Referiram que os instrumentos de financiamento disponíveis eram insuficientes para estes objectivos e necessitavam de flexibilização.

Distribuição de classificações de apreciação global

Na Figura 13 pode-se ver a distribuição das classificações de apreciação global na avaliação que agora se realizou.

Dos cerca de 3700 doutorados integrados nas unidades de investigação avaliadas (cerca de 75% do total de doutorados do país), cerca de 19% estão em unidades consideradas Excellent e 35% em unidades consideradasVery Good (Figura 14).

Figura 13

Figura 13: Distribuição das unidades de acordo com a classificação de apreciação global

Figura 14

Figura 14: Distribuição de doutorados de acordo com as classificações de apreciação global das unidades

Efeito da consideração de mais um nível de classificação e dos critérios de referência adoptados

Na avaliação das candidaturas ao programa de financiamento plurianual apresentadas pelas unidades em 1994 foram considerados quatro níveis de classificação de qualidade geral, identificados por ordem decrescente de qualidade por 1, 2, 3, 4. O nível 4 correspondeu a unidades que não foram aprovadas para financiamento no âmbito do programa. As 270 unidades aprovadas para financiamento plurianual em 1994 e que, portanto, foram agora avaliadas distribuiram-se pelos outros três níveis de classificação como indicado na Figura 15.

Verifica-se que a consideração de mais um nível de apreciação global e os critérios de referência considerados para definição das classificações conduziram a uma distribuição de apreciações globais mais regular e equilibrada, corrigindo-se a distribuição anterior que era decrescente para classificações decrescentes e apontava para a falta de critérios de diferenciação de qualidade no escalão mais elevado.

 

Figura 15

Figura 15: Distribuição das unidades de acordo com as classificações de apreciação global em 1994

 

Qualidade internacional da actividade de um número significativo de unidades

Das 270 unidades, 43 foram consideradas pelos avaliadores de elevado nível internacional (Excellent) e 77 de bom nível internacional (Very Good). Assim, as unidades consideradas de nível internacional elevado ou bom correspondem, respectivamente, a cerca de 16% e 29% do total de unidades (ver Figura 13). É claro que esta observação tendencial deve ser enquadrada criticamente à luz da observação anterior relativa à dificuldade de comparação, em termos absolutos, entre as classificações de áreas diferentes.

Dificuldades de compatibilização da actividade científica com o actual funcionamento das universidades

Vários avaliadores referiram-se a dificuldades na compatibilização de uma actividade científica de elevado nível internacional com o presente funcionamento das universidades. Algumas das medidas que foram sugeridas neste aspecto foram:

- Redução substancial do período escolar anual dedicado a aulas e exames. Este período chega a ser de 43 semanas, enquanto que, por exemplo, nos EUA é usualmente inferior a 32 semanas.

- Limitação do tempo semanal dedicado a actividades lectivas pelos docentes. Este foi considerado exagerado e incompatível com uma elevada produtividade científica em várias instituições. Foi sugerido que se aplicasse um limite máximo de 6 horas de aula semanais.

- Melhoria e profissionalização do apoio administrativo e técnico às actividades de investigação, ensino e gestão universitária, de forma a reduzir bastante o presente grande envolvimento dos investigadores nesse tipo de actividades e a aumentar o tempo disponível para a investigação.

- Criação da possibilidade de docentes universitários poderem transitar temporariamente, por exemplo por períodos até três anos, para situações de investigadores a tempo completo sem obrigações docentes, regressando à actividade docente normal no termo desses períodos.

- Flexibilização da contratação de novos docentes de elevado mérito, ultrapassando a actual situação de bloqueio de contratações que se verifica em várias instituições universitárias e constitui obstáculo à actualização dos recursos humanos.

- Incentivo à mobilidade interinstitucional de docentes universitários.

Elevado potencial para uma actividade científica de qualidade internacional elevada

Vários avaliadores expressaram apreço pelos progressos recentes que observaram na actividade científica do país e admiração pelo grande entusiasmo e pela juventude que puderam observar em várias unidades, tendo-se referido à situação portuguesa como sendo singular num contexto internacional alargado e fonte de uma oportunidade que conviria aproveitar com financiamentos e orientações adequados.

Vários Painéis de Avaliação salientaram nos seus relatórios sobre algumas das unidades as actividades de vários investigadores recém-doutorados, com referências nominais explícitas, dando ênfase ao papel que poderão desempenhar na melhoria das actividades de investigação.

Aspectos inovadores da avaliação: critérios internacionais de referência, avaliação por Painéis de cientistas estrangeiros, visitas dos avaliadores às unidades, divulgação pública

É de salientar que esta avaliação envolveu vários aspectos inovadores. Em particular, pela primeira vez:

- As unidades de investigação associadas às universidades foram avaliadas com base em critérios internacionais de referência.

- A avaliação foi efectuada por Painéis de cientistas estrangeiros.

- A avaliação incluiu visitas dos avaliadores às unidades e a sua interacção directa com os investigadores.

- Os resultados são amplamente divulgados com recomendações dos avaliadores às unidades, explicitação pública dos critérios de avaliação e dos comentários das unidades.

Estes aspectos assumem uma importância particular em contraste com avaliações anteriores de unidades de investigação. Na verdade, as avaliações anteriores não estabeleceram critérios de referência, foram feitas por investigadores nacionais (em geral integrados em unidades que se encontravam em avaliação), não incluiram visitas às unidades nem qualquer outra interacção entre os avaliadores e os investigadores das unidades avaliadas, não resultaram em recomendações específicas às unidades, nem foram seguidas de ampla divulgação dos resultados.

Os aspectos inovadores referidos revelaram-se muito positivos e foram elogiados pelos avaliadores, mas a própria experiência obtida nesta avaliação em novos moldes sugere alterações para avaliações futuras.

 

Março de 1997

O Coordenador da Avaliação

Luis T. Magalhães