|
Memórias do Instituto Oswaldo Cruz
Fundação Oswaldo Cruz, Fiocruz
ISSN: 1678-8060 EISSN: 1678-8060
Vol. 98, Num. 3, 2003, pp. 293-297
|
Mem Inst Oswaldo Cruz, Rio de Janeiro, Vol. 98, No. 3, April, 2003, pp. 293-297
Fator de Impacto,
Produção Científica e Qualidade das Revistas Médicas
Brasileiras
José Rodrigues Coura1, Luciane de CB Willcox2
1Editor Científico
2Editora Administrativa
Code Number: oc03071
A comunidade científica
brasileira vem sendo altamente influenciada pelo fator de impacto das revistas
onde ela publica os seus trabalhos. Um dos indicadores utilizados e aceitos,
no Brasil, pela maioria dos pesquisadores, instituições de
ensino e pesquisa e agências financiadoras de pesquisa e pós-graduação,
particularmente pelo CNPq e pela Capes, é o Science Citation Index
(SCI), da base de dados do Institute for Scientific Information (ISI) divulgado
pelo Journal
Citation Reports (JCR).
O ISI indexa,
aproximadamente, 16 mil periódicos em mais de 160 áreas de
conhecimento. Dentre estes estão 15 revistas brasileiras, rigorosamente
selecionadas, que representam 0.09% de todas as revistas indexadas no ISI.
Destas 15, apenas uma (Computational and Applied Mathematics - publicada
em Cambridge, MA, USA) apresenta fator de impacto acima de 1, as outras 14
apresentam valores que variam de 0.764 a 0.032 no JCR 2001.
O fator de impacto é calculado
dividindo-se o número de vezes em que os artigos de uma revista são
citados em um determinado ano, em revistas indexadas pelo ISI, pelo número
de trabalhos publicados pela revista nos dois anos anteriores. Por exemplo:
os 423 artigos publicados pelas Memórias do Instituto Oswaldo Cruz em
1999 e 2000 foram citados 272 vezes em 2001 em revistas indexadas pelo ISI,
portanto, o fator de impacto das Memórias em 2001 foi de 0.643 (272/423).
Outros índices como o Immediacy Index, relação entre
as citações em 2001 dos trabalhos publicados naquele ano e
o Cited Half-life, cumulativo de anos anteriores, também são
apurados.
O programa SciELO
(Scientific Electronic Library On-line) coordenado pela Bireme e pela Fundação
de Amparo à Pesquisa do Estado de São Paulo (Fapesp), indexa
91 das cerca de 500 revistas brasileiras, em um percentual aproximado de
18% dos periódicos nacionais, incluindo automaticamente os indexados
pelo ISI, pelo Medline/Index Medicus e Psyinfo (APA) e outros selecionados
pelo Comitê Consultivo SciELO, de acordo com o caráter científico
da revista, seu Conselho Editorial, sua periodicidade, sua pontualidade,
número de artigos por ano, entre outros. Com critérios semelhantes
aos do ISI, e a nosso ver mais adequados à realidade brasileira e
menos discriminatórios, inclusive pela presença de avaliação
continuada de um Comitê Consultivo Inteligente, o SciELO inclui revistas
de boa qualidade científica e importância médico-social,
entre as quais destacamos a Revista da Sociedade Brasileira de Medicina
Tropical, a Revista do Instituto de Medicina Tropical de São Paulo,
a Revista de Saúde Pública e os Cadernos de Saúde Pública,
para citar apenas as mais relacionadas com o campo das Memórias do
Instituto Oswaldo Cruz.
Um dos méritos
do SciELO é fazer aflorar a chamada "ciência escondida" que,
ao contrário do que muitos pensam, não está sendo publicada
em revistas de segunda categoria. Considerando que o ISI indexa apenas 15
revistas brasileiras, os trabalhos publicados nos demais 76 periódicos
indexados pelo SciELO, não estariam sendo considerados. Excelentes
artigos, particularmente nas áreas da Medicina Tropical e da Saúde
Pública não são aceitos em revistas estrangeiras, principalmente
aqueles considerados de "interesse local". Informações
extremamente importantes deixam muitas vezes de ser divulgadas adequadamente
por não serem consideradas "ciência universal". Por
exemplo, um artigo sobre um surto de diarréia por um tipo específico
de Escherichia coli,
com vários casos fatais simulando cólera em comunidades da
Amazônia brasileira, deixa de ser aceito em algumas revistas indexadas
pelo ISI por ser um "problema local". Por outro lado, a emergência
da doença de Chagas na Amazônia, quando a doença começa
a ser controlada em áreas endêmicas, é também
considerada um problema de interesse local? Em geral, pesquisas sobre as
doenças negligenciadas (mas de grande importância para os países
subdesenvolvidos) não são do interesse dos países desenvolvidos;
portanto, os manuscritos gerados dessas pesquisas não serão
aceitos para publicação em revistas internacionais. Onde devemos,
então, publicar as pesquisas que interessam aos países emergentes
como o nosso? Devemos nós também deixar de pesquisar as doenças
que ainda atacam as populações menos favorecidas?
Artificialidade
dos índices de citação e dos fatores de impacto
Como já mencionado,
o critério mais popular para avaliar o fator de impacto de uma revista é o
valor adotado pelo SCI, da base de dados do ISI, divulgado pelo JCR. A artificialidade
desse critério pode ser claramente demonstrada pelo curto tempo de
avaliação, pelo tipo de artigo publicado e pela diferença
entre as áreas do conhecimento. Dois anos representam muito pouco
na área científica. Por exemplo, uma descoberta pode levar
até dez anos, ou mais, para ser comprovada, validada, discutida e
absorvida pela comunidade científica. Por outro lado o tipo de artigo,
um review ou uma adaptação técnica, podem ter um enorme índice
de citação a curto prazo, enquanto uma descoberta, dependendo
da área, pode levar anos até ser reconhecida. As áreas
de conhecimento têm diferentes dinâmicas. Não se pode
comparar um estudo epidemiológico na área da Medicina Tropical,
onde a comunidade é restrita, com um estudo imunológico onde
a comunidade é enorme. Certamente os índices de citação
das revistas de boa qualidade na Medicina Tropical não podem ser comparados
com os índices em revistas, também de boa qualidade, da Imunologia.
Revistas top,
do nível da Science e da Nature publicam artigos que
nunca, ou raramente, são citados antes de cinco anos ou mais (Garfield,
1983. Current Contents 44: 5-13). Artigos publicados no Lancet e no
New England Journal of Medicine, revistas médicas de boa qualidade,
têm um enorme índice de citação. Nem sempre os
ganhadores de Prêmio Nobel foram os autores mais citados em suas vidas
acadêmicas (Garfield 1986. Current Contents 23: 3-8).
E. Garfield, pioneiro na criação do índice de citação
para a ciência, argumenta: "Análise de citação
não é um atalho usado para substituir o bom senso", e
acrescenta: "É o ponto de partida para aqueles que desejam explorar
cada avenida da avaliação". Estes e outros exemplos podem
demonstrar a artificialidade dos fatores de impacto das revistas científicas,
chamado de "comédia de erros" por Dirk Schoonbaert e Gibert
Roelants (1996. Trop Med Intern Health 1 : 739-752).
Evolução
da Produção Científica Brasileira
A produção
científica brasileira, medida por número de artigos em periódicos
científicos internacionais indexados pelo ISI, mais que quintuplicou
de 1981 a 2001, passando de 1.889 artigos publicados em 1981 para 10.555
em 2001, segundo o Ministério da Ciência e Tecnologia do Brasil,
baseado em levantamento do ISI (citado por Claudia Izique, em Pesquisa
Fapesp, 2002). Conseqüentemente houve um crescimento das publicações
brasileiras de 0,44% da produção científica mundial
em 1981 para 1,4% em 2001. Este fato reflete naturalmente o aumento das pessoas
qualificadas para a pesquisa (doutores e mestres), que triplicou nos últimos
dez anos. A figura mostra a evolução da produção
científica brasileira indexada pelo ISI
O aumento
das publicações brasileiras em revistas internacionais indexadas,
conforme apresentado na figura, representa apenas uma parte desse crescimento.
Se considerarmos ainda as revistas indexadas pelo SciELO, não incluídas
no ISI, esse aumento seria acrescido em pelo menos um terço, chegando
aos 13.000 - 14.000 artigos entre os internacionais e nacionais indexados,
sem contar os artigos de 80% de outras revistas brasileiras não indexadas
pelo ISI/SciELO. Por outro lado, a produção bibliográfica
global de pesquisadores doutores, levantada pelo Diretório de Pesquisa
do CNPq, no período de 1998 a 2001, em revistas nacionais e internacionais,
apresenta uma média anual de aproximadamente 46.000 publicações,
ou seja, mais de três vezes em relação às publicações
indexadas. Esta sim, poderia ser considerada em parte a "ciência
escondida" ou negligenciada, nos seus dois terços publicados em
revistas não indexadas.
REVISTAS
MÉDICAS BRASILEIRAS. PARA ONDE VAMOS?
Numerosas revistas
médico-biomédicas são editadas no Brasil, duas ou três
indexadas pelo ISI e algumas pelo programa SciELO, que inclui, como já mencionado,
o ISI e o Medline/Index Medicus. Entre as revistas indexadas pelo ISI destacam-se
as Memórias do Instituto Oswaldo Cruz e o Brazilian Journal
of Medical and Biological Research, que obtiveram, em 2001, respectivamente,
1.443 e 1.453 citações em revistas indexadas pelo ISI, obtendo
fatores de impacto de 0.643 e 0.769, respectivamente, inferiores ao exigido
para o QUALIS A (= 1) da Capes para os cursos das áreas de ciências
biológicas II e III.
No caso do Brazilian
Journal a coordenação daquelas áreas resolveu
promovê-lo, por exceção, para QUALIS A, apesar de seu
fator de impacto ser igual a 0.769. Quando considerado o Immediacy Index
do ISI, as Memórias tiveram 223 citações em
2001, obtendo um índice de 0.067, enquanto o Brazilian Journal teve
197 citações naquele ano e ficou com o Immediacy Index de
0.056, confirmando a artificialidade dos índices a que nos referimos.
Quando considerado
o índice SciELO, o Brazilian Journal, que publicou 593 artigos
nos anos 1998, 1999 e 2000, que foram citado 48 vezes em 2001, obteve um
fator de impacto de 0.0809, enquanto as Memórias, que publicaram 599
artigos naquele período, que foram citados 212 vezes em 2001, obtiveram
um impacto de 0.272 ou seja 3.36 vezes maior. Isso não significa que
as Memórias sejam 3.36 vezes melhor do que o Brazilian Journal,
apenas confirma a artificialidade e a variabilidade dos diversos índices.
Outros periódicos
como a Revista da Sociedade Brasileira de Medicina Tropical, os Cadernos
de Saúde Pública, a Revista de Saúde Pública
e a Revista do Instituo de Medicina Tropical de São Paulo, que
publicaram respectivamente 307, 372, 344 e 283 artigos, tiveram fatores de
impacto SciELO de 0.420, 0.247, 0.239 e 0.155, respectivamente, no período.
Da mesma forma isso não significa que eles sejam melhores ou piores
entre si ou em relação às Memórias ou
ao Brazilian Journal. São condições circunstanciais
que favorecem a maior citação por um ou outro índice.
A Revista da Sociedade Brasileira de Medicina Tropical, embora não
indexada pelo ISI, é uma boa revista, com corpo editorial exigente
e tem a vantagem de ser uma revista de sociedade, distribuída para
centenas de sócios, sendo por isso muito citada por eles. Este é o
mesmo caso do American Journal of Tropical Medicine and Hygiene (de
maior impacto na área de Medicina Tropical) e do American Journal
of Clinical Microbiology, cuja sociedade tem milhares de sócios,
grande distribuição e alto índice de citação
e de impacto.
Nós brasileiros
somos muito interessantes e criativos; melhoramos muito as nossas revistas,
com corpo editorial rígido e financiamentos específicos das
agências de fomento. Depois essas mesmas agências criam um critério
(QUALIS), que não consideram as nossas revistas, exceto uma delas
promovida por exceção, por não atingirem o fator de
impacto mínimo exigido por elas, mesmo as indexadas no ISI. Em conseqüência,
submetemos os nosso melhores trabalhos para revistas estrangeiras, de maior
fator de impacto, prejudicando as nossas próprias revistas, esperando
alcançar o QUALIS da Capes ou talvez "O Prêmio Nobel do
Terceiro Mundo" por termos publicado em revistas do primeiro mundo.
A ciência brasileira melhorou, mas a consciência de parte da
comunidade científica não evoluiu no mesmo nível! QUO
VADIS?
José Rodrigues
Coura
Editor
Científico
Luciane de CB Willcox
Editora
Administrativa
Impact Factor, Scientific Production and Quality of Brazilian
Medical Journals
Vol. 98(3): 293-297,
April 2003
Brazilian scientific community is highly influenced by the
impact factor rates of the journals where their production is published.
There is an indicator that is used and accepted, in Brazil, by the majority
of researchers, research and educational institutions, and also by most research
and post-graduation financing agencies, especially CNPq and Capes; it is
the Science Citation Index (SCI), from the Institute for Scientific Information
(ISI) databases, which is published in the Journal Citation Reports (JCR).
ISI indexes nearly
16,000 journals, within more than 160 areas of knowledge. Among these titles,
there are 15 Brazilian journals, carefully selected, that represent 0.09%
of all ISI indexed titles. Considering the 15 Brazilian journals, only one
(Computational and Applied Mathematics _ Cambridge, MA, USA) reached
an impact factor higher than 1, the others ranges from 0.764 to 0.032, according
to JCR 2001.
The impact factor
is determined by dividing the number of citations received by the journal
articles within a year on ISI indexed journals, to the number of works published
by the journal during the two previous years. For instance: the 423 articles
published by Memórias do Instituto Oswaldo Cruz in 1999 and 2000 were
cited 272 times, in 2001, on ISI indexed journals; therefore, Memórias' impact
factor, in 2001, achieved 0.643 (272/423). Other indicators are also considered,
such as the Immediacy Index that points out the relation between the
citations, in 2001, of papers published in that same year, and the Cited
Half-life that accumulates from previous years.
The SciELO program
(Scientific Electronic Library On-line), coordinated by Bireme and Fundação
de Amparo à Pesquisa do Estado de São Paulo _ Fapesp (São Paulo State Research
Support Foundation), indexes 91 from nearly 500 Brazilian journals. This
number represents about 18% of national journals, including those indexed
by ISI, by Medline/Index Medicus and Psyinfo (APA) and others selected by
SciELO Consultant Committee, according to the journal scientific guidelines,
the Publishing Board, periodicity, punctuality, number of articles during
the year, among other criteria. Following ISI similar criteria and, in our
opinion, more adapted to Brazilian reality and less discriminatory, even
because of a continuous evaluation process accomplished by an Intelligent
Consultant Committee, SciELO includes journals of excellent scientific quality
and medical-social importance. Among these, we call attention to Revista
da Sociedade Brasileira de Medicina Tropical, Revista do Instituto
de Medicina Tropical de São Paulo, Revista de Saúde Pública, and Cadernos
de Saúde Pública, only to mention those, which are akin to Memórias
do Instituto Oswaldo Cruz.
A merit of SciELO
is the fact that this program manages to reveal the so called "hidden science",
which, contrary to what most people believe, is not being published on second
line journals. Considering that ISI indexes only 15 Brazilian journals, the
papers published on the other 76 journals indexed by SciELO are not being
considered. Excellent articles, mainly on the areas of Tropical Medicine
and Public Health are not accepted in foreign journals, especially that considered
of "regional interest". Many times, extremely important information is not
properly divulged because they are not considered "universal science". For
instance, an article about a diarrhea outbreak caused by a specific kind
of Escherichia coli, which presented fatal occurrences similar to
cholera in Brazilian Amazonian communities, is not accepted in some ISI indexed
journals, because treats of a "local problem". On the other hand, the emergence
of Chagas disease in the Amazonian region, at the same time the disease starts
to be controlled in endemic areas, should also be considered a local interest
problem? Generally, researches about neglected diseases (although of great
interest for underdeveloped countries) do not call attention of developed
countries; therefore, essays created upon these researches are not accepted
for publishing on international journals. Where should we publish, then,
the researches that are interesting to emerging countries like ours? Should
we also stop studying diseases that still prevail among underprivileged population?
Artificiality of Citation Indexes and
Impact Factors
As already mentioned,
the most popular criterion for evaluating a journal impact factor is the
value adopted by SCI, from ISI databases, and published by JCR. The artificiality
of this criterion may be clearly demonstrated, by considering the short time
taken into account for evaluation, the published article type and the difference
between knowledge areas. Two years represent very little, in terms of scientific
area. For instance, a scientific discovery may last ten years or more to
be proved, validated, discussed and absorbed by scientific community. On
the other hand, the type of article, a review or a technical adaptation,
may register a high index of citations within a short period, while a discovery,
depending on the area, may take years to be recognized. The knowledge areas
have different dynamics. One can never compare an epidemiological study in
the Tropical Medicine area, a restricted community, with an immunological
study that contemplates a huge community. Certainly, the citation indexes
of Tropical Medicine respectable journals cannot be compared with the indexes
recorded in, also respectable, Immunology journals.
Top journals, such
as Science and Nature, publish articles that are never, or
rarely, cited before five years or more (Garfield, 1983. Current Contents
44: 5-13). Articles that are published in the Lancet and in the New
England Journal of Medicine, reputable Medicine journals, have an enormous
citation index. Nobel Prize winners sometimes are not the most cited authors
in their academic life (Garfield 1986. Current Contents 23: 3-8).
E. Garfield, a pioneer regarding the creation of science citation index,
argues: "Citation analysis is not a shortcut to be used as a replacement
for thinking", and adds: ``It is the point of depature for those who are
willing to explore every avenue to thorough evaluation". These and other
examples points out the artificiality of scientific journals impact factors,
called "comedy of errors" by Dirk Schoonbaert and Gibert Roelants (1996. Trop
Med Intern Health 1: 739-752).
Evolution of Brazilian Scientific Production
The Brazilian scientific
production, measured by the number of articles on ISI indexed international
scientific journals, increased more than five times from 1981 to 2001; in
1981, there were 1,889 published articles and, in 2001, this number reached
10,555, according to Brazilian Ministry of Science and Technology, based
on a ISI survey (mentioned by Claudia Izique, in Pesquisa Fapesp,
2002). As a result, there was an increase in Brazilian publications in relation
to international scientific production, which ranged from 0.44%, in 1981,
to 1.4%, in 2001. This fact naturally indicates an increase in the number
of qualified people for research (Doctors and Masters), which triples in
the last ten years. The Graphic shows the evolution of Brazilian scientific
production indexed by ISI.
The increase of Brazilian works published on indexed international journals,
as presented on the Graph, illustrates only part of the whole increasing process.
If we also take into account the SciELO indexed journals, not included in ISI,
this number would be one third higher and would reach 13,000 - 14,000 articles,
among the international and national indexed ones; not mentioning articles
of the other 80% of national journals that are not indexed by ISI/SciELO. On
the other hand, global bibliographic production from doctors researchers, recorded
by the Research Directory of CNPq, between 1981 and 2001, considering national
and international journals, points out an annual average of approximately 46,000
titles; what means a number three times higher than the indexed publications.
The science that comes out from the two-thirds of articles not published on
indexed journals, this could be called "hidden science" or neglected science.
Brazilian Medical Journals. Where Are We Going?
There are many medical-biomedical
journals published in Brazil. Two or three of them are indexed by ISI and
some of them, by SciELO program, which includes, as already mentioned, ISI
and Medline/Index Medicus. Among ISI indexed periodicals, Memórias do
Instituto Oswaldo Cruz and the Brazilian Journal of Medical and Biological
Research should be pointed out, as they received, respectively,
1,443 and 1,453 references on ISI indexed journals; therefore, achieving
an impact factor of 0.643 and 0.769, lower values than those required by
Capes' QUALIS A (=1), regarding Biological Sciences I and II courses.
In the case of Brazilian
Journal, the coordination of the mentioned areas decided to raise it,
in exception, to QUALIS A, though its impact factor is 0.769. When considered
the ISI Immediacy Index, Memórias recorded 223 references in 2001
and an impact factor of 0.067, while the Brazilian Journal recorded 197
references during the same year and registered 0.056 in the Immediacy Index, confirming
the artificiality of the referred indexes.
If we consider SciELO
index, the Brazilian Journal, which published 593 articles in 1998,
1999 and 2000, cited 48 times in 2001, obtained an index of 0.0809; while Memórias published
599 articles during that period, cited 212 times in 2001, and obtained an
impact factor of 0.272, that is to say, 3.36 times higher than the first
one. This fact does not mean that Memórias is 3.36 times better
than the Brazilian Journal, but just confirms the artificiality and
variability of the different indexes.
Other Brazilian
journals, such as Revista da Sociedade Brasileira de Medicina Tropical, Cadernos
de Saúde Pública, Revista de Saúde Pública and Revista do Instituo
de Medicina Tropical de São Paulo published, respectively, 307, 372,
344 and 283 articles and recorded SciELO impact factors of 0.420, 0.247,
0.239 and 0.155, in the period. In the same way, this fact does not mean
that they are better or worse than each other, or in comparison with Memórias or Brazilian Journal. It
depends on the circumstances, which may favor citations on one or on other
index. Although not being indexed by ISI, Revista da Sociedade Brasileira
de Medicina Tropical, is a fine periodical, with strict editorial guidelines
and the advantage of being an Association journal; thus, it is distributed
for hundreds of associates and is very cited by them. The same situation
occurs in the case of the American Journal of Tropical Medicine and Hygiene (of
greater impact in the Tropical Medicine area) and the American Journal
of Clinical Microbiology, as they have thousands of associates, a large
distribution and high indexes of citation and impact.
We, Brazilians,
are very interesting and creative; we improved a lot our journals, with a
rigid editorial guideline and specific financing from development agencies.
Afterwards, these same agencies establish a criterion (QUALIS) that does
not favor our journals, except one of them promoted in exception, because
these journals do not reach the minimum impact factor established by the
agencies, even though they are ISI indexed. As a consequence, we submit our
best papers to foreign journals, which present a higher impact factor and,
doing so, hoping to reach Capes' QUALIS or, maybe, the "Third World Nobel
Prize", we contribute to lower the quality of our own journals. Brazilian
science has improved, but the conscience of part of the Brazilian scientific
community did not improve in the same level! QUO VADIS?
José Rodrigues Coura
Editor Científico
Luciane de CB Willcox
Editora Administrativa
Copyright 2003 Instituto Oswaldo Cruz - Fiocruz
|