EL DEBATE: Sobre la ciencia y las revistas científicas: el quinto elemento

 

Por Marcelo Campo

Director del Instituto Superior de Ingeniería de Software Tandil (CONICET-UNICEN). Investigador principal de CONICET y profesor titular de la Facultad de Ciencias Exactas, UNICEN, Argentina.

 

align="left"

El Dr. Pablo Jacovkis, prestigioso investigador, ha publicado el 5 de Marzo en el espacio de foros de CTS un interesantísimo artículo respecto del sistema de publicaciones científicas y su reconocimiento. En este artículo deseo agregar una opinión más al debate respecto de publicaciones “normales” y el sistema open access, desde el punto de vista de mi experiencia como miembro conspicuo de lo que denomino, eufemísticamente, la "patria evaluadora".

 

El Dr. Jacovkis realiza una descripción muy acertada de las realidades del sistema científico, la necesidad de publicar resultados importantes y demás. En una reunión que organicé en Febrero, Skunk Talks 2014, a la cual asistió la mayoría de los investigadores de peso en el área de TIC, planteó una cuestión interesante respecto de otro debate que existe en la comunidad informática respecto de revistas versus conferencias. Si hay una encrucijada y un autor tiene un artículo aceptado en una conferencia y en una revista top, ¿dónde decide publicarlo? La respuesta de importantes investigadores del área fue: "Depende de los tiempos". Pero lentamente se inclinaron a responder que si la revista fuera "X", la decisión sería la revista. Obviamente, la revista depende del área de experticia, pero ninguna de ellas es open access. ¿Por qué? En mi opinión, son dos razones que se resumen en una: “prestigio”. Prestigio ganado con marketing y aceptación de la comunidad como tal.

 

La experiencia open

 

Teniendo la mente abierta y curiosidad acepté ser editor de una publicación open access. Me envían un artículo para evaluar y lo asigno a dos evaluadores del mayor nivel en el tema. Las evaluaciones coincidían en la poca calidad del texto. Resultado, a pesar de mi informe negativo el artículo apareció publicado.

 

Es decir, creo que estamos hablando de dos modelos de negocio, pay per view versus pay per publish. En ambos casos considero que son leoninos, basados en diferente dialéctica. De hecho, las grandes editoriales adoptaron los dos modelos, con la excusa de la necesidad de que aparezcan rápidamente debido a las presiones de publicar que sufrimos los investigadores, los cuales somos evaluados en forma ya cuasi-persecutoria en diferentes estamentos, por la misma actividad.

 

John Bohannon publicó una impactante descripción de un experimento similar en Science (4 de Octubre 2013, Vol. 342 - disponible en: www.sciencemag.org), en el cual demuestra las falencias del sistema, aunque reconoce que el sistema puede der valioso.

 

El quinto elemento

 

Digo cuasi-persecutoria, pues cada dos años debo formatear un informe de mis actividades bi-anuales o anuales y desperdiciar tiempo llenando planillas diferentes para el CONICET, la Agencia, la Universidad, la CONEAU, el Ministerio y algo más. Este mismo informe, convertido en varios en diferente formato, es evaluado por comisiones diferentes y las respuestas son obviamente diferentes.

 

Con esto no quiero decir que no debe haber evaluaciones. Por el contrario: son necesarias y parte fundamental del sistema científico. El problema es el quinto elemento: la calidad de las evaluaciones.

 

Resulta bastante apropiado decir que cuando a un evaluador se le requiere una evaluación de una revista de factor de impacto muy elevado, se esmera mucho más por una cuestión de imagen con el editor. Así, las evaluaciones en ese tipo de revistas normalmente son de mejor calidad y contribuyen a generar un artículo más sólido y fundamentado. Las evaluaciones de este tipo son usualmente concisas y contundentes, más aún, constructivas cuando el trabajo es serio y contribuye de forma novedosa.

 

En el área de TIC, las evaluaciones extensas, típicas de conferencias, normalmente son realizadas por doctorandos o recién doctores quienes desean -usualmente- mostrar su erudición y generalmente aportan solo críticas, no sugerencias. En algunos casos resultan ofensivas. En mi experiencia, esto no sólo ocurre en conferencias, sino que las he visto en mis múltiples participaciones como miembro de comisión de TIC de CONICET y coordinador del área de TIC de la Agencia. En este contexto los miembros de comisión se ven obligados, a veces, a buscar alternativas de calidad, pidiendo por favor a otros investigadores líderes que realicen la evaluación, y los resultados son notoriamente diferentes. Este fenómeno también se nota en revistas de escaso impacto, a pesar de ser indexadas. De este modo, algunos alientan la publicación en open access, con el argumento de democratizar la difusión del conocimiento de forma supuestamente gratuita. Desde ya, no puedo generalizar esto a otras áreas de la ciencia.

 

La real democratización

 

La realidad es que las redes sociales, como por ejemplo Research Gate, están cambiando todo esto. Recibo, en promedio, una decena de pedidos de manuscritos de mis publicaciones y nada impide, sin violar la cesión de derechos, enviar a los investigadores interesados información relativa a mi investigación. Como bien dice Pablo, investigadores formados naturalmente encontrarán errores, si los hay, pues un investigador serio raramente publica resultados no comprobados adecuadamente.

 

Ya tenemos Tierra (los papers), Agua (la evaluación), Aire (la difusión) y Fuego (las reacciones de todo tipo). El Quinto Elemento es el que “abre el acceso” a la calidad final. No importa dónde se publique, Internet ya ha cambiado la forma de transferencia y los investigadores, como tales, somos muy hábiles para conseguir conocimiento si los medios están a nuestro alcance. Y lo interesante de todo esto es que los medios están, tanto para publicar como para evaluar…

 

El desafío consiste en cómo medir el impacto de estos trabajos, y por lo pronto el mecanismo, discutible por cierto, son las revistas con una clara trayectoria de seriedad aceptada por toda la comunidad. El ideal es que ese mecanismo sea gratuito. Como todo ideal, parece utópico.

 

Cinco intrigas respecto del quinto elemento

 

Existen muchos enfoques y propuestas, pero me surgen al menos cinco interrogantes respecto de las muchas cosas que he leído y escuchado, que resumo en las siguientes preguntas:

 

¿Este ideal será posible?

 

¿Podrán los open access alcanzar alguna vez la confianza de que cumplen con el quinto elemento?

 

Los repositorios nacionales de producción científica serían un camino, pero... ¿podrán garantizar políticamente el quinto elemento?

 

¿Las conferencias, versus las revistas, garantizan el quinto elemento?

 

¿Cómo es medible el quinto elemento sin una interpretación subjetiva?

 

 

Publicado el 7 de abril de 2014