 |
| About Bioline | All Journals | Testimonials | Membership | News |
|
||||||
|
||||||
Biotecnología Aplicada 1999;Vol. 16, No. 1 : 53-59 Nueva Metodología Para La Evaluación De Proyectos De I+D En Biotecnología Rubén Ramos Centro de Ingeniería Genética y
Biotecnología. Ave. 31 e/158 y 190, AP 6162, Playa, Code Number: BA99012
ABSTRACT A methodology for research project evaluation was made in the Center for Genetic Engineering and Biotechnology (CIGB, Havana, Cuba), which allowed to establish priorities among a high variety of projects related with different sectors and basic, applied and technologic innovation profiles. This methodology, used in the CIGB, contributed to a better organization of the research process, as well as to a better design of the already conceived projects. Keywords: biotechnology, evaluation, proyects RESUMEN En el Centro de Ingeniería Genética y Biotecnología (CIGB, Habana, Cuba), se elaboró una metodología para la evaluación de proyectos de investigación en biotecnología, la cual permitió establecer prioridades entre una amplia gama de proyectos relacionados con diferentes sectores y de perfiles básico, aplicado y de innovación tecnológica. Esta metodología, utilizada en el CIGB, contribuyó a una mejor organización del proceso de investigación, así como a un mejor diseño de los proyectos de investigación confeccionados. Palabras claves: biotecnología, evaluación, proyectos Introducción La evaluación de los proyectos de investigación y desarrollo (I+D) en biotecnología, constituye un problema de alta complejidad. Para esto, es necesario contar con una metodología que permita la comparación de criterios cuantitativos entre todos los proyectos y que permita definir un orden de prioridades. La evaluación de proyectos se ha convertido en una necesidad, tanto para el que escribe un proyecto, como para quien tiene que realizar una priorización entre un número de ellos, ya sea por la mejor utilización de los recursos con que se cuenta, así como por la necesidad de definir aquellos que conduzcan a resultados más rápidos y de mayor impacto. Esta metodología permite, después de hacer una evaluación de los proyectos, confeccionar un listado según la puntuación de cada uno de ellos, lo cual puede ayudar a establecer los criterios de prioridad. Se describen los pasos dados para la elaboración de la misma y su aplicación por varios años en el Centro de Ingeniería Genética y Biotecnología. Tipos de Proyectos Definiciones Los proyectos de I+D, para su mejor caracterización, se clasifican en: • proyectos básicos • proyectos aplicados • proyectos de innovación tecnológica Proyectos básicos Son proyectos que pretenden alcanzar un nivel de conocimiento básico y no necesariamente tienen que producir, en su objetivo primario, un producto comercializable. Proyectos aplicados Son proyectos que pretenden darle solución a problemas existentes, dando una solución nueva a los problemas técnicos o brindando nuevas alternativas. En estos proyectos, se tiene como objetivo la búsqueda de un producto o servicio para satisfacer una necesidad bien identificada, aunque el producto puede no estar completamente terminado. Proyectos de innovación tecnológica Son proyectos dirigidos al mejoramiento o establecimiento de procesos, productos o servicios que requieran del desarrollo de actividades relacionadas con la industria, el diseño de procesos y el escalado. En la Tabla 1 se especifican las características esenciales de los tipos de proyectos analizados por esta metodología de evaluación. Tabla 1. Características de los tipos de proyectos.
Definiciones para la evaluación de proyectos El proceso de evaluación de proyectos se compone de tres tipos de actores: Líder del proyecto. Es el elemento motor en la generación de ideas que den lugar a las propuestas de proyectos, y se identifica con el investigador/innovador involucrado. Evaluadores del proyecto. Se componen de al menos tres evaluadores, seleccionados por su conocimiento del campo de trabajo del proyecto a evaluar, y tratando que no tengan una relación directa con el proyecto considerado para evitar prejuicios profesionales. Inversionistas del proyecto. Son aquellos a los cuales van dirigidos los proyectos por ser los administradores de los recursos financieros a invertir, y quienes se auxilian de los resultados de la evaluación para la toma de las decisiones. Proceso de evaluación de los proyectos de I+D ¿Por qué y por dónde comenzar? Para comenzar el proceso de evaluación de los proyectos de investigación, es necesario: 1. Crear una comisión de evaluación de proyectos integrada por: • un presidente, • tantos tríos de especialistas como tipos de proyectos (relacionado con el tema de trabajo) que se presenten. 2. Confeccionar un cronograma de evaluación de los proyectos. 3. Convocar a la presentación de los proyectos, definiendo un plazo de entrega y solicitando la confección de un documento del proyecto para su análisis por los evaluadores. 4. Recepcionar los proyectos y proceder al análisis y a la evaluación por los tríos de cada uno de los proyectos. Los tríos pueden sostener consultas con el líder o algún integrante de cualquiera de los proyectos. 5. Realizar las evaluaciones por los tríos, las cuales se efectúan con los modelos de evaluación. Ejemplos de estos modelos se ofrecen en este documento (Figuras 1-3). 6. Consolidar las evaluaciones en un documento, que es entregado al inversionista para su utilización en la definición de prioridades. 7. La comisión de evaluación hace público el listado de prioridades entregado al inversionista. Figura 1. Modelo de evaluación de los proyectos básicos. Nota: para hacer uso del modelo de evaluación, los evaluadores deben conocer lo siguiente: • La evaluación del proyecto debe ser precedida por una
lectura cuidadosa del evaluador. Proyectos aplicados
Cuestionario de evaluación de proyectos de
innovación tecnológica
Elementos para la confección del proyecto ¿Cuáles son los datos a solicitar a los líderes de los proyectos? El proyecto debe confeccionarse según los puntos siguientes: • Título del proyecto. • Clasificación del proyecto (básico, aplicado o de innovación tecnológica). • Nombre y apellidos del investigador principal del proyecto (categoría ocupacional y grado científico). • Resumen (máximo 200 palabras). • Antecedentes y estado actual de la temática. Debe incluir la bibliografía más relevante y reciente y las patentes existentes sobre la temática objeto de investigación (máximo 2000 palabras). • Justificación del proyecto. Se reflejarán los aspectos que aconsejen la realización del proyecto dado, tomando en cuenta los criterios de evaluación para cada tipo de proyecto, los cuales previamente se harán públicos (planillas de evaluación). • Objetivos concretos del proyecto. Se definirán los objetivos del proyecto enumerando cada uno de ellos. • Planificación a ciclo completo. Se presentará suficientemente detallada con el desglose de las tareas, indicando el cronograma de ejecución de las mismas, auxiliado por una ruta crítica. En caso de participación de varias entidades, explicar claramente el diseño y el plan de las tareas a desarrollar por cada una de ellas. • Estudio de mercado (sólo para proyectos de innovación tecnológica y aplicados). En este estudio, se presentará la caracterización del mercado que utilizará los resultados, teniendo en cuenta las características de los posibles clientes o usuarios y el nivel que el nuevo "producto" logrará en la satisfacción de los requerimientos de los clientes. Explicación de las ventajas competitivas del "producto" en relación con los competidores existentes en el mercado. Mercado al que se puede acceder, características de la competencia existente y requerimientos para su introducción, ya sea nacional o internacional. Insumos de los que dependerá la realización del nuevo "producto", proveedores (nacionales y extranjeros), precios y acceso al mercado proveedor. En los proyectos aplicados, la elaboración de los detalles ha de ser menor. • Análisis económico y financiero del proyecto (sólo para proyectos de innovación tecnológica y aplicados). En todos los casos se deben presentar, de forma clara, las bases de cálculo que se emplearon para realizar el análisis. El mismo debe contener los indicadores que se utilizan en la literatura internacional, como valor actual neto (VAN), la tasa interna de rentabilidad o retorno (TIR), el período de recuperación de los gastos de investigación, el análisis costo-beneficio y sus correspondientes análisis de sensibilidad. Para llegar a estos indicadores, es necesario conformar el flujo de caja del proyecto, en el que se reflejan los egresos y los ingresos en cada año de duración del proyecto, incluyendo la etapa de comercialización de los resultados. En los proyectos aplicados, la elaboración de los detalles ha de ser menor. • Total de investigadores que laboran en el proyecto (nombre, categoría ocupacional, grado científico, años de experiencia). Especificar el equivalente de participación a jornada parcial o completa. • Presupuesto en recursos materiales. Exponer los recursos materiales necesarios para las diferentes etapas del proyecto en dólares norteamericanos, desglosado en equipos, materiales, misceláneas, reactivos, literatura científica, misiones, becas, eventos científicos, total. • Presupuesto del proyecto en salarios. Detallar por participante (anual) y total. • Área de laboratorio a utilizar (en m2). Criterios de evaluación ¿Qué método se utilizó para definir los criterios de evaluación? Los criterios de evaluación para cada tipo de proyecto, se establecieron por un grupo de especialistas de diferentes sectores de la biotecnología (más de 20) convocados para una evaluación comparativa de criterios. Éstos se elaboraron, según el método jerárquico de Saaty [1]. Entre las propiedades de este método se destacan: • elegante fundamentación teórica • apreciable experiencia (internacional) de uso • difícil manipulación • estratificación de forma natural de la jerarquización de los criterios • intuición del decisor y acogimiento de sus posibles inconsistencias. • En su contra, sus mayores inconvenientes son: tediosas sesiones de comparaciones binarias a las que somete al decisor • peligrosa influencia contraintuitiva de las escalas de medida indeseables efectos de reversión de orden que pueden producirse. Explicación del método con un ejemplo Como ejemplo de utilización, se puede plantear el problema siguiente: se quiere hacer una evaluación de los proyectos de carácter básico, para lo cual es necesario darle un valor relativo, sobre la base de 100 puntos, a los criterios señalados a continuación: • A1. Impacto científico en el sector • A2. Recursos financieros del proyecto • A3. Desarrollo de la investigación • A4. Propiedad intelectual (industrial) • A5. Extensión • A6. Idoneidad Se trata de hallar una relación jerárquica entre criterios, mediante comparaciones binarias entre dos elementos, por lo que, para este caso, se compara la relación entre los criterios A1A2 y se valora del 1 al 9 si el criterio A1 es más importante que el A2, o del 1/1 al 1/9 si el criterio A1 es menos importante que el A2 (Tabla 2). Tabla 2. Valoración cualitativa de los criterios de evaluación según Saaty.
Las comparaciones se realizan entre todos los criterios, existiendo un número de comparaciones que depende del número de criterios, por lo que, para este caso, serían los reflejados en la Tabla 3. Tabla 3. Comparaciones realizadas entre los diferentes criterios de evaluación.
En el análisis realizado, se logró un consenso preliminar y los resultados se vuelcan en una matriz cuadrada, como se muestra en la Tabla 4. Tabla 4. Resultados del análisis de comparación de los diferentes criterios de evaluación.
Los elementos de la diagonal principal deben tener el valor de 1, ya que se trata de la comparación consigo mismo,por lo que no puede haber otra cosa que equivalencia de preferencias. Los elementos debajo de la diagonal principal, deben tener necesariamente una relación inversa con respecto a las comparaciones hechas por encima de esta diagonal: si A1 es 1/7 veces superior a A4, entonces necesariamente A4 es 7 veces superior a A1. Los resultados del análisis de comparación de criterios por la comisión reunida al efecto, se elaboraron según el procedimiento del cálculo de matrices, según el método de Saaty, y se obtuvo que al analizar los proyectos básicos, la puntuación relativa para cada criterio es la que se resume en la Tabla 5. Tabla 5. Puntuación relativa de los criterios de evaluación.
Esto significa que al valorar un proyecto básico en concreto, es necesario, en primer lugar, tener en cuenta el impacto científico en el sector (30,1), en segundo lugar, los elementos del desarrollo de la investigación (24,8), en tercer lugar, la idoneidad, y así sucesivamente. Si cada criterio de divide en subcriterios, y se le asigna una puntuación a cada uno de ellos, se puede hacer una valoración cuantitativa más justa de los proyectos básicos. Como resultado de la aplicación de esta metodología, en el Centro de Ingeniería Genética y Biotecnología, se obtuvieron los modelos de evaluación que se presentan en las Figuras 1-3. Resultados y conclusiones de la aplicación de esta metodología Durante el año 1996, se aplicó una metodología de evaluación de proyectos de investigación en biotecnología en el CIGB. Esta institución tiene la característica, como centro de investigaciones, que aborda todos los aspectos de la biotecnología moderna, es decir, farmacéutica (vacunas y medicamentos), diagnóstico, agrícola e industrial, y, además, se desarrollan investigaciones de carácter básico, aplicados y de innovación tecnológica. La metodología aplicada en 1996 mostró que los criterios utilizados hasta ese momento, no permitían una priorización puntual adecuada, obteniéndose una meseta al comparar todos los proyectos evaluados (Figura 4), con poca posibilidad de discriminación. Además, los proyectos básicos eran subvalorados al estar las evaluaciones recargadas de conceptos económicos, poco útiles en la valoración de este tipo de proyecto. Figura 4: Distribution del numero de proyectos segun la puntuacion obtenida en las evaluaciones de los anos 1996-1998 Sin embargo, esta nueva metodología aplicada en los años 1997 y 1998 en la evaluación de los proyectos del CIGB, y descrita en este trabajo, mostró que la distribución de las evaluaciones en el año 1997 se agrupan fundamentalmente entre 70 y 80 puntos. Hubo extremas de evaluaciones de proyectos de mayor calidad (>80) y de menor calidad (<70). Ya en 1998, esta curva se acentúa al mejorar la experiencia en la confección de proyectos entre los evaluadores y los líderes de los proyectos. Además, al valorar los proyectos básicos con otros conceptos más adecuados, la calificación final permitió ubicarlos con paridad de puntuación junto con los otros tipos de proyectos, lo cual se evidencia en estos gráficos. Como experiencias principales, adquiridas en la realización de este trabajo, se pueden relacionar las siguientes: • Es importante precisar los criterios de evaluación con la participación de especialistas de los diferentes sectores de la biotecnología. • Se puede lograr una priorización de proyectos de investigación sobre la base de esta evaluación técnica, para facilitar la toma de decisiones en relación con los proyectos a abordar, lo que ha permitido mejorar la distribución de los recursos financieros asignados al CIGB para la investigación. • El proceso de evaluación de proyectos, basado en una metodología que aporta un valor cuantitativo, contribuyó al nivel de organización del proceso de investigación, tanto por la claridad y solidez observada en los proyectos confeccionados, como en la pericia alcanzada en la evaluación de un planteamiento cientíco-técnico. • La valoración de los proyectos básicos mejoró ostensiblemente, al calificar estos proyectos con conceptos adecuados. • En la confección del proyecto, se eludió la solicitud de datos de una planificación excesiva, la cual no se cumple como regla general por la dificultad de poder prever todos los detalles que se presentarán en el proceso de ejecución del mismo. Siempre es mejor planificar el lineamiento general, lo cual se acerca a la realidad, y la confección escrita del proyecto no se convierte en un trabajo agobiante para los que lo presentan. A gradecimientosEste trabajo fue llevado a cabo con la ayuda en financiamiento del Centro Internacional de Desarrollo Científico (IDRC), Ottawa, Canadá. El autor le agradece el trabajo realizado al colectivo de especialistas que participaron en la elaboración de la metodología, y también a aquellos que han participado en la aplicación de la misma. Referencias 1. Saaty TL. A scaling method for priorities in hierachical structures. Journal of Mathematical Psychology 1977;15(3):234-81. Copyright 1999 Elfos Scientiae The following images related to this document are available:Line drawing images[ba99012b.gif] [ba99012a.gif] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||
