search
for
 About Bioline  All Journals  Testimonials  Membership  News


Biotecnologia Aplicada
Elfos Scientiae
ISSN: 0684-4551
Vol. 16, Num. 1, 1999
ba99008

Biotecnología Aplicada 1999;Vol 16, No. 1 :31-36

Automatización Del Análisis De Los Resultados Del Elisa

*Aimé Pérez, Ernesto Guerra, Alexis Labrada

*Corresponding author

Centro Nacional de Biopreparados (BioCen). AP 6048, Habana 6, Ciudad de La Habana, Cuba.
Telf: (53-7) 81 7024; Fax: (53-7) 33 8439; E-mail: ernesto@biocen.cigb.edu.cu

Code Number: BA99008

ABSTRACT

ELISA is an essential tool for the detection and quantitation of antigens and antibodies. In this paper, it is described a computer program that allows the integration of the data received (through RS-232) from microplate readers, with the calculation and statistical processing of the assay results. The program also offers the possibility to design the sample and the reference allocations in the plate, and to manage data according to the previous fixed design. The program includes two calculation and processing modes: 1) relative potency determination and 2) standard curve assay. The first is applied to quality control of allergenic extracts by the IgE ELISA inhibition assay, using the method of parallel lines. The program provides statistical methods for assessing the of assay results and to estimate the intraassay precision.

Keywords: computer program, ELISA, IgE, inhibition assay, parallel line analysis

RESUMEN

Los ensayos ELISA constituyen una herramienta indispensable para la cuantificación de antígenos y anticuerpos. En este trabajo se describe un programa que permite integrar la recepción de los datos (a través del puerto RS-232) desde el lector de microplacas, con los cálculos y el procesamiento estadístico de los resultados de los ensayos. El programa ofrece también la posibilidad de diseñar la localización de las muestras y la referencia en la placa, y realiza la manipulación de los datos de acuerdo a un diseño previo. El programa incluye dos tipos de procesamiento:1) determinación de la potencia relativa, empleando el método de las rectas paralelas, y 2) ensayo de curva estándar. El primero es aplicado al control de la calidad de extractos alergénicos mediante un ELISA de inhibición de IgE. Se incluyen procedimientos estadísticos para evaluar los resultados de los ensayos, así como la precisión intraensayos del estimado de potencia relativa.

Palabras claves: análisis de líneas paralelas, ELISA, ensayo de inhibición, IgE, programa

Introducción

Los ensayos ELISA se han convertido en una herramienta indispensable para la cuantificación de antígenos o anticuerpos, lo cual constituye una alternativa económica al radioinmunoanálisis. Existen variantes de ensayos ELISA en las cuales no se detecta directamente el antígeno o el anticuerpo, sino se hace competir éste con otros anticuerpos o antígenos. Éstos son los llamados ensayos de competencia o inhibición. Este tipo de ensayo ofrece como mayor ventaja su gran especificidad y se emplean con frecuencia en la determinación de la potencia relativa de biopreparados con respecto a referencias. Un ejemplo clásico es el ELISA de inhibición de IgE para la determinación de potencia de extractos alergénicos [1,2], el cual ha sustituido con éxito su análogo radiactivo, el RAST (Radio-Allergo-Sorbent-Test), en la estandarización de extractos alergénicos [1,3]. Los anticuerpos IgE procedentes del suero de pacientes alérgicos, son incubados en una solución con diferentes cantidades de extracto alergénico de muestra y de referencia, y, posteriormente, esta mezcla se añade a una placa previamente recubierta con el extracto alergénico de referencia. Los anticuerpos libres, no unidos al antígeno en solución, se unen al antígeno fijado en la placa y son detectados mediante un anticuerpo anti-IgE marcado con una enzima. La determinación de la potencia relativa de un producto con respecto a la referencia, se realiza empleando el conocido método de las líneas paralelas [4]. La esencia de este método radica en calcular la distancia horizontal que separa las curvas de dosis-respuesta entre el preparado muestra y la referencia. Un paso fundamental para asegurar la validez del método es comprobar el paralelismo entre las líneas.

Este trabajo tiene como objetivo implementar un sistema que permita integrar la lectura y la recepción de los datos transmitidos por el lector de microplacas, a través del puerto serie RS-232 con el procesamiento estadístico, para el análisis de los resultados de los ensayos ELISA. Está dirigido, principalmente, a los ensayos de inhibición de IgE; no obstante, cuenta con un modo complementario para otros ensayos que empleen una curva estándar.

Materiales y Métodos

Métodos de cálculo. Ensayo de potencia relativa

Transformación de la variable respuesta. La variable respuesta primaria (absorbancia) se transforma en la inhibición de acuerdo a la siguiente expresión [1]:

Expression 1

donde:
_ _
C+, C-: promedio de los valores del control positivo y negativo, respectivamente
XAbs:
valores individuales de absorbancia

Regresión. Para proseguir los cálculos, se emplean los valores de inhibición que se encuentran en el intervalo de la curva dosis-respuesta, en el cual la variable de respuesta muestra una dependencia lineal (usualmente entre 10 y 90% de inhibición). A este intervalo lo llamaremos región lineal de la curva. El coeficiente de correlación r de las variables involucradas en la regresión (inhibición y logaritmo de la concentración), se calcula para la curva de referencia, así como para cada muestra, empleando la expresión usual.

La regresión lineal se realiza por el método de los mínimos cuadrados. La recta de regresión obtenida para este problema es:

Expression 2

donde:
b: pendiente de la recta

Prueba de paralelismo. El estadígrafo t de Student se emplea para la verificación del paralelismo entre las rectas de regresión. La prueba consiste en determinar si la pendiente b' de cada una de las rectas de los conjuntos de muestras, es significativamente diferente de la pendiente b de la recta de referencia. O sea, se desea probar la hipótesis:

H0: b' = b contra la alternativa
H1: b' ¹ b

El estadígrafo t se calcula de acuerdo a la expresión:

Expression 3

donde:
Vp: [(m-2)V + (n-2)V']/(m+n-4)
V
y V': varianza conjunta de las correspondientes a la regresión de referencia y la muestra, respectivamente
m y n: número de puntos en cada una de las curvas
Sxx y Syy: sumas de cuadrados respectivas para cada una de las variables

Una vez calculada t, la hipótesis H0 : b' = b se rechaza si:

o si: . . . . . . . Expression 4

donde:

Expression 5 : percentil 100 (1-a / 2) de la distribución t de Student con un nivel de significación a y m + n - 4 grados de libertad

Construcción de las líneas paralelas. Si b' y b no son significativamente diferentes, la pendiente común [3] mc se define como: [5]

Expression 6

donde:
w' y w: ponderaciones, calculadas como el recíproco del cuadrado del error estándar de las pendientes

La ecuación de las líneas paralelas toma la forma:

Expression 7

donde:
mc: pendiente común de las líneas paralelas

Prueba de intersección. Para verificar si existe diferencia significativa entre las intersecciones a' y a, de las rectas paralelas correspondientes a las muestras y la referencia, respectivamente, se emplea el estadígrafo t de Student. La existencia de una diferencia significativa entre las intersecciones es una muestra de la diferencia existente entre la potencia de ambas preparaciones. Las hipótesis en esta prueba son:

H0: a' = a contra la alternativa
H1: a' ¹ a

Para esta verificación se utiliza el estadígrafo t calculado de la siguiente forma:

Expression 8

donde:
r y m: subíndices que diferencian los datos de la referencia de los datos de las muestras
Y: valores de inhibición
X: logaritmo de las concentraciones
mc: pendiente común entre las dos rectas
S: error estándar conjunto

Una vez obtenido el valor de t, entonces se acepta H0 si t > tc, y si t £ tc es rechazada H0, donde, tc es el percentil 100 (1-a / 2) de la distribución t de Student con nivel de significación a y n1 + n2 - 3 grados de libertad.

Cálculo de la potencia relativa. Para calcular la potencia relativa es necesario determinar la distancia horizontal entre la recta de referencia y cada una de las rectas muestra. Esta distancia es el logaritmo de la potencia relativa:

Expression 9

donde:
a': intersección de las rectas de muestras con el eje de inhibición
a: intersección de la recta de referencia con el eje de inhibición
mc: pendiente común entre las rectas

De la expresión anterior se obtiene que:

Expression 10

Análisis de varianza. Los resultados de la regresión se someten a un análisis de varianza (ANOVA) [4]. De acuerdo a este método, la variación total se divide en componentes independientes que representan las diferentes fuentes de variación del ensayo. La significación de cada fuente de variación se evalúa mediante la razón F, la cual se calcula como el cociente del cuadrado medio de cada fuente particular entre el cuadrado medio del error residual. La razón F sería aproximadamente igual a 1 para los casos no significativos. Las fuentes de variación tomadas en cuenta son las siguientes:

• Preparaciones: Es un índice del grado de solapamiento entre las rectas de la muestra y la referencia, con respecto a los valores de inhibición. Un valor significativo de este error indica que las diluciones no han sido bien seleccionadas, lo cual, aunque no necesariamente invalida el ensayo, hace necesaria una inspección gráfica de los datos para evitar una interpretación incorrecta.

• Regresión: Es una medida de cuán diferente de cero es la pendiente común calculada y por tanto de la legitimidad de asumir la existencia de una regresión lineal entre la inhibición y el logaritmo de la concentración. Este valor es un requisito esencial en cualquier ensayo y debe ser altamente significativo.

• No paralelismo: Es el grado de no paralelismo entre las rectas de la muestra y la referencia. Este valor es la base del método de análisis empleado, pues en caso de ser significativo indica que la potencia relativa depende de las concentraciones utilizadas en el ensayo, por lo cual el mismo debe ser desechado.

• No linealidad: Es el grado de linealidad de la respuesta para la muestra y la referencia por separado.

• Error residual: Es la diferencia entre la variación total y la suma de las variaciones atribuibles a las fuentes de error. Este término es utilizado para estimar la variación de fondo del ensayo y es un reflejo de las diferencias entre las réplicas.

Precisión del estimado de potencia relativa. Se calculan los intervalos de confianza correspondientes a un determinado nivel de confiabilidad (usualmente 95%) empleando la expresión exacta basada en el teorema de Fieller [4,6]. Estos intervalos de confianza son calculados a partir del error residual del ANOVA, y son por lo tanto una conversión del error de la respuesta en el correspondiente error del estimado de potencia.

Métodos de Cálculo. Ensayo de curva estándar

En este ensayo se realiza una curva estándar con cantidades conocidas del antígeno utilizando distintos tipos de ajuste. Posteriormente, se determinan las concentraciones de las muestras mediante la interpolación de esta curva.

Se utilizan varios tipos de ajuste de la curva estándar: lineal, semilogarítmico, recíproco e hiperbólico. Los parámetros de la curva se calculan mediante el método de los mínimos cuadrados [7]. En el caso de los ajustes recíproco y semilogarítmico se calcula, en el primero, el recíproco de los valores de absorbancia y de las concentraciones, y en el segundo, el logaritmo de las concentraciones. A continuación, se realiza una regresión lineal de los valores transformados.

Otro de los métodos de ajuste empleado es el modelo de regresión hiperbólica [8] de acuerdo a la ecuación:

Expression 11

donde:
x0, y0: asíntotas de la hipérbola
c0: constante

El programa, además, evalúa la bondad del ajuste realizado calculando el coeficiente de correlación r entre los valores de respuesta reales y calculados. La concentración de las muestras se calcula evaluando los datos de las mismas en la curva estándar. La concentración se halla para cada réplica y posteriormente se determina el promedio y su error estándar.

Diseño e implementación computacional

El sistema está diseñado e implementado utilizando el paradigma de la programación orientada a objetos [9]. Está formado por 21 units, tres bibliotecas, 7 archivos de recursos y el programa principal. Están implementados en Borland Pascal para Windows versión 7.0. En ellos se incluyeron, donde se hizo necesario, las units de Borland Pascal y las units de ObjectWindows que contienen los objetos utilizados [10]. Los ficheros de recursos fueron diseñados utilizando Borland Resource Worshop versión 4.0.

El programa tiene una estructura de datos encargada de manipular toda la información de un ensayo. En ella se almacenan los datos del diseño de la placa, los datos que se utilizan para realizar los cálculos estadísticos, los nombres de los ficheros asociados y los resultados. Los datos de entrada y salida del programa se almacenan en los siguientes ficheros texto:

*.int: valores de absorbancia

*.dsg: diseño de la placa

*.ref: valores de la curva de referencia

*.rrp: resultados del ensayo de inhibición

*.rst: resultados del ensayo de curva estándar

*.asy: configuración general del ensayo. Incluye los nombres del resto de los ficheros

La captación de los datos, directamente desde el lector de placas, se realiza a través del puerto RS-232 del ordenador. De forma complementaria se brinda la posibilidad de introducir los datos mediante el teclado del ordenador o su lectura desde un fichero.

La transmisión desde el lector de microplacas se realiza mediante una interface escrita en lenguaje ASSEMBLER. La misma consiste en un manipulador de la interrupción de hardware 0Bh o 0Ch (estas interrupciones se generan cada vez que se reciben datos en el puerto en serie COM 2 o COM 1, respectivamente), que almacena los datos recibidos en un arreglo. El programa contiene también un módulo para configurar y seleccionar el puerto en serie. Esta interfaz es específica para los lectores de placas del tipo Multiskan. La conexión física entre la computadora y el lector consiste en tres conductores conectados a las siguientes terminales: Tierra, Recepción de datos y Transmisión de datos.

Requerimientos técnicos. 1. Ordenador personal IBM compatible, 386SX o superior con las siguientes características: 2 MB de RAM, disco duro con 2 MB de espacio libre, puerto de comunicación RS-232 y controlador de video VGA o superior.

2. MS-DOS 3.0 o superior y Microsoft Windows 3.1 o superior.

Resultados y Discusión

Introducción de los datos y funcionamiento del programa

En la Figura 1 se muestra el diagrama de flujo que resume el funcionamiento del programa para el cálculo de la potencia relativa por el método de las líneas paralelas.

Figura 1. Diagrama de flujo para el ensayo de potencia relativa

El programa cuenta con diferentes menúes (Figura 2) y barras de herramientas que posibilitan la adquisición de los datos resultantes de los ensayos y la realización de todos los cálculos necesarios para su análisis.

Figura 2. Menúes del sistema. A: menú principal; B: menú del ensayo de potencia relativa.

Para una mayor flexibilidad en el ensayo de potencia relativa se brindan opciones para fijar el rango de los valores de inhibición, el límite del coeficiente de correlación r y el nivel de significación a utilizar en la prueba tde Student. Los resultados de los cálculos se muestran de forma numérica y gráfica. Además, toda la información del ensayo puede ser almacenada en ficheros textos y recuperada de forma impresa.

Existen varias ventanas de diálogo para completar la información necesaria para realizar los cálculos. Entre ellos se destacan los destinados a diseñar la placa (Figura 3). El usuario puede decidir de una forma interactiva, mediante el empleo del "ratón", en qué pocillos de la placa serán colocadas cada una de las muestras, la referencia y los controles positivo y negativo. Esta información es almacenada en un fichero. Los valores de absorbancia leídos son procesados automáticamente de acuerdo al diseño de la placa. El programa también permite editar estos datos. Una de las posibilidades peculiares del programa es precisamente la de excluir puntos del cálculo de la regresión, sin necesidad de borrar o modificar los datos primarios, haciendo uso de la función "Marcar".

Figura 3. Diálogo de diseño de la placa para el ensayo de potencia relativa.

Entre las ventajas fundamentales del sistema, relacionadas con el manejo de los datos, figuran:

• La posibilidad de la obtención directa de los mismos desde el lector de microplacas, así como su procesamiento teniendo en cuenta un diseño de la placa introducido previamente, lo cual reduce la posibilidad de cometer errores durante la introducción manual de los mismos.

• La posibilidad de no tener en cuenta durante los cálculos determinados datos obviamente erróneos, sin necesidad de borrarlos y alterar de esa forma los datos primarios.

• El diseño flexible de la microplaca.

Las dos primeras características se encuentran entre lo recomendado para este tipo de programa [11]. Por otra parte la estructura del programa permite que el mismo sea fácilmente adaptable a otros tipos de ensayos y/u otros dispositivos de lectura de datos.

Cálculo de la potencia relativa

Los cálculos se realizan de acuerdo al diagrama de flujo (Figura 1). En la configuración del ensayo se especifican los límites admisibles para r, así como el nivel de significación de la prueba t de Student. Los mismos se verifican para cada muestra y la referencia. En caso de incumplimiento de algunos de los requerimientos para alguna muestra, los resultados de ésta no son válidos, lo cual se refleja en el listado final. Si resulta invalidada la referencia, entonces el ensayo completo no es válido y no se prosiguen los cálculos.

Es conocido que el ajuste de la función respuesta desempeña un papel fundamental en el análisis estadístico de los resultados de los ensayos ELISA y específicamente en el método de las líneas paralelas. La función respuesta es generalmente una sigmoide, sin embargo para el análisis de la potencia relativa se emplea solamente la región lineal de la misma (después de la transformación logarítmica de los datos). Es por esta razón que es de especial importancia ajustar el ensayo para obtener una cantidad de puntos suficientes en esta región. En este programa, el número mínimo es de tres. Por otra parte, la selección de los límites superior e inferior de los valores de respuesta (inhibición) permite seleccionar con mayor precisión la región lineal. Tanto para esta última función, como para la eliminación de posibles valores aberrados, es imprescindible efectuar una inspección gráfica de los resultados. El programa brinda esa posibilidad en todos sus pasos, proveyendo gráficos en escala lineal o logarítmica. Los gráficos son también de gran valor para analizar las invalidaciones por razones estadísticas así como los resultados del análisis de varianza [12].

El almacenamiento de los ensayos está diseñado para garantizar un registro completo de los datos de entrada y los resultados, lo cual hace posible reanalizarlos con diferentes parámetros, así como efectuar comparaciones entre ensayos, no sólo de los resultados, sino también de determinados parámetros de control de calidad del ensayo, como la varianza intraensayo, la ecuación de la curva estándar, etc.

Modelo estadístico para el método de las líneas paralelas

El método de las líneas paralelas ha sido aplicado por diversos autores en la estandarización de extractos alergénicos, específicamente en la determinación de la potencia alergénica en inmunoensayos de IgE [1,3] así como en pruebas biológicas in vivo [13,14]. Sin embargo el análisis estadístico de los resultados se ha limitado a calcular la distancia horizontal entre las rectas a un valor determinado de la respuesta (generalmente 50%), así como comprobar el paralelismo mediante una prueba t de Student. Otros paquetes estadísticos para el análisis de los ELISA de competencia ofrecen la posibilidad de emplear ajustes no lineales (función logística de cuatro parámetros, spline, etc.), los cuales reproducen con mayor exactitud la forma sigmoidal de la función dosis-respuesta característica de los inmunoensayos [15,16]. Sin embargo, estos modelos no proveen datos sobre la precisión de los resultados, expresados en forma de límites de confianza. Por otra parte, el cálculo de la potencia relativa en estos casos también se basa en la determinación de la distancia horizontal entre las curvas a un valor arbitrario de la variable respuesta.

Aun cuando las rectas se puedan considerar estadísticamente paralelas, sus pendientes pueden no ser exactamente iguales. Este programa recalcula las rectas paralelas con una pendiente común, la cual se obtiene como un promedio ponderado de las pendientes individuales de ambas rectas. De esa forma se eliminan los errores derivados de la estimación de la potencia relativa en diferentes puntos arbitrarios de la curva.

El programa aplica toda la fuerza estadística del método de las rectas paralelas desarrollado originalmente por Finney [4] al ensayo de inhibición de IgE. Éste combina el uso de pruebas y parámetros estadísticos básicos (estadígrafo t para el paralelismo y diferencia entre las intersecciones, coeficiente de correlación de Pearson), con el análisis de varianza, lo cual posibilita evaluar el comportamiento de las curvas dosis-respuesta en cuanto a linealidad, paralelismo, significación de la regresión y diferencia entre la respuesta media de diferentes preparaciones. De esa forma, es posible establecer límites de calidad que aseguren la validez de los ensayos, (por ejemplo, r > 0,95; p < 0,05 para la prueba de paralelismo), así como investigar las causas de la invalidación de éstos, las cuales pudieran radicar en una mala elección de las diluciones u otras causas fácilmente corregibles.

La estimación de la precisión de la potencia relativa mediante el cálculo de los intervalos de confianza y la varianza, basado en el uso de réplicas en un mismo ensayo, es una ventaja importante del método. Esta medida de la precisión intraensayo puede reflejar también la variabilidad interensayo, lo cual puede ser estadísticamente comprobado mediante la prueba c2 para la homogeneidad del estimado de potencia [4]. La mejor forma de combinar un conjunto de estimados homogéneos es mediante la media geométrica ponderada (la ponderación es inversamente proporcional a la varianza intraensayo calculada por el programa), de modo que el mayor peso lo tengan los resultados más precisos [12].

Aunque el módulo de análisis por líneas paralelas ha sido diseñado para el ensayo de inhibición de IgE, el método es también válido para otros inmunoensayos similares. El programa, así como una descripción detallada de los métodos de cálculos, pueden ser solicitados a los autores.

Agradecimientos

Queremos agradecer a Marco A. Coca (Laboratorio de Alergenos, BioCen) por todas las sugerencias aportadas al trabajo y por su minuciosa revisión al programa.

Referencias

  1. FDA. Center for Biologics Evaluation and Research. Method for Inhibition Assay of Allergenic Products, 1992.
  2. Labrada A, Facenda E, Ferrándiz R, Coca M, Fernández B, Sewer B. Equilibración de potencia de extractos alergénicos por ELISA de inhibición de IgE. Avances en Biotecnología Moderna; 1994; Nov 28-Dec 3; La Habana, Cuba. La Habana: Elfos Scientiae; 1994.
  3. Kauffman HF. RAST-Inhibition. Application for allergen standardization. In: Dieges PH, De Monchy JGR, editors. Skin test and RAST inhibition procedures in the standardization of allergenic extracts. Proceedings of the Symposium; 1985 Nov 16; Rotterdam, Germany. Rotterdam: University Hospital Dijkzigt; 1987. p.97-106.
  4. Finney DJ. Statistical method in biological assay. 3rd ed. London: Griffin; 1978.
  5. Iznaga N, Núñez G, Solozábal J, Morales A, Artaza E, Rubio R, et al. A personal computer-based system for parallel line analysis of bioassay data. Computer Methods and Programs in Biomedicine 1995;47:167-75.
  6. Fieller EC. The biological standardization of insulin. J R Statist Soc 1940;1 Suppl 7:1-64.
  7. Hoel PG. Introducción a la estadística matemática. 2da ed. La Habana: Pueblo y Educación; 1980.
  8. Studnicka GM. Hyperbolic regression analysis for kinetics, electrophoresis, ELISA, RIA, Bradford, Lowry, and other applications. CABIOS 1987;3:9-16.
  9. Smith DN. Concepts of object-oriented programming. New York: McGraw-Hill; 1991.
  10. Borland International. Windows Programming Guide. Scotts Valley: Borland International; 1991.
  11. Dudley RA, et al. Guidelines for immunoassay data processing. Clin Chem 1985;31/8:1264-71.
  12. Curtis AD. The statistical evaluation of factor VIII clothing assays. Scandinavian Journal of Haematology 1984;33 Suppl 41:55-68.
  13. Van Strick R. Principles of biostatistics applicable to the evaluation of skin test results in the standardization of allergens. In: Dieges PH, De Monchy JGR, editors. Skin test and RAST inhibition procedures in the standardization of allergenic extracts. Proceedings of the Symposium; 1985 Nov 16; Rotterdam. Rotterdam: University Hospital Dijkzigt; 1987. p. 11-24.
  14. Turkeltaub PC. Standardization of allergenic extracts based on parallel line bioassay intradermal test methods. In: Dieges PH, De Monchy JGR, editors. Skin test and RAST inhibition procedures in the standardization of allergenic extracts. Proceedings of the Symposium; 1985 Nov 16; Rotterdam. Rotterdam: University Hospital Dijkzigt; 1987. p. 35-62.
  15. Canellas P, Karu A. Statistical package for analysis of competition ELISA results. Journal of Immunological Methods 1981;47:375-85.
  16. Guardabasso V, Rodbard D, Munson PJ. A model free approach to estimation of relative potency in dose-response curve analysis. Am J Physiol 1987;252: E357-64.

Copyright 1999 Elfos Scientiae


The following images related to this document are available:

Line drawing images

[ba99008n.gif] [ba99008e.gif] [ba99008m.gif] [ba99008l.gif] [ba99008i.gif] [ba99008g.gif] [ba99008d.gif] [ba99008c.gif] [ba99008k.gif] [ba99008j.gif] [ba99008a.gif] [ba99008h.gif] [ba99008b.gif] [ba99008f.gif]
Home Faq Resources Email Bioline
© Bioline International, 1989 - 2024, Site last up-dated on 01-Sep-2022.
Site created and maintained by the Reference Center on Environmental Information, CRIA, Brazil
System hosted by the Google Cloud Platform, GCP, Brazil