Indicadores bibliométricos y toma de decisiones

doi: 10.56294/dm20229

COMUNICACIÓN BREVE

Indicadores bibliométricos y toma de decisiones

Bibliometric indicators and decision making

Fernando Ledesma¹ *, Beltrán Enrique Malave González² *

¹Unilever Argentina. Buenos Aires, Argentina.

²Universidad Abierta Interamericana. Buenos Aires, Argentina.

Citar como: Ledesma F, Malave González BE. Bibliometric indicators and decision making. Data & Metadata. 2022; 1:9. https://doi.org/10.56294/dm20229

Enviado: 12-10-2022 Revisado: 27-10-2022 Aceptado: 20-12-2022 Publicado: 21-12-2022

Editor: Prof. Dr. Javier González Argote

RESUMEN

El análisis de la publicación de artículos científicos, eslabón fundamental dentro del proceso de investigación, se ha convertido en la unidad estándar que permite calificar la calidad del proceso generador de conocimiento y su impacto en el entorno científico. Este artículo tiene como objetivo describir los aspectos generales de la relación entre estudios bibliométricos y la toma de decisiones. Los datos sobre las actividades científicas están siendo cada vez más utilizados para gobernar la ciencia. Evaluaciones sobre investigación que fueron en su día diseñadas individualmente para su contexto específico y realizadas por pares son ahora rutinarias y están basadas en métricas. El problema es que la evaluación pasó de estar basada en valoraciones de expertos a depender de estas métricas. La oportunidad de aplicar técnicas bibliométricas resulta útil a la hora de la toma de decisiones que impliquen una redirección de todos los planes de investigación-desarrollo y la selección de líderes capaces de coordinar proyectos con la finalidad de generar recursos tecnológicos y financieros.

Palabras clave: Bibliometría; Toma de decisiones; Ciencia; Metría.

ABSTRACT

The analysis of the publication of scientific articles, a fundamental link within the research process, has become the standard unit that allows for the assessment of the quality of the knowledge generation process and its impact on the scientific environment. This article aims to describe the general aspects of the relationship between bibliometric studies and decision-making. Data on scientific activities are increasingly being used to govern science. Research evaluations that were once individually designed for their specific context and conducted by peers are now routine and based on metrics. The issue is that the evaluation has shifted from being based on expert assessments to relying on these metrics. The opportunity to apply bibliometric techniques proves useful when making decisions that involve a redirection of all research-development plans and the selection of capable leaders to coordinate projects with the purpose of generating technological and financial resources.

Keywords: Bibliometrics; Decision-making; Science; Metrics.

INTRODUCCIÓN

Este artículo tiene como objetivo describir los aspectos generales de la relación entre estudios bibliométricos y la toma de decisiones.

DESARROLLO

Tradicionalmente el método más utilizado para evaluar la calidad de dominio científico, investigadores, instituciones o países, es a través de las publicaciones científicas.⁽²⁾

Derivado de la utilización cada vez más frecuente de métodos matemáticos y estadísticos para el análisis de la producción científica y de su calidad, nace la bibliometría definida por Garfield como “la cuantificación de la información bibliográfica susceptible de ser analizada”, originando dos grandes ramas de desarrollo, la bibliometría fundamental y la aplicada, esta última comprende la parte inferencial y descriptiva de la cienciometría.⁽³⁾

Otra definición propuesta por Isabel Gómez y María Bordons plantea que los indicadores bibliométricos “Son datos estadísticos deducidos de las publicaciones científicas. Su uso se apoya en el importante papel que desempeñan las publicaciones en la difusión de los nuevos conocimientos, papel asumido a todos los niveles del proceso científico”.⁽⁴⁾

Velasco⁽²⁾ plantea que los indicadores de actividad permiten conocer el estado real de la ciencia, y los clasifica en 6 grupos:

· Indicadores de producción: recuento del número de publicaciones científicas de un autor, grupo de investigación o institución. Estos indicadores sólo aportan información sobre la cantidad de las publicaciones, pero no sobre su calidad.

· Indicadores de circulación: miden el número total de publicaciones en bibliotecas y bases de datos.

· Indicadores de dispersión: análisis de las publicaciones sobre un tema o área entre las diversas fuentes de información. Permite conocer si los trabajos de un área específica se concentran en pocas o en muchas revistas.

· Indicadores de uso de la literatura científica: miden el número de publicaciones y el número de referencias que se incluyen en las publicaciones. Cada editorial tiene sus propias normas de publicación y el número de referencias bibliográficas que se pueden incluir en un artículo difiere de una revista a otra.

· Indicadores de colaboración: estos son los que evalúan la colaboración entre autores e instituciones. El indicador más utilizado para valorar la colaboración entre autores es el índice de coautoría que es un promedio del número de autores que firman los documentos y que permite determinar el tamaño de los grupos de investigación. Otro indicador es la tasa de documentos con coautoría que es la proporción de documentos firmados por más de un autor. En cuanto a la colaboración entre instituciones es importante determinar tanto el grado como el tipo de colaboración que se establece que se puede saber a través de los indicadores de colaboración nacional e internacional.

· Indicadores de obsolescencia de la literatura científica: miden la vida media de un artículo a través del número de citas que recibe un artículo a lo largo de los años. La vida media de un artículo depende de su área temática. Los denominados “hot papers” son aquellos documentos que en un periodo muy corto son muy citados y los clásicos son aquellos que durante muchos años siguen siendo citados.

Más allá de los indicadores bibliométricos que se utilicen para evaluar las publicaciones científicas, es necesario también considerar las bases de datos donde se encuentren indexadas.

El uso de Internet generalizó a partir de mediados de la década de 1980, el acceso de forma rápida y eficaz a las fuentes de almacenamiento y administración del conocimiento. Dentro del internet, las bases de datos bibliográficas constituyen un componente importante del modelo de comunicación científica actual. Las más de 1000 bases de datos bibliográficas en el área de la ciencia registran e indizan la información publicada y constituyen uno de los principales mecanismos para controlar y promover la publicación de resultados científicos.⁽⁵⁾

Peralta González y col.⁽⁶⁾ al referirse al uso de una u otra base de datos para estudios bibliométricos de la producción científica se ha demostrado que: Web of Science (WoS) no debe ser utilizado solamente para estudiar la citación de un autor o trabajo publicado, ni como único recurso para análisis de citas e impacto de un autor o publicación; Scopus y Google Scholar pueden ayudar a identificar un considerable número de citaciones que no se encuentran en el WoS, dado que ofrecen una imagen más completa y abarcadora del carácter internacional e interdisciplinario de la comunicación científica; Se presenta la problemática de las técnicas de medición de Google Scholar para analizar con precisión y eficacia las citas; La utilización de uno u otro recurso para la medición depende del dominio científico que se analice; y que en el caso de Scopus una de las limitantes señaladas se refiere a la indización de las citas solamente de 1996.

A manera de resumen del análisis teórico sobre los métodos bibliométricos para la valoración de la ciencia supone asumir un conjunto de premisas:

1. Los resultados de la mayoría de las investigaciones llevadas a cabo por los científicos y técnicos se transmiten a través de un proceso de comunicación escrita, en forma de publicaciones científicas y técnicas (artículos de revista, libros, actas de congresos, patentes, etc., que constituyen las fuentes primarias). Por tanto, los trabajos publicados componen uno de los productos finales de toda actividad científica y representan un indicador del volumen de investigación producido.

2. Los trabajos publicados en las fuentes primarias son recopilados en forma abreviada en las bases de datos. La consulta a las bases de datos apropiadas es el método adecuado para obtener información sobre las publicaciones de cualquier campo científico.

3. El número de citas que recibe un trabajo por parte del resto de la comunidad científica cuantifica el impacto logrado por dicho trabajo.

4. El prestigio de las fuentes bibliográficas donde se publican los resultados de las investigaciones representa una medida de la influencia que pueden ejercer los trabajos publicados en ellas.

5. Las referencias bibliográficas que incluyen los trabajos se han tomado, a menudo, como indicación de su valor científico, y se han usado a veces como criterio para el análisis del consumo de información.^(1,6,7,8)

Estudios bibliométricos y toma de decisiones

Los datos sobre las actividades científicas están siendo cada vez más utilizados para gobernar la ciencia. Evaluaciones sobre investigación que fueron en su día diseñadas individualmente para su contexto específico y realizadas por pares son ahora rutinarias y están basadas en métricas. El problema es que la evaluación pasó de estar basada en valoraciones de expertos a depender de estas métricas.⁽⁹⁾

La creciente necesidad de las distintas entidades gubernamentales y la industria para seleccionar con criterios uniformes y objetivos las fuentes de información a las cuales recurrir en el momento de tomar decisiones técnicas, administrativas y políticas, ha generado un mayor interés en la utilización de estos indicadores, dado que ofrecen un método estándar para la evaluación de la calidad y eficacia de la contribución al desarrollo científico de los textos producidos por los grupos de investigación.⁽¹⁾

Los indicadores han proliferado: normalmente bien intencionados, no siempre bien informados, y a menudo mal aplicados. Cuando organizaciones sin conocimiento sobre buenas prácticas e interpretación apropiada de indicadores llevan a cabo las evaluaciones, se corre el riesgo de dañar el sistema científico con los mismos instrumentos diseñados para mejorarlas.⁽⁹⁾

A pesar de su aceptación global, la aplicación de estos indicadores ha mostrado con el tiempo, tener algunas debilidades y falencias al ser aplicados como herramienta de evaluación de la producción científica, lo que está promoviendo una corriente de críticos y contradictores que promulgan nuevos métodos y alternativas para evaluar estos parámetros, partiendo de la observación de que los indicadores bibliométricos fueron diseñados para evaluar el impacto de las revistas y no la calidad de los procesos científicos.⁽¹⁾

Un análisis pormenorizado por Pickton⁽¹⁰⁾ (2015) analiza varios manifiestos e iniciativas cuyo objetivo es concienciar sobre los problemas de la evaluación cuantitativa de la investigación. El autor plantea que los enfoques cuantitativos cuando se combinan en un solo indicador, son reduccionistas y fundamentalmente defectuosos.

Por otro lado, Wilsdon y col.⁽¹¹⁾ afirma que los indicadores de las revistas (como el factor de impacto) como sustitutos de la calidad de la investigación son insuficientes. En consecuencia, la evaluación de la investigación debe llevarse a cabo de manera responsable y debería adoptar conceptos como robustez, humildad, transparencia, diversidad y reflexividad durante los ejercicios bibliométricos.

Probablemente el ejemplo más popular de recomendaciones en este sentido es el Manifiesto de Leiden que ha sido publicado por reconocidos investigadores en bibliometría. Lleva el nombre del lugar donde se desarrolló por primera vez, la Conferencia STI 2014, en Leiden, Países Bajos. El Manifiesto recomienda 10 principios que se derivan de las mejores prácticas de ejercicios bibliométricos (cuantitativos).⁽¹²⁾

En 2016, la Asociación Europea para el Estudio de la Ciencia y la Tecnología otorgó el Manifiesto de Leiden con el Premio Ziman por una promoción colaborativa de la interacción pública con la ciencia y la tecnología, diseñado para influir en la práctica de la evaluación, en lugar de simplemente criticarlo. Este es un esfuerzo impresionante para llevar el conocimiento cienciométrico especializado a un ámbito de políticas de la ciencia más amplio. A estas alturas, las recomendaciones de Leiden han encontrado su camino hacia la práctica, como parte de una estrategia de excelencia en la construcción.⁽¹³⁾

El Manifiesto de Leiden enfatiza que la evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos; es importante tener en cuenta que los indicadores no pueden sustituir a los razonamientos informados, por tanto, los decisores tienen plena responsabilidad sobre las evaluaciones; y en la elección y usos de los indicadores hay que tener en cuenta los contextos socioeconómicos y culturales.⁽¹²⁾

Refiriéndose a los indicadores de ciencia y técnica, Kenji Kondo.⁽⁵⁾ explica que tienen la función de monitorear el desempeño de los sistemas de ciencia y técnica; evalúan el sistema y modifican la distribución de recursos para mejorar su eficiencia; y proporcionan insumos para el establecimiento de políticas.

Zacca González⁽¹⁵⁾ plantea que cualquier indicador es un constructo del que se puede usar o abusar en los procesos gerenciales y de toma de decisiones. Cuando los indicadores cienciométricos se usan en el dominio público, la transparencia y trazabilidad debe ser el primer objetivo. Para que los indicadores bibliométricos alcancen significado necesitan ser comparados e interpretados sobre la base de las tendencias y tomando otros dominios de referencia como grupos similares, el agregado superior como el país, la región o el mundo.

Los indicadores tienen ventajas y desventajas que deben tenerse en cuenta en la interpretación. Son parciales y convergentes porque describen un aspecto concreto del estudio que se está realizando. La interpretación de la actividad científica para ser efectiva tiene que fundamentarse en varios indicadores que contextualicen la información resultante de su análisis. Como muestran una visión parcial de la actividad científica, es necesario contar con los especialistas de las disciplinas para que completen, corrijan e interpreten los resultados.⁽¹⁶⁾

Algunos usuarios de los indicadores de ciencia y tecnología muchas veces tienden a ver estos números como representantes de algún tipo de “verdad” acerca del estado de la ciencia y la tecnología y no como posibles aproximaciones de la realidad.⁽¹⁴⁾

Sin embargo, los indicadores bibliométricos son herramientas útiles en la evaluación del desempeño de la investigación si son exactos, sofisticados, actualizados, se combinan con el conocimiento de expertos y son interpretados y usados con precaución.⁽¹⁷⁾

Asimismo, los procesos de recopilación y análisis de datos deben ser abiertos, transparentes, simples y deben estar abiertos a verificación por los evaluados.⁽¹²⁾

La ciencia como sistema de producción de publicaciones, siendo éstas cualquier información registrada en formatos permanentes y disponibles para el uso común, destaca como un sistema social cuya primera función es divulgar el conocimiento, la segunda garantizar la preservación de ciertos patrones y la tercera atribuir méritos y reconocimientos a quienes con su trabajo han contribuido al desarrollo de las ideas en diferentes campos.⁽¹⁵⁾

Por lo que una medida importante de la producción de conocimiento, transferencia y utilización, puede derivarse de las publicaciones en las que el conocimiento se expresa, elemento que no es el único en la comunicación científica pero sí el más importante.^(15,18)

La ciencia y la tecnología son elementos relevantes en el desarrollo y la evaluación de un país. Moravcsik⁽¹⁹⁾ conceptualiza la evaluación como la medición de la extensión en la que un segmento de la ciencia y la tecnología funcionan favorablemente en el contexto de un grupo de metas y objetivos determinados. Los resultados de la evaluación deben ser una declaración compleja y compuesta y deben reflejar la información de todos los aspectos relevantes de la situación.

La evaluación del sistema de investigación nacional es esencial en la toma de decisiones. Su realización se justifica por la necesidad de optimizar la distribución de recursos, reducir la asimetría en la información entre productores de conocimiento y usuarios y demostrar que la inversión es efectiva y provee beneficios públicos.^(15,20)

Las actividades de investigación científicas y tecnológicas necesitan ser evaluadas para juzgar que tan bien fueron cumplidos los objetivos y medir la efectividad de las investigaciones para cumplir las metas sociales y económicas.⁽²¹⁾

En su tesis doctoral Zacca González⁽¹⁵⁾ afirma que detectar cuál ha sido el uso de los recursos, qué grupos o disciplinas están generando conocimiento de vanguardia y constituyen las fortalezas de un país (desde el punto de vista de su producción científica), cuál ha sido el impacto de la investigación en términos de uso y de transferencia de conocimiento, así como identificar con que otros grupos, instituciones o países se establecen alianzas estratégicas, son tareas clave que proporcionan información útil a los decisores para definir, retroalimentar y reorientar las políticas científicas en torno a sus ejes prioritarios.

La autora⁽¹⁵⁾ agrega que, en los últimos años ha habido un interés creciente en los indicadores cienciométricos, tanto por parte de los especialistas de la información como por las autoridades encargadas de la toma de decisiones en la ciencia y la tecnología. El propósito ha sido comprender la dinámica de la ciencia, identificar los patrones de comunicación, además de dar soporte a la evaluación y planificación de las políticas científicas.

Los indicadores de investigación pueden proporcionar información crucial que sería difícil de aglutinar o entender a partir de experiencias individuales.⁽¹²⁾

Vallejera y col.⁽²³⁾ plantean que el desarrollo de sus planes de Investigación y Desarrollo (I+D) en las empresas hace que se sienta la necesidad de conocer en qué nivel de desarrollo y aprovechamiento de los recursos se cuenta, así como las perspectivas de sus competidores o posibles socios comerciales. En este orden, en la medida que se conozca el rendimiento científico en el contexto nacional o internacional, permitirá tomar decisiones basadas en la evidencia.

CONSIDERACIONES FINALES

Un nuevo conocimiento producto de la investigación científica adquiere valor cuando se publica y posteriormente, aplicado en el campo específico, contribuye al desarrollo de la sociedad. Con la aplicación de técnicas bibliométricas se obtiene un panorama global del desempeño y la repercusión de la actividad científica en determinada región, y este dato objetivo sirve como punto de comparación para poder medir las diferencias entre la productividad de las diferentes especialidades científicas y su aporte al desarrollo, con lo cual se hace más fácil entonces la toma de decisiones a la hora de establecer políticas o adjudicar recursos a líneas investigativas, escogencia por parte de investigadores de revistas de gran impacto para publicar sus estudios, apoyo a especialidades de baja productividad.⁽²²⁾

La oportunidad de aplicar técnicas bibliométricas resulta útil a la hora de la toma de decisiones que impliquen una redirección de todos los planes de investigación-desarrollo y la selección de líderes capaces de coordinar proyectos con la finalidad de generar recursos tecnológicos y financieros.⁽²³⁾

Desde esta misma perspectiva Rodríguez Aldana y col.⁽²⁴⁾ afirma que la integración de los factores críticos de éxito con la actividad de inteligencia competitiva dentro de un modelo estructural y operacional es lo que contribuye al plan estratégico de una compañía para centrarse en la competencia. Y que para precisar dichos factores, resulta oportuno un análisis bibliométrico, cuya base estadística permite realizar un análisis multidimensional de la literatura científica.

Los fundamentos teóricos analizados proporcionan soporte concluyente sobre la importancia de las técnicas bibliométricas y cienciométricas, delimitándose un conjunto de aplicaciones como: Identificar las tendencias y el crecimiento del conocimiento en las distintas disciplinas; Estimar la cobertura de las revistas secundarias; Identificar los usuarios de las distintas disciplinas; Identificar autores y tendencias en distintas disciplinas; Medir la utilidad de los servicios de diseminación selectiva de información; Predecir las tendencias de publicación; Identificar las revistas del núcleo de cada disciplina; Formular políticas de adquisiciones ajustadas al presupuesto; Adaptar políticas de descarte de publicaciones; Estudiar la dispersión y la obsolescencia de la literatura científica; Diseñar normas para estandarización; Diseñar procesos de indización, clasificación y confección de resúmenes automáticos; Predecir la productividad de editores, autores individuales, organizaciones, países, etc.^(16,25,26)

REFERENCIAS BIBLIOGRÁFICAS

1. Gómez CFR-C, Gutíerrez CV-R, Pinzón CER-C. Indicadores bibliométricos: origen, aplicación, contradicción y nuevas propuestas. MedUNAB 2005; 8:29-36.

2. Velasco B, Bouza JME, Pinilla JM, Román JAS. La utilización de los indicadores bibliométricos para evaluar la actividad investigadora. Aula abierta 2012; 40:75-84.

3. Garfield E. How can impact factors be improved? BMJ 1996; 313:411-3. https://doi.org/10.1136/bmj.313.7054.411.

4. Caridad IG, Gangas MB. Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. Política científica 1996:21-6.

5. Ospina EG, Herault LR, Cardona AF. Uso de bases de datos bibliográficas por investigadores biomédicos latinoamericanos hispanoparlantes: estudio transversal. Rev Panam Salud Publica 2005;17:230-6. https://doi.org/10.1590/S1020-49892005000400003.

6. Peralta González MJ, Frías Guzmán M, Gregorio Chaviano O. Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia. Revista Cubana de Información en Ciencias de la Salud 2015;26:290-309.

7. Lozano RS. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tecnología. Revisión bibliográfica. Revista española de documentación científica 1990;13:842-65.

8. Rousseau R. Indicadores bibliométricos y econométricos en la evaluación de instituciones científicas. Acimed 2001;9:50-60.

9. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. El Manifiesto de Leiden sobre indicadores de investigación. Revista Iberoamericana de Ciencia, Tecnología y Sociedad-CTS 2015;10:275-80.

10. Pickton M. The Metric Tide: Are you using bibliometrics responsibly? UON Graduate School Blog 2015. https://researchsupporthub.northampton.ac.uk/2015/12/09/the-metric-tide-are-you-using-bibliometrics-responsibly/

11. Wilsdon J, Allen L, Belfiore E, Campbell P, Curry S, Hill S, et al. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. 2015. https://doi.org/10.13140/RG.2.1.4929.1363.

12. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature 2015;520:429-31. https://doi.org/10.1038/520429a.

13. Coombs SK, Peters I. The Leiden Manifesto under review: what libraries can learn from it. Digital Library Perspectives 2017;33:324-38. https://doi.org/10.1108/DLP-01-2017-0004.

14. Kenji Kondo E. Desarrollo de indicadores estratégicos en ciencia y tecnología: principales problemas. ACIMED 2001;9:29-34.

15. Zacca González G. Producción científica latinoamericana en salud pública. Cuba en el contexto regional. Scopus 2003-2011. Tesis Doctoral. Universidad de Granada, 2015.

16. Spinak E. Indicadores cienciométricos. ACIMED 2001;9:16-8.

17. Moed HF. New developments in the use of citation analysis in research evaluation. Arch Immunol Ther Exp 2009;57:13. https://doi.org/10.1007/s00005-009-0001-5.

18. Tijssen RJW, van Leeuwen TN. Extended Technical Annex to Chapter 5 of the «Third European Report on S&T Indicators»: Bibliometric Analyses of World Science. Leiden: Leiden University; 2003.

19. Moravcsik M. Applied scientometrics: an assessment methodology for developing countries. Scientometrics 1985;7:165-76.

20. Abramo G, Cicero T, D’Angelo CA. Revisiting the scaling of citations for research assessment. Journal of Informetrics 2012;6:470-9. https://doi.org/10.1016/j.joi.2012.03.005.

21. Rodríguez ZC, Anegón F de M. La investigación científica española (1995-2002): una aproximación métrica. Granada: Universidad de Granada; 2007.

22. Dávila Rodríguez M, Guzmán Sáenz R, Macareno Arroyo H, Piñeres Herera D, de la Rosa Barranco D, Caballero-Uribe CV. Bibliometría: conceptos y utilidades para el estudio médico y la formación profesional. Revista Salud Uninorte 2009;25:319-30.

23. Vallejera DH, Díaz IAL, Sánchez YR. Análisis bibliométrico en una universidad cubana como herramienta para la inteligencia empresarial. Perspectivas em Gestão & Conhecimento 2016;6:217-29.

24. Rodríguez Aldana ML, Fong Reynoso C, Rodríguez Aldana ML, Fong Reynoso C. Análisis bibliométrico de los factores críticos de éxito para la gestión estratégica de las PyMES. Nova scientia 2020;12:0-0. https://doi.org/10.21640/ns.v12i24.2267.

25. Palmer J. Scientists and information: II. Personal factors in information behaviour. Journal of Documentation 1991;47:254-75. https://doi.org/10.1108/eb026880.

26. Palmer J. Scientists and information: I. Using cluster analysis to identify information style. Journal of Documentation 1991;47:105-29. https://doi.org/10.1108/eb026873.

FINANCIACIÓN

Sin financiación externa.

DECLARACIÓN DE CONFLICTO DE INTERÉS

Los autores declaran que no poseen conflicto de interés.

CONTRIBUCIÓN DE AUTORÍA

Conceptualización: Fernando Ledesma y Beltrán Enrique Malave González.

Investigación: Fernando Ledesma y Beltrán Enrique Malave González.

Metodología: Fernando Ledesma y Beltrán Enrique Malave González.

Redacción – borrador original: Fernando Ledesma y Beltrán Enrique Malave González.

Redacción – revisión y edición: Fernando Ledesma y Beltrán Enrique Malave González.