Methodological Proposal for the Design and Validation of Research Instruments Supported by Artificial Intelligence
DOI:
https://doi.org/10.56294/dm20251103Keywords:
validation, instruments, ChatGPT, research, psychometricsAbstract
Introduction: the validity of data collection instruments is essential to ensure the quality and replicability of scientific studies; traditional methods require time, resources, and expert participation, making validation difficult.
Objective: To develop a procedure for the design and validation of research instruments using Artificial Intelligence as a methodological support tool.
Methods: an eight-phase model was designed, ranging from conceptual review and item formulation to linguistic evaluation, simulated rational validation, comprehension verification, internal consistency analysis, and structural optimization.
Results: the process demonstrated applicability, technical coherence, and practical utility. ChatGPT 4.5 enabled the automation of analyses and the generation of content aligned with theoretical constructs, optimizing the preliminary validation phases.
Conclusions: AI represents a viable alternative in resource-limited settings. While it does not replace classic empirical methods, it complements methodological rigor in key stages. Ethical and technical protocols must be established for its responsible use in scientific research.
References
1. Guillermo Cornetero MC, López-Regalado O. Validez y confiabilidad de instrumentos de investigación en el aprendizaje: una revisión sistemática. Rev Trib [Internet]. 22 de enero de 2025 [citado 14 de mayo de 2025];5(10):653-75. Disponible en: https://revistatribunal.org/index.php/tribunal/article/view/370
2. Contreras Cázarez CR, Campa Álvarez RDLÁ. Diseño instrumental y validación de un cuestionario para la competencia informacional en estudiantes universitarios. Sinéctica [Internet]. 14 de noviembre de 2022 [citado 14 de mayo de 2025];(59). Disponible en: https://sinectica.iteso.mx/index.php/SINECTICA/article/view/1428
3. González Arroyo AP, Bermeo Escalona JR. Metodología para la construcción y validación de instrumentos en el área de la salud. IBN SINA [Internet]. 5 de abril de 2024 [citado 14 de mayo de 2025];Vol. 15 Núm. 1:84-94 Páginas. Disponible en: https://revistas.uaz.edu.mx/index.php/ibnsina/article/view/2541
4. Hair J, Black W, Babin B, Anderson R. MULTIVARIATE DATA ANALYSIS [Internet]. EIGHTH EDITION; 2019. Disponible en: https://eli.johogo.com/Class/CCU/SEM/_Multivariate%20Data%20Analysis_Hair.pdf
5. Posso Pacheco RJ. Diseño metodológico de sistematización de preguntas abiertas: un esfuerzo para mejorar la investigación cualitativa. MENTOR Rev Investig Educ Deport [Internet]. 28 de septiembre de 2023 [citado 14 de abril de 2024];2(6):919-25. Disponible en: https://revistamentor.ec/index.php/mentor/article/view/6780
6. Lopez Domínguez SI, Sotelo Asef JG, Vargas Hernández M. Instrumento para evaluar la percepción sobre la infraestructura física y virtual en las organizaciones: diseño y validación. RIDE Rev Iberoam Para Investig El Desarro Educ [Internet]. 19 de febrero de 2024 [citado 14 de mayo de 2025];14(28). Disponible en: http://www.ride.org.mx/index.php/RIDE/article/view/1814
7. Harnol Alexander CC, Jehimy Johana SV. Metodología para comprender la interacción entre las organizaciones y el sistema regional de innovación en el desarrollo de capacidades dinámicas. Conoc Glob [Internet]. 10 de junio de 2024 [citado 14 de mayo de 2025];9(2):432-50. Disponible en: https://conocimientoglobal.org/revista/index.php/cglobal/article/view/475
8. Posso Pacheco RJ, Bertheau EL. Validez y confiabilidad del instrumento determinante humano en la implementación del currículo de educación física. Rev Educ - UPEL-IPB - Segunda Nueva Etapa 20 [Internet]. 19 de diciembre de 2020 [citado 25 de noviembre de 2024];24(3):205-23. Disponible en: https://revistas.investigacion-upelipb.com/index.php/educare/article/view/1410
9. Durán Pérez FB, Lara Abad GE. Aplicación del coeficiente de confiabilidad de Kuder Richardson en una escala para la revisión y prevención de los efectos de las rutinas. Bol Científico Esc Super Atotonilco Tula [Internet]. 5 de enero de 2021 [citado 14 de mayo de 2025];8(15):51-5. Disponible en: https://repository.uaeh.edu.mx/revistas/index.php/atotonilco/article/view/6693
10. A Uyanah D, U. I N. The Theoretical and Empirical Equivalence of Cronbach Alpha and Kuder-Richardson Formular-20 Reliability Coefficients. Int Res J Innov Eng Technol [Internet]. 2023 [citado 14 de mayo de 2025];07(05):17-23. Disponible en: https://irjiet.com/common_src/article_file/1683708204_3625019ec7_7_irjiet.pdf
11. Maldonado-Suárez N, Santoyo-Telles F. Validez de contenido por juicio de expertos: Integración cuantitativa y cualitativa en la construcción de instrumentos de medición. REIRE Rev Innovació Recer En Educ [Internet]. 29 de junio de 2024 [citado 14 de mayo de 2025];17(2). Disponible en: https://revistes.ub.edu/index.php/REIRE/article/view/46238
12. Ramírez Chávez MA, Ramírez Torres TZ. El método DELPHI como herramienta de investigación. Una revisión: The DELPHI method as a research tool. A review. LATAM Rev Latinoam Cienc Soc Humanidades [Internet]. 11 de marzo de 2024 [citado 14 de mayo de 2025];5(1). Disponible en: https://latam.redilat.org/index.php/lt/article/view/1842
13. Meneses Ayllón B, Loza Rodríguez JC, Durán Gutiérrez LF. Escala de percepción de habilidades investigativas en estudiantes universitarios: desarrollo y validación. Rev Divers Científica [Internet]. 16 de agosto de 2024 [citado 14 de mayo de 2025];4(2):13-22. Disponible en: https://revistadiversidad.com/index.php/revista/article/view/125
14. Lund BD, Wang T. Chatting about ChatGPT: how may AI and GPT impact academia and libraries? Libr Hi Tech News [Internet]. 16 de mayo de 2023 [citado 15 de mayo de 2025];40(3):26-9. Disponible en: https://www.emerald.com/insight/content/doi/10.1108/LHTN-01-2023-0009/full/html
15. Eden CA, Chisom ON, Adeniyi IS. Integrating AI in education: Opportunities, challenges, and ethical considerations. Magna Sci Adv Res Rev [Internet]. 30 de marzo de 2024 [citado 15 de mayo de 2025];10(2):006-13. Disponible en: https://magnascientiapub.com/journals/msarr/content/integrating-ai-education-opportunities-challenges-and-ethical-considerations
16. Matthay EC, Neill DB, Titus AR, Desai S, Troxel AB, Cerdá M, et al. Integrating Artificial Intelligence into Causal Research in Epidemiology. Curr Epidemiol Rep [Internet]. 24 de marzo de 2025 [citado 15 de mayo de 2025];12(1):6. Disponible en: https://link.springer.com/10.1007/s40471-025-00359-5
17. Dos Santos R. Enhancing Physics Learning with ChatGPT, Bing Chat, and Bard as Agents-to-Think-With: A Comparative Case Study. SSRN Electron J [Internet]. 2023 [citado 15 de mayo de 2025]; Disponible en: https://www.ssrn.com/abstract=4478305
18. Duong T, Suppasetseree S. The Effects of an Artificial Intelligence Voice Chatbot on Improving Vietnamese Undergraduate Students’ English Speaking Skills. Int J Learn Teach Educ Res [Internet]. 30 de marzo de 2024 [citado 29 de marzo de 2025];23(3):293-321. Disponible en: https://ijlter.org/index.php/ijlter/article/view/9787/pdf
19. Sánchez-Bolívar L, Escalante-González S, Martínez-Martínez A. La ética de la inteligencia artificial en educación: ¿Amenaza u oportunidad? Rev Electrónica Educ [Internet]. 21 de diciembre de 2024 [citado 18 de mayo de 2025];28(S):1-20. Disponible en: https://www.revistas.una.ac.cr/index.php/EDUCARE/article/view/20541
20. European Commission. Directorate General for Education, Youth, Sport and Culture. Ethical guidelines on the use of artificial intelligence (AI) and data in teaching and learning for educators. [Internet]. LU: Publications Office; 2022 [citado 18 de mayo de 2025]. Disponible en: https://data.europa.eu/doi/10.2766/153756
21. Yilmaz FGK, Yilmaz R, Ceylan M. Generative Artificial Intelligence Acceptance Scale: A Validity and Reliability Study. Int J Human–Computer Interact [Internet]. 16 de diciembre de 2024 [citado 18 de mayo de 2025];40(24):8703-15. Disponible en: https://www.tandfonline.com/doi/full/10.1080/10447318.2023.2288730
22. Lund BD, Wang T, Mannuru NR, Nie B, Shimray S, Wang Z. CHATGPT and a new academic reality: ARTIFICIAL INTELLIGENCE‐WRITTEN research papers and the ethics of the large language models in scholarly publishing. J Assoc Inf Sci Technol [Internet]. mayo de 2023 [citado 18 de mayo de 2025];74(5):570-81. Disponible en: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24750
23. Hernández R, Fernández C, Baptista P. Metodología de la investigación. McGraw-Hill; 2014.
24. Ato M, López-García JJ, Benavente A. Un sistema de clasificación de los diseños de investigación en psicología. An Psicol [Internet]. 1 de octubre de 2013 [citado 18 de mayo de 2025];29(3):1038-59. Disponible en: http://revistas.um.es/analesps/article/view/178511
25. Ge L, Agrawal R, Singer M, Kannapiran P, De Castro Molina JA, Teow KL, et al. Leveraging artificial intelligence to enhance systematic reviews in health research: advanced tools and challenges. Syst Rev [Internet]. 25 de octubre de 2024 [citado 1 de junio de 2025];13(1):269. Disponible en: https://systematicreviewsjournal.biomedcentral.com/articles/10.1186/s13643-024-02682-2
26. Desai A, Abdelhamid M, Padalkar NR. What is Reproducibility in Artificial Intelligence and Machine Learning Research? [Internet]. arXiv; 2024 [citado 1 de junio de 2025]. Disponible en: https://arxiv.org/abs/2407.10239
27. Fan G, Liu D, Zhang R, Pan L. The impact of AI-assisted pair programming on student motivation, programming anxiety, collaborative learning, and programming performance: a comparative study with traditional pair programming and individual approaches. Int J STEM Educ [Internet]. 4 de marzo de 2025 [citado 1 de junio de 2025];12(1):16. Disponible en: https://stemeducationjournal.springeropen.com/articles/10.1186/s40594-025-00537-3
28. Lund BD, Wang T, Mannuru NR, Nie B, Shimray S, Wang Z. CHATGPT and a new academic reality: Artificial Intelligence‐written research papers and the ethics of the large language models in scholarly publishing. J Assoc Inf Sci Technol [Internet]. mayo de 2023 [citado 1 de junio de 2025];74(5):570-81. Disponible en: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24750.
Published
Issue
Section
License
Copyright (c) 2025 Richar Jacobo Posso Pacheco, Rosangela Caicedo-Quiroz, Giceya Maqueira-Caraballo, Julio Barzola-Monteses, Laura Cristina Barba Miranda, Jorge Ricardo Amancha Gabela (Author)
This work is licensed under a Creative Commons Attribution 4.0 International License.
The article is distributed under the Creative Commons Attribution 4.0 License. Unless otherwise stated, associated published material is distributed under the same licence.
