Libro de Actas del III Congreso Latinoamericano y del Caribe e Investigación en Educación Superior- LatinSoTL- 2025

157 Es importante diseñar pilotos controlados que no solo evalúen la eficacia de los chatbots de IA Generativa, sino que también permitan recoger datos de los estudiantes. Estos datos pueden utilizarse para ayudar a que los estudiantes puedan desarrollar estrategias metacognitivas (Machado et al., 2025), y fomentar su adecuada alfabetización en el uso de la IA ( AI Literacy ). Desarrollo del chatbot con RAG para la asignatura Programación de Sistemas Con el objetivo de ofrecer a los estudiantes una herramienta más fiable y contextualizada, se ha desarrollado un chatbot basado en IA Generativa utilizando la técnica de RAG, de tal forma que se aprovecha el potencial de los LLMs junto con la capacidad de recuperar información específica y relevante desde una base de conocimiento previamente construida a partir de contenido de una asignatura concreta, permitiendo así generar respuestas más precisas. Para construir la base de conocimiento, se ha recopilado y procesado todo el material didáctico disponible en una asignatura de programación (denominada Programación de Sistemas ) de primer año de los grados en Ingeniería de Telecomunicación de la Universidad Carlos III de Madrid, España. Este material incluye los contenidos de un MOOC asociado, como los vídeos (concretamente, sus subtítulos), así como otros recursos como presentaciones y ejercicios (Alario-Hoyos et al., 2016). Todo este contenido textual ha sido vectorizado utilizando el modelo text-embedding-3-large de OpenAI, lo que permite representar semánticamente la información y facilitar su recuperación eficiente en función de las consultas realizadas. Una vez construida la base de conocimiento, se utiliza GPT-4o como motor generativo, integrando la información recuperada con la pregunta ( prompt ) del estudiante para elaborar respuestas más coherentes y alineadas con los contenidos del curso. El sistema se ha desplegado a través de una plataforma web accesible de forma anónima para los estudiantes, donde pueden interactuar con el chatbot. Además, se ha desarrollado una interfaz específica para el profesorado, que permite consultar datos clave de las interacciones realizadas: el prompt original del estudiante, la respuesta generada por el modelo y los fragmentos de contenido recuperados de la base de conocimiento. Esta funcionalidad es esencial para entender cómo se está utilizando el chatbot, evaluar la calidad de las respuestas y orientar mejor el aprendizaje y la alfabetización en IA. Piloto de utilización del chatbot en la asignatura Programación de Sistemas Durante el segundo cuatrimestre del curso 2024-2025, se llevó a cabo un piloto con el objetivo de evaluar la integración del chatbot en un entorno real de enseñanza universitaria. El piloto se desarrolló desde febrero hasta mayo de 2025, y se ofreció a los estudiantes la posibilidad de usar libremente y de forma anónima el chatbot como herramienta de apoyo al aprendizaje. Desde el equipo docente se promovió activamente su utilización, integrándolo en las dinámicas del curso, particularmente en los laboratorios de la asignatura. Obviamente, nada impedía a los estudiantes