TÉCNICAS DE OPTIMIZACIÓN DE MODELOS PRE-ENTRENADOS APLICADOS A UN MODELO MULTIMODAL EN IDIOMA ESPAÑOL

Abstract

El presente trabajo presenta una variedad de estrategias de optimización de modelos pre-entrenados aplicados a la tarea multimodal respuesta visual a preguntas (VQA) en idioma español. Se destacará la importancia de la fusión efectiva de características visuales y textuales, el aprendizaje por transferencia de modelos en tareas relacionadas, se hará énfasis en los algoritmos de optimización y ajustes de hiperparámetros mas eficaces para esta tarea, junto con la técnica del aumento de datos, para mejorar la capacidad de los modelos de comprender y responder de manera precisa a las preguntas basadas en contenido visual y textual. Mediante un análisis de estas técnicas, se ilustrará cómo la optimización de modelos pre-entrenados en la tarea multimodal de VQA puede impulsar avances significativos en la comprensión y el procesamiento multimodal.