Generalization

Apuntes

Generalization ¿Qué es la generalización en redes neuronales y por qué es importante? La generalización es la capacidad de una red para obtener buen desempeño no solo sobre los datos de entrenamiento, sino también sobre datos no vistos. Minimizar el error en entrenamiento no garantiza buen rendimiento en datos nuevos. ¿Qué es el early stopping y cómo ayuda a la generalización? Consiste en detener el entrenamiento cuando el error en el conjunto de validación empieza a aumentar, evitando así el sobreajuste. Se entrena usando un conjunto de entrenamiento y se evalúa periódicamente en validación. ¿Qué son los modelos ensemble y para qué se utilizan? Son combinaciones de modelos entrenados de forma independiente que, al promediar o votar sus predicciones, logran mejor desempeño y mayor robustez. Su desventaja es el alto costo computacional. ¿Qué son los snapshot ensembles? Es una técnica que permite generar varios modelos desde una sola corrida de entrenamiento. Se guarda el modelo cada vez que se alcanza un mínimo local y se perturba el aprendizaje para encontrar otros mínimos. ¿Cómo funciona la regularización en redes neuronales? Consiste en agregar un término a la función de pérd...