Back Propagation

Apuntes

•Back Propagation y grafo computacional El backpropagation es un algoritmo que calcula recursivamente los gradientes de la función de pérdida respecto a todos los parámetros de una red neuronal, permitiendo su optimización mediante descenso por gradiente. Utiliza un grafo computacional, una estructura que representa las operaciones de la red, donde cada nodo realiza una operación y facilita el cálculo eficiente de gradientes a través de forward y backward pass. La retropropagación se basa en multiplicar el gradiente local de cada nodo por el gradiente que recibe de capas posteriores, aplicando la regla de la cadena. •Funciones de activación y sus limitaciones Las funciones de activación introducen no linealidad en la red, permitiendo aprender representaciones complejas. La función sigmoid, aunque común, presenta limitaciones como gradientes pequeños que pueden 'matar' la retropropagación, salidas no centradas en cero y un coste computacional elevado debido a su función exponencial. En contraste, ReLU es más eficiente, no satura para valores positivos y acelera la convergencia, pero puede presentar el problema de 'dead ReLU', donde neuronas dejan de actualizarse si su salida es...