Pour comprendre l'algorithme du Gradient Descent, il suffit de s'imaginer aveugle cherchant la pente pour atteindre le point le plus bas du relief où on est.

L'algorithme de backpropagation est encore plus simple.

Il suffit de faire :

${\delta }_W=-\frac{\partial L}{\partial W_i}$ ${\delta }_W=-\left[\right(W_{i+1}^T\delta a_{i+1})\odot f_i^{\text{'}}(a_i\left)\right]h_{i-1}^T$ $\delta a_i=\frac{\partial L}{\partial a_i}$