Cos’è la Cross Entropy?
La cross entropy è una misura di distanza tra due distribuzioni di probabilità. In parole semplici, valuta quanto un modello predice bene i dati reali.
Perché conta nel Machine Learning?
Quando addestriamo reti neurali per classificazione, vogliamo minimizzare l’errore tra le etichette vere e quelle previste. La cross entropy lo fa in modo elegante: penalizza fortemente le predizioni sbagliate con alta confidenza.
Formula e interpretazione
Per una classe binaria la funzione è L = -[y·log(p) + (1-y)·log(1-p)]. Qui y è 0 o 1, p è la probabilità predetta. Se il modello è certo ma sbagliato, il logaritmo diventa molto negativo e l’errore cresce rapidamente.
Ottimizzare con Gradient Descent
L’algoritmo di back‑propagation calcola i gradienti della cross entropy rispetto ai pesi. Questi indicano come spostare i pesi per ridurre l’errore. È la base di quasi tutti gli addestramenti moderni.
Tipi di Cross Entropy
- Binary Cross Entropy: per problemi a due classi.
- Categorical Cross Entropy: quando ci sono più categorie.
Problemi comuni e soluzioni
Se la loss rimane alta, controlla: learning rate troppo alto, dataset sbilanciato o modello troppo complesso. Regolarizzare con dropout o weight decay spesso aiuta.
Cross Entropy nella pratica di Cross Entropy S.r.l.
Nel nostro studio, la cross entropy è il punto di partenza per ogni progetto AI. La usiamo per monitorare l’accuratezza in tempo reale e guidare le decisioni di tuning.