Non è solo una formula: il cuore del deep learning

Se ti sei imbattuto nel termine cross entropy (o cross entropu, per chi ha fretta sulla tastiera) mentre studiavi i neural network, probabilmente hai trovato un muro di equazioni matematiche. Ma proviamo a spogliarla della complessità accademica.

In parole povere? È il modo in cui una macchina capisce quanto sta sbagliando.

Immagina un modello di AI che deve distinguere tra la foto di un gatto e quella di un cane. Il modello non dice "è un gatto". Dice: "C'è l'80% di probabilità che sia un gatto e il 20% che sia un cane". La cross entropy interviene proprio qui, misurando la distanza tra questa previsione e la realtà dei fatti.

Se l'immagine era effettivamente un gatto, l'errore è basso. Se invece era un cane, il modello ha preso una cantonata colossale. La cross entropy quantifica questo errore, trasformandolo in un numero che l'algoritmo può usare per correggersi.

Perché non usiamo l'errore quadratico?

Molti si chiedono perché non usare il classico Mean Squared Error (MSE), quello che si impara a scuola per calcolare la varianza. Semplice: per i problemi di classificazione, l'MSE è pigro.

Quando un modello è "molto sicuro" della risposta sbagliata, l'MSE non lo penalizza abbastanza. La cross entropy invece è spietata. Più il modello è convinto di una risposta errata, più la funzione di perdita schizza verso l'alto.

Questo crea una spinta molto più forte verso l'apprendimento rapido.

Proprio così. È questa "aggressività" matematica a rendere i moderni sistemi di riconoscimento vocale o visivo così precisi in tempi relativamente brevi.

Entriamo nel dettaglio: come funziona davvero

Per capire la cross entropy dobbiamo fare un salto veloce nella teoria dell'informazione, grazie a Claude Shannon. Il concetto base è l'entropia: una misura del disordine o dell'incertezza di una variabile.

La cross entropy, invece, misura l'incertezza di una distribuzione di probabilità rispetto a un'altra. Nel Machine Learning abbiamo due distribuzioni:

  • La distribuzione reale (il target), dove la risposta corretta ha valore 1 e le altre 0.
  • La distribuzione predetta dal modello, che è un insieme di decimali tra 0 e 1.

L'obiettivo dell'addestramento è ridurre questa divergenza al minimo possibile.

Un dettaglio non da luogo: questo processo avviene tramite la backpropagation. Il valore della cross entropy viene passato indietro attraverso i pesi della rete neurale, che vengono aggiornati per far sì che, alla prossima iterazione, l'errore sia minore.

Binary vs Categorical Cross Entropy

Non esiste un unico modo di calcolare questo errore. Tutto dipende da cosa stiamo cercando di classificare.

Se abbiamo a che fare con una scelta binaria (Sì/No, Spam/Non Spam), usiamo la Binary Cross Entropy. Qui il modello produce un singolo valore di probabilità. Semplice e lineare.

Ma se dobbiamo scegliere tra dieci categorie diverse? Ad esempio, riconoscere le cifre scritte a mano da 0 a 9. In questo caso entra in gioco la Categorical Cross Entropy.

In questo scenario, l'output del modello è solitamente passato attraverso una funzione chiamata Softmax. Questa funzione assicura che la somma di tutte le probabilità in uscita sia esattamente uguale a 1 (o 100%).

Senza Softmax, la cross entropy categorica non avrebbe senso matematico.

L'impatto pratico nello sviluppo AI

Per chi si occupa di consulenza in Machine Learning, scegliere la funzione di perdita corretta è come scegliere il motore per un'auto. Se sbagli, l'auto non parte o, peggio, va nella direzione opposta.

Un errore comune è usare la cross entropy su dataset estremamente sbilanciati senza applicare dei pesi. Se hai 1000 esempi di "classe A" e solo 10 di "classe B", il modello imparerà che può ottenere un errore bassissimo semplicemente predicendo sempre "classe A".

È qui che l'esperienza fa la differenza.

Per risolvere questo problema, si utilizzano varianti come la Weighted Cross Entropy, che assegna un'importanza maggiore agli errori commessi sulle classi rare. In questo modo, costringiamo l'AI a prestare attenzione anche ai dettagli meno frequenti ma potenzialmente critici.

Oltre la teoria: dove troviamo la cross entropy oggi?

Non è solo accademia. Ogni volta che interagisci con un sistema intelligente, c'è una funzione di perdita che lavora dietro le quinte.

I Large Language Models (LLM), come quelli che alimentano i chatbot più famosi, utilizzano versioni sofisticate della cross entropy per prevedere il prossimo token in una sequenza. Il modello non "sa" cosa sta scrivendo; sta solo minimizzando la cross entropy tra la sua previsione e il testo reale presente nei dati di addestramento.

È un processo iterativo, quasi ossessivo, che avviene miliardi di volte per ogni parametro del modello.

Quindi, quando vedi l'AI generare un testo fluido e naturale, ricorda che alla base c'è una costante lotta matematica per ridurre quell'errore di previsione.

Considerazioni finali per chi implementa

Se stai scrivendo codice in PyTorch o TensorFlow, noterai che alcune funzioni (come nn.CrossEntropyLoss in PyTorch) combinano internamente il Softmax e la Log-Loss.

Attenzione a questo punto. Se applichi un Softmax manualmente all'output del tuo layer finale e poi usi una funzione di loss che lo applica di nuovo, stai introducendo un errore logico che rallenterà l'apprendimento o renderà il modello instabile.

Controlla sempre la documentazione. Un piccolo dettaglio tecnico può fare la differenza tra un modello che converge in poche ore e uno che non raggiungerà mai l'accuratezza desiderata.

In definitiva, la cross entropy è lo strumento che permette all'intelligenza artificiale di avere un "senso critico" verso le proprie prestazioni. Senza di essa, i modelli sarebbero ciechi, incapaci di capire se stanno migliorando o se stanno semplicemente girando a vuoto in un loop di numeri casuali.