Due numeri che sembrano uguali,ma non lo sono

Se due file da un milione di cifre sono statisticamente identici, perché uno può essere compresso e l'altro no? Questo è il rompicapo che apre l'articolo, mettendo a confronto un file di rumore casuale generato da un dado a dieci facce e un file contenente le prime cifre di pi greco. Sorprendentemente, test statistici e analisi della frequenza delle cifre non rivelano alcuna differenza: entrambi sembrano pura casualità. La chiave sta nel concetto di "compressibilità", che l'autore distingue in due tipi. La prima è la "ridondanza statistica", sfruttata da algoritmi come lo zip, che assegnano codici più brevi ai simboli più frequenti. La seconda, invece, riguarda la "semplicità del processo generativo". Le prime cifre di pi greco, pur passando ogni test di casualità statistica, possono essere descritte da un semplice programma ("calcola pi greco, stampa un milione di cifre"). Il file di rumore, invece, non ha una descrizione più breve di sé stesso. La domanda diventa quindi: la ridondanza statistica è l'unica forma di compressibilità? L'autore suggerisce che pi greco risponde negativamente. Il concetto di entropia, introdotto come misura della "sorpresa media" di una sorgente di simboli, viene derivato con un approccio basato su un "budget" di bit. Codici più corti per simboli frequenti hanno un costo, poiché nessun codice può essere prefisso di un altro. La lunghezza ideale di un codice per un simbolo con probabilità p è log2(1/p), un risultato che permette di bilanciare il budget. https://stillthinking.net/posts/connections-in-math-two-kinds-of-random/ In che modo la "semplicità del processo generativo" modifica la nostra comprensione della casualità? #matematica #compressione #informazione