Prima di dare una definizione del protocollo che servirà a correlare l'evento fisico con il dato, sostituendo di fatto la fede nello scienziato e di conseguenza nella scienza, mi sembrava doveroso illustrare la matematica di fondo necessaria alla comprensione di formule che si potrebbero benissimo presentare in una qualche forma per l'utente novizio potrebbero risultare criptiche. Questo articolo darà gli strumenti matematici per capire ogni concetto spiegato oltretutto con un'analogia quotidiana, una definizione formale breve, un esempio con numeri veri e un riquadro che dice dove quel concetto verrà descritto nel successivo articolo. Non verranno qui date dimostrazioni complete, teoremi generali o approfondimenti su campi matematici interi.
Questo articolo sarà diviso in due sezioni per una questione di praticità.
Glossario matematico
| Simbolo | Nome | Significato semplice |
|---|---|---|
| P(A \mid B) | Probabilità condizionata | Probabilità di A sapendo B |
| H(X) | Entropia di Shannon | Quanto è imprevedibile X |
| H(X \mid Y) | Entropia condizionata | Quanto è imprevedibile X sapendo Y |
| I(X;Y) | Informazione mutua | Quanto X e Y si spiegano |
| D_{KL}(P | Q) | Divergenza KL | Quanto P è diversa da Q |
| 𝔼[X] | Valore atteso | La media di X su molti esperimenti |
| inf A | Estremo inferiore | Il più grande limite inferiore di A |
| o(n) | "piccolo o di n" | Qualcosa che diventa trascurabile rispetto a n |
| \ln | Logaritmo naturale | Logaritmo in base e \approx 2.718 |
| \sum | Sommatoria | Somma di una sequenza di termini |
| \int | Integrale | Somma continua (area sotto curva) |
| \to | Tende a | Avvicinamento a un valore |
| \lim | Limite | Il valore verso cui qualcosa tende |
| \max | Massimo | Il più grande elemento |
| \min | Minimo | Il più piccolo elemento |
| k_B | Costante di Boltzmann | 1.38 \times 10^{-23} J/K |
| Δ | Delta | Differenza, variazione |
| λ | Lambda | Un peso, un parametro di bilanciamento |
| \alpha, \beta, \delta, \gamma | Lettere greche | Pesi o parametri del protocollo |
| ℋ | H calligrafico | La storia generativa |
| 𝒯 | T calligrafico | L'insieme delle tracce |
| 𝒜 | A calligrafico | La classe di operazioni ammesse |
| σ | Sigma | Uno stato causale |
| Φ | Phi | Una trasformazione fisica |
| Π | Pi | Un protocollo sperimentale |
| q.c. | Quasi certo | Con probabilità 1 (tranne casi eccezionali) |
| i.i.d. | Indipendenti e identicamente distribuite | Ogni misura è come le altre, senza memoria |
| SLLN | Strong Law of Large Numbers | La media converge al valore vero |
| DPI | Data Processing Inequality | Processare non aumenta l'informazione |
| CPTP | Completely Positive Trace-Preserving | Canale quantistico valido |
| LOCC | Local Operations and Classical Communication | Operazioni locali in teoria quantistica |
| MDL | Minimum Description Length | Principio di selezione di modelli |
| ENF | Electrical Network Frequency | Microfluttuazioni della rete elettrica |
| OSINT | Open Source Intelligence | Informazione da fonti pubbliche |
1. Probabilità condizionata: "dato che..."
L'idea
La probabilità condizionata risponde a: "quanto è probabile A, dato che so che B è vero?" Non è la stessa probabilità di A da solo. Se B cambia quello che sai, cambia anche la probabilità di A.
Analogia
Stai cercando le chiavi di casa. La probabilità che siano nel cassetto è bassa (ci sono 20 cassetti). Dato che ieri sera hai aperto quel cassetto per prendere le forbici, la probabilità sale. L'informazione "ieri ho aperto quel cassetto" ha condizionato la probabilità.
Definizione formale
Leggi: "la probabilità di A dato B è la probabilità che A e B accadano insieme, divisa per la probabilità di B". Se P(B) = 0, la formula non ha senso (non puoi condizionare su qualcosa di impossibile).
Esempio con numeri
- Probabilità che un vaso sia romano: P(\text{romano}) = 0.01 (1%).
- Probabilità che un vaso abbia isotopi toscani: P(\text{toscano}) = 0.05 (5%).
- Probabilità che un vaso sia romano e abbia isotopi toscani: P(\text{romano} \cap \text{toscano}) = 0.009 (0.9%).
Allora:
Sapere che il vaso ha isotopi toscani ha aumentato la probabilità che sia romano da 1% a 18%. Questo è il cuore dell'inferenza causale.
Nel protocollo PHS
Appare in §2 e §3: P(\mathcal{T} \mid \mathcal{H}) è la probabilità delle tracce dato che la storia è vera. Se questa probabilità è alta e P(\mathcal{T} \mid \mathcal{H}') è bassa, le tracce distinguono le storie.
2. Teorema di Bayes: aggiornare le credenze
L'idea
Hai una credenza iniziale su qualcosa. Vedi nuovi dati. Bayes ti dice come aggiornare la credenza. È il motore di ogni inferenza scientifica.
Analogia
Pensi che un amico sia affidabile al 70%. Ti racconta un pettegolezzo. Dopo aver verificato che il pettegolezzo è vero, la tua fiducia sale al 90%. Dopo aver scoperto che era falso, scende al 30%. Bayes è la formula che calcola esattamente di quanto sale o scende.
Definizione formale
- P(ℋ): credenza iniziale (prior).
- P(\mathcal{T} \mid \mathcal{H}): quanto i dati sono probabili se la storia è vera (likelihood).
- P(\mathcal{H} \mid \mathcal{T}): credenza aggiornata (posterior).
- P(𝒯): probabilità totale dei dati (normalizza la formula).
Esempio con numeri
- Credenza iniziale che il vaso sia romano: P(\text{romano}) = 1\%.
- Se è romano, probabilità di trovare pollini toscani: P(\text{pollini} \mid \text{romano}) = 80\%.
- Se è falso, probabilità di trovare pollini toscani: P(\text{pollini} \mid \text{falso}) = 10\%.
- Probabilità totale di trovare pollini toscani:
Aggiornamento:
I pollini toscani aumentano la probabilità da 1% a 7.5%, ma non la rendono certa. Questo è il motivo per cui nel PHS non si dice "è vero", ma "è più probabile".
Nel protocollo PHS
Appare in §3: l'aggiornamento bayesiano lega P(\mathcal{H} \mid C, \mathcal{T}) a P(\mathcal{T} \mid \mathcal{H}). La separabilità causale D_{\text{causale}} misura quanto i dati cambiano la credenza, ma è una proprietà del canale generativo, non dell'osservatore.
3. Entropia: quanto è "sorpresa" una misura
L'idea
L'entropia misura quanto una variabile è "imprevedibile". Se una traccia vale sempre 12, l'entropia è zero (nessuna sorpresa). Se può valere 1, 2, 3, ..., 100 con uguale probabilità, l'entropia è alta (massima sorpresa).
Analogia
Un meteorologo che dice sempre "sole" ha entropia zero: non ti sorprende mai. Un meteorologo che dice "sole, pioggia, neve, grandine" a caso ha entropia alta: ogni previsione è una sorpresa.
Definizione formale
La somma è su tutti i possibili valori x di X. Se P(x) = 0, il termine è 0 per convenzione (anche se \log 0 è -\infty, il limite di p \log p per p \to 0 è 0).
L'unità di misura dipende dal logaritmo:
- \log_2 → bit
- \log_e = \ln → nats
- \log_{10} → hartleys
Nel PHS si usa sempre il logaritmo naturale (\ln), quindi l'unità è il nat.
Esempio con numeri
Una traccia T può valere:
- T = 0 con probabilità 0.9
- T = 1 con probabilità 0.1
Se invece P(0) = P(1) = 0.5:
La seconda traccia ha più entropia: è più imprevedibile.
Entropia condizionata
È l'entropia di X dopo aver osservato Y. Se Y spiega perfettamente X, H(X \mid Y) = 0.
Nel protocollo PHS
Appare in §4 e §8: H(T_i \mid \mathcal{H}) è l'entropia di una traccia dato che conosci la storia. Se la storia spiega bene la traccia, questa entropia è bassa. La multi-information I_{\text{rete}}^{\mathcal{H}} è la differenza tra la somma delle entropie marginali e l'entropia congiunta: misura quanta struttura condivisa c'è.
4. Informazione mutua: quanto due cose si spiegano a vicenda
L'idea
L'informazione mutua misura quanto sapere X ti riduce l'incertezza su Y. Se I(X;Y) = 0, sono indipendenti: sapere X non ti aiuta a prevedere Y. Se I(X;Y) = H(X) = H(Y), sono perfettamente correlati: sapere uno determina l'altro.
Analogia
Se sai che oggi piove (X), sai anche che l'ombrello è bagnato (Y). L'informazione mutua tra "pioggia" e "ombrello bagnato" è alta. L'informazione mutua tra "pioggia" e "borsa azionaria" è (probabilmente) zero.
Definizione formale
Equivalentemente:
Esempio con numeri
Siano X = temperatura del sensore, Y = jitter di rete.
- H(X) = 2 nats (la temperatura varia molto).
- H(X \mid Y) = 0.5 nats (sapendo il jitter, la temperatura è più prevedibile).
Allora:
Le due tracce "si spiegano" per 1.5 nats. Questo è un arco nel grafo causale.
Data Processing Inequality (DPI)
Se X \to Y \to Z è una catena (Z dipende da Y, Y da X), allora:
Processare l'informazione non può aumentare la correlazione. È fondamentale per i monotoni.
Nel protocollo PHS
Appare in §4 (R_{\text{traccia}} = I(\mathcal{H}; \mathcal{T})), §8 (massa causale), e §14 (monotonia della risorsa traccia). La DPI è il motore della dimostrazione che R_{\text{traccia}} non aumenta sotto operazioni gratuite.