← Tutti gli articoli

Articolo 22

Matematica per la Physical History Signature - parte 1

Prima di dare una definizione del protocollo che servirà a correlare l'evento fisico con il dato, sostituendo di fatto la fede nello scienziato e di conseguenza nella scienza, mi sembrava doveroso illustrare la matematica di fondo necessaria alla comprensione di formule che si potrebbero benissimo presentare in una qualche forma per l'utente novizio potrebbero risultare criptiche. Questo articolo darà gli strumenti matematici per capire ogni concetto spiegato oltretutto con un'analogia quotidiana, una definizione formale breve, un esempio con numeri veri e un riquadro che dice dove quel concetto verrà descritto nel successivo articolo. Non verranno qui date dimostrazioni complete, teoremi generali o approfondimenti su campi matematici interi.

Questo articolo sarà diviso in due sezioni per una questione di praticità.

Glossario matematico

Simbolo Nome Significato semplice
P(A \mid B) Probabilità condizionata Probabilità di A sapendo B
H(X) Entropia di Shannon Quanto è imprevedibile X
H(X \mid Y) Entropia condizionata Quanto è imprevedibile X sapendo Y
I(X;Y) Informazione mutua Quanto X e Y si spiegano
D_{KL}(P | Q) Divergenza KL Quanto P è diversa da Q
𝔼[X] Valore atteso La media di X su molti esperimenti
inf A Estremo inferiore Il più grande limite inferiore di A
o(n) "piccolo o di n" Qualcosa che diventa trascurabile rispetto a n
\ln Logaritmo naturale Logaritmo in base e \approx 2.718
\sum Sommatoria Somma di una sequenza di termini
\int Integrale Somma continua (area sotto curva)
\to Tende a Avvicinamento a un valore
\lim Limite Il valore verso cui qualcosa tende
\max Massimo Il più grande elemento
\min Minimo Il più piccolo elemento
k_B Costante di Boltzmann 1.38 \times 10^{-23} J/K
Δ Delta Differenza, variazione
λ Lambda Un peso, un parametro di bilanciamento
\alpha, \beta, \delta, \gamma Lettere greche Pesi o parametri del protocollo
ℋ H calligrafico La storia generativa
𝒯 T calligrafico L'insieme delle tracce
𝒜 A calligrafico La classe di operazioni ammesse
σ Sigma Uno stato causale
Φ Phi Una trasformazione fisica
Π Pi Un protocollo sperimentale
q.c. Quasi certo Con probabilità 1 (tranne casi eccezionali)
i.i.d. Indipendenti e identicamente distribuite Ogni misura è come le altre, senza memoria
SLLN Strong Law of Large Numbers La media converge al valore vero
DPI Data Processing Inequality Processare non aumenta l'informazione
CPTP Completely Positive Trace-Preserving Canale quantistico valido
LOCC Local Operations and Classical Communication Operazioni locali in teoria quantistica
MDL Minimum Description Length Principio di selezione di modelli
ENF Electrical Network Frequency Microfluttuazioni della rete elettrica
OSINT Open Source Intelligence Informazione da fonti pubbliche

1. Probabilità condizionata: "dato che..."

L'idea

La probabilità condizionata risponde a: "quanto è probabile A, dato che so che B è vero?" Non è la stessa probabilità di A da solo. Se B cambia quello che sai, cambia anche la probabilità di A.

Analogia

Stai cercando le chiavi di casa. La probabilità che siano nel cassetto è bassa (ci sono 20 cassetti). Dato che ieri sera hai aperto quel cassetto per prendere le forbici, la probabilità sale. L'informazione "ieri ho aperto quel cassetto" ha condizionato la probabilità.

Definizione formale

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

Leggi: "la probabilità di A dato B è la probabilità che A e B accadano insieme, divisa per la probabilità di B". Se P(B) = 0, la formula non ha senso (non puoi condizionare su qualcosa di impossibile).

Esempio con numeri

Allora:

P(\text{romano} \mid \text{toscano}) = \frac{0.009}{0.05} = 0.18 = 18\%

Sapere che il vaso ha isotopi toscani ha aumentato la probabilità che sia romano da 1% a 18%. Questo è il cuore dell'inferenza causale.

Nel protocollo PHS

Appare in §2 e §3: P(\mathcal{T} \mid \mathcal{H}) è la probabilità delle tracce dato che la storia è vera. Se questa probabilità è alta e P(\mathcal{T} \mid \mathcal{H}') è bassa, le tracce distinguono le storie.


2. Teorema di Bayes: aggiornare le credenze

L'idea

Hai una credenza iniziale su qualcosa. Vedi nuovi dati. Bayes ti dice come aggiornare la credenza. È il motore di ogni inferenza scientifica.

Analogia

Pensi che un amico sia affidabile al 70%. Ti racconta un pettegolezzo. Dopo aver verificato che il pettegolezzo è vero, la tua fiducia sale al 90%. Dopo aver scoperto che era falso, scende al 30%. Bayes è la formula che calcola esattamente di quanto sale o scende.

Definizione formale

P(\mathcal{H} \mid \mathcal{T}) = \frac{P(\mathcal{T} \mid \mathcal{H}) \cdot P(\mathcal{H})}{P(\mathcal{T})}

Esempio con numeri

P(\text{pollini}) = 0.80 \cdot 0.01 + 0.10 \cdot 0.99 = 0.008 + 0.099 = 0.107

Aggiornamento:

P(\text{romano} \mid \text{pollini}) = \frac{0.80 \cdot 0.01}{0.107} \approx 0.075 = 7.5\%

I pollini toscani aumentano la probabilità da 1% a 7.5%, ma non la rendono certa. Questo è il motivo per cui nel PHS non si dice "è vero", ma "è più probabile".

Nel protocollo PHS

Appare in §3: l'aggiornamento bayesiano lega P(\mathcal{H} \mid C, \mathcal{T}) a P(\mathcal{T} \mid \mathcal{H}). La separabilità causale D_{\text{causale}} misura quanto i dati cambiano la credenza, ma è una proprietà del canale generativo, non dell'osservatore.


3. Entropia: quanto è "sorpresa" una misura

L'idea

L'entropia misura quanto una variabile è "imprevedibile". Se una traccia vale sempre 12, l'entropia è zero (nessuna sorpresa). Se può valere 1, 2, 3, ..., 100 con uguale probabilità, l'entropia è alta (massima sorpresa).

Analogia

Un meteorologo che dice sempre "sole" ha entropia zero: non ti sorprende mai. Un meteorologo che dice "sole, pioggia, neve, grandine" a caso ha entropia alta: ogni previsione è una sorpresa.

Definizione formale

H(X) = -\sum_{x} P(x) \log P(x)

La somma è su tutti i possibili valori x di X. Se P(x) = 0, il termine è 0 per convenzione (anche se \log 0 è -\infty, il limite di p \log p per p \to 0 è 0).

L'unità di misura dipende dal logaritmo:

Nel PHS si usa sempre il logaritmo naturale (\ln), quindi l'unità è il nat.

Esempio con numeri

Una traccia T può valere:

H(T) = -(0.9 \ln 0.9 + 0.1 \ln 0.1) \approx -(0.9 \cdot (-0.105) + 0.1 \cdot (-2.303)) \approx 0.325 \text{ nats}

Se invece P(0) = P(1) = 0.5:

H(T) = -(0.5 \ln 0.5 + 0.5 \ln 0.5) = -\ln 0.5 = \ln 2 \approx 0.693 \text{ nats}

La seconda traccia ha più entropia: è più imprevedibile.

Entropia condizionata

H(X \mid Y) = -\sum_{x,y} P(x,y) \log P(x \mid y)

È l'entropia di X dopo aver osservato Y. Se Y spiega perfettamente X, H(X \mid Y) = 0.

Nel protocollo PHS

Appare in §4 e §8: H(T_i \mid \mathcal{H}) è l'entropia di una traccia dato che conosci la storia. Se la storia spiega bene la traccia, questa entropia è bassa. La multi-information I_{\text{rete}}^{\mathcal{H}} è la differenza tra la somma delle entropie marginali e l'entropia congiunta: misura quanta struttura condivisa c'è.


4. Informazione mutua: quanto due cose si spiegano a vicenda

L'idea

L'informazione mutua misura quanto sapere X ti riduce l'incertezza su Y. Se I(X;Y) = 0, sono indipendenti: sapere X non ti aiuta a prevedere Y. Se I(X;Y) = H(X) = H(Y), sono perfettamente correlati: sapere uno determina l'altro.

Analogia

Se sai che oggi piove (X), sai anche che l'ombrello è bagnato (Y). L'informazione mutua tra "pioggia" e "ombrello bagnato" è alta. L'informazione mutua tra "pioggia" e "borsa azionaria" è (probabilmente) zero.

Definizione formale

I(X; Y) = H(X) - H(X \mid Y) = H(Y) - H(Y \mid X)

Equivalentemente:

I(X; Y) = \sum_{x,y} P(x,y) \log \frac{P(x,y)}{P(x)P(y)}

Esempio con numeri

Siano X = temperatura del sensore, Y = jitter di rete.

Allora:

I(X; Y) = 2 - 0.5 = 1.5 \text{ nats}

Le due tracce "si spiegano" per 1.5 nats. Questo è un arco nel grafo causale.

Data Processing Inequality (DPI)

Se X \to Y \to Z è una catena (Z dipende da Y, Y da X), allora:

I(X; Z) \leq I(X; Y)

Processare l'informazione non può aumentare la correlazione. È fondamentale per i monotoni.

Nel protocollo PHS

Appare in §4 (R_{\text{traccia}} = I(\mathcal{H}; \mathcal{T})), §8 (massa causale), e §14 (monotonia della risorsa traccia). La DPI è il motore della dimostrazione che R_{\text{traccia}} non aumenta sotto operazioni gratuite.