Il livello dei dataset collega le teorie alle misure: da una teoria si ricava una previsione su un parametro, la si confronta con un dataset secondo un piano registrato prima, e il risultato entra nel sistema come motivo che sostiene o contraddice la teoria. Non fa parte della prima versione (decisione 13); questa pagina ne fissa il progetto.
Il modello è stato ricavato leggendo per intero dieci volumi di statistica e di analisi matematica, elencati in fondo. Ogni regola qui sotto viene da almeno uno di essi; dove gli autori non concordano, la scelta è registrata nelle decisioni.
Il percorso
- Teoria. Una teoria già presente nel sistema, per esempio «il farmaco X abbassa la pressione».
- Previsione. La teoria tradotta in un enunciato su un parametro misurabile, con la popolazione, la misura e la zona di rilevanza.
- Piano di prova. Ogni scelta dell'analisi, registrata prima di vedere i dati.
- Dataset con scheda di provenienza. I dati grezzi e la descrizione di come sono stati raccolti.
- Controlli automatici. Il sistema verifica dati, piano e condizioni di applicabilità; se un controllo fallisce non c'è risultato.
- Fatto statistico. Il risultato del calcolo, che ogni nodo può rifare.
- Motivo sulla teoria. La teoria resta C e riceve il fatto statistico come motivo: sostenuta o contraddetta.
Dal risultato al valore
Un test statistico può sempre sbagliare: con un livello del 5% rifiuta un'ipotesi vera circa una volta su venti. La decisione 6 chiede invece una dimostrazione. Le decisioni 28 e 29 risolvono così:
- il fatto statistico («il dataset D, analizzato con il piano P, dà un intervallo al 99,9% tutto fuori dalla zona di rilevanza») è un calcolo deterministico: può essere dimostrato, e allora vale V;
- la teoria sul mondo resta C e riceve il fatto come motivo. Per via statistica nessuna teoria sul mondo diventa V o F, e quindi nessuna si propaga come dimostrata (decisione 25).
Il motivo dipende da dove cade l'intervallo rispetto alla zona di rilevanza:
| Intervallo al 99,9% | Fatto statistico | Teoria che afferma l'effetto | Teoria che lo nega |
|---|---|---|---|
| Tutto fuori dalla zona | Effetto rilevante presente | C · sostenuta da D | C · contraddetta da D |
| Tutto dentro la zona | Nessun effetto rilevante | C · contraddetta da D | C · sostenuta da D |
| A cavallo | Inconcludente | C, nessun motivo | C, nessun motivo |
- Soglia unica. Il livello è uno solo per tutto il sistema, 0,001; nessun piano può sceglierne uno più comodo. Con teorie poco plausibili in partenza un successo a 0,05 è quasi sempre falso: nell'esempio di Motulsky lo è nel 91% dei casi.
- Replica. «Sostenuta» richiede almeno due dataset indipendenti: nessuna unità in comune, raccolti da persone o nodi diversi, ciascuno con il proprio piano. Con un solo dataset il motivo è «sostenuta da D1, in attesa di replica».
- Alternative. Una teoria è sostenuta solo se le alternative dichiarate (decisione 7) sono contraddette sullo stesso dataset; altrimenti il motivo è «compatibile con D, come le alternative A e B».
- Ipotesi di identificazione. Se leggere un'associazione come effetto richiede un'ipotesi non verificabile dai dati (assegnazione casuale, tendenze parallele, uno strumento valido), il motivo la nomina: «sostenuta da D, se vale I».
- Agire non è affermare. Un risultato può giustificare una decisione pratica («continuiamo la produzione») senza dare un valore di verità.
Perché il test non basta: il ragionamento «se la teoria è falsa, questi dati sono improbabili; li abbiamo osservati; quindi la teoria è probabilmente vera» non è valido. Field lo mostra così: chi suona la chitarra probabilmente non è nei Fugazi; Picciotto è nei Fugazi; quindi probabilmente non suona la chitarra. Invece la suona.
La previsione
- È una proposizione sul parametro. «Il farmaco abbassa la pressione» è un predicato finché non si dice di chi e in che senso: in media nella popolazione P, per ogni paziente, in una quota di pazienti. «Per ogni paziente esiste una dose efficace» e «esiste una dose efficace per tutti» sono teorie diverse. Senza questa precisazione il valore è N · non apofantico.
- Ha una zona di rilevanza. L'intervallo di valori che la teoria considera «nessun effetto rilevante», dichiarato prima. Rende possibile dimostrare anche un'assenza.
- Dice esattamente ciò che afferma la teoria. «Le due dosi insieme superano il placebo» non è «ogni dose supera il placebo». Una differenza tra due gruppi si prova sulla differenza: «significativo nei maschi, non nelle femmine» non dimostra che l'effetto sia diverso.
- L'ipotesi nulla è la negazione esatta della teoria. «La pressione media non cambia tra prima e dopo» non è la negazione di «il farmaco funziona»: la pressione può scendere per l'effetto placebo o per il clima.
- Vale sul suo dominio. La stessa relazione su due popolazioni sono due teorie. Un dataset che copre solo una parte prova solo quella; non si estrapola fuori dai valori osservati.
- Si traduce nel parametro esatto. «Chi fuma ha rischio doppio a ogni età» non vuol dire metà probabilità di sopravvivere: tra 50 e 60 anni sono 0,37 contro 0,61. Media e mediana sono due teorie diverse: nei topi di Ross le medie differiscono, le mediane no, perché l'effetto sta in cinque animali.
- Un'unità futura richiede un intervallo di predizione, più largo di quello sulla media.
Il dataset e la scheda di provenienza
Il dataset si conserva grezzo: una riga per osservazione, una colonna per variabile, con tipo, scala, unità e simbolo dei mancanti. È una tabella di ONTO che non si modifica dopo l'inserimento; scheda, piano e fatto statistico sono elementi collegati a essa (decisione 35). Senza scheda di provenienza il dato non è una prova.
| Voce della scheda | Perché serve |
|---|---|
| Popolazione, elenco delle unità, modo di selezione | Il Literary Digest del 1936 intervistò proprietari di telefono e d'auto e sbagliò l'elezione |
| Unità di osservazione e struttura a gruppi | Cento chip prodotti lo stesso giorno non sono cento prove: se una giornata va tutta bene o tutta male, la stessa media nasconde una distribuzione opposta. Con misure correlate nei gruppi l'errore reale passa dal 5% al 74% |
| Regola di assegnazione del trattamento e procedura di randomizzazione | È la randomizzazione a giustificare le ipotesi del modello; senza, «è il programma a essere migliore o sono i soggetti più capaci?» resta aperto |
| Regola di ingresso nel dataset | Unità scelte perché avevano valori estremi migliorano da sole (regressione verso la media) |
| Tasso di base e denominatori | «L'80% dei pedoni investiti di notte era vestito di scuro» non dice nulla senza sapere quanti si vestono di scuro |
| Operazionalizzazione, strumento, dose, testo esatto delle domande | Una domanda in forma positiva o negativa dà risposte diverse; una misura sostitutiva è una teoria a parte, da cui il risultato dipende |
| n raccolto e n usato per ogni stima, con il motivo di ogni perdita | In un esempio di Field il software usa 123 righe su 810 senza avvisare |
| Codifica, categorie di riferimento, soglie | Il segno di un coefficiente dipende dalla categoria di riferimento; una soglia scelta dopo aver visto i dati cambia il risultato |
| Ordine di raccolta, dati censurati, regola di arresto | L'ordine permette di controllare l'indipendenza; censura e arresto entrano nel calcolo |
| Parametri presi come noti da studi precedenti | Sono ipotesi che dipendono da un'altra teoria |
| Chi misura, chi finanzia, incidenti durante la raccolta | L'esito misurato da chi conosce la condizione è un esito influenzato |
| Codice usato: funzione, pacchetto, versione, opzioni | Programmi diversi, e perfino interfacce diverse dello stesso programma, danno numeri diversi |
Il piano di prova
Il piano si registra prima dei dati e non si cambia. Deve essere completo al punto da non lasciare nessuna scelta che dipenda dai dati:
- ipotesi nulla e alternativa, numero di code, zona di rilevanza;
- forma del modello: variabili candidate, interazioni, trasformazioni (passare ai logaritmi e poi fare la media cambia il parametro);
- procedura, implementazione, versione, opzioni e seme;
- dimensione del campione, regola di arresto, potenza per l'effetto minimo rilevante;
- esito primario, confronti previsti, sottogruppi;
- regole per anomali, mancanti, esclusioni, raggruppamenti in classi;
- correzione per confronti multipli, valori iniziali delle stime iterative, tipo di intervallo.
Uno studio pilota usato per dimensionare il campione non entra nella prova. Ciò che si scopre esplorando i dati produce teorie C da provare su dati nuovi.
Controlli automatici
| Controllo | Se fallisce |
|---|---|
| Piano registrato prima dei dati, completo | Nessun risultato |
| Scelta della procedura: è una funzione del tipo di esito, dei predittori e del disegno, letti dalla scheda; l'utente non la sceglie | Procedura rifiutata |
| Condizioni di applicabilità (dimensioni minime, frequenze attese, rapporto tra varianze), controllate in ogni cella del disegno | Nessun risultato, con il motivo |
| Il parametro esiste: con code pesanti la media può non esistere | N · parametro non definito |
| Il parametro è identificato: modello non saturo, nessuna collinearità grave, stima non sul bordo, verosimiglianza non piatta | N · non identificato |
| La stima converge allo stesso valore partendo da più valori iniziali | N · stima non unica |
| La conclusione regge togliendo un'unità o un gruppo alla volta | C · fragile |
| Residui senza struttura | Modello respinto |
| Ipotesi del modello: una simulazione le viola una alla volta. Se la conclusione non cambia, l'ipotesi era di comodo; se cambia, il risultato dipende da essa | Dipendenza registrata |
| Potenza sufficiente | Un risultato non significativo non conta come «no» |
| Grafo causale dichiarato: confondenti, collisori, selezione | Il risultato non legge un effetto |
| Previsioni placebo: nessun effetto dove la teoria dice che non può esserci | Il disegno è F, non la teoria |
| Conteggio di tutte le analisi eseguite sullo stesso dataset; correzione automatica per confronti multipli | Correzione applicata |
| Coerenza dei numeri; dati «troppo perfetti» (20 004 teste su 40 000 lanci) | Segnalazione |
Se per un disegno un controllo non esiste, il sistema lo dice: un controllo mancante non è un'ipotesi rispettata. Allo stesso modo «il criterio non decide» è un esito legittimo.
Quando il metodo cambia la conclusione
Gli stessi dati, analizzati con procedure tutte legittime, possono dare conclusioni opposte. Per questo il sistema esegue anche le alternative standard alla procedura del piano (multiverso ristretto): se concordano il fatto statistico vale; se discordano è «inconcludente · dipende dal metodo».
| Dati | Procedure | Fonte |
|---|---|---|
| Viagra e libido | ANOVA p = 0,025; Welch 0,054; robusti 0,054–0,089 | Field |
| Prove ripetute | Greenhouse-Geisser 0,063; Huynh-Feldt 0,048; modello multilivello 0,005 | Field |
| 276 pazienti in 10 cliniche | Ignorando le cliniche p = 0,045; tenendone conto 0,71 | Field |
| Tabella 2×2 | Pearson 0,047; Yates 0,085; Fisher 0,068 | Field |
| Programma di sicurezza, prima e dopo | t appaiato 0,025; test dei segni 0,344 | Ross |
| Proporzione con pochi casi | Test esatto 0,082; approssimazione normale 0,0495 | Ross |
| Compleanno e data di morte, 1251 persone | 12 classi p = 0,10; 4 classi scelte dopo aver visto i dati 0,002 | Ross |
L'ultima riga mostra il raggruppamento: scegliendo le classi dopo aver visto i dati si ottiene quasi qualsiasi risultato (Giusti lo dimostra per le serie). Per questo le classi stanno nel piano, e il sistema ricalcola con raggruppamenti alternativi.
Spiegazioni alternative aggiunte dal sistema
Alcune spiegazioni rivali sono sempre possibili. Il sistema le aggiunge da solo alla teoria di alternative quando la scheda lo richiede:
- Regressione verso la media. Unità scelte per un valore estremo tornano verso la media senza alcun intervento. Gli istruttori di volo vedono peggiorare chi è stato lodato dopo un ottimo atterraggio e migliorare chi è stato criticato dopo uno pessimo, e concludono a torto che le critiche funzionano.
- Effetto placebo e cambiamenti nel tempo, quando c'è solo il confronto prima e dopo.
- Confondenti, quando il dato è osservazionale: i bambini più alti leggono meglio perché sono più grandi.
- Selezione all'ingresso, quando il dataset registra solo chi ha superato una soglia.
- Livello del dato, quando una teoria sugli individui si confronta con dati aggregati per città o per stato.
Contro l'esperimento costruito su misura
- Un dataset discrimina tra due teorie solo dove le loro previsioni divergono. Il potere discriminante si calcola prima dei dati.
- Esplorazione e conferma usano dati diversi; il sistema sa quale dataset ha suggerito l'ipotesi.
- Il disegno si fissa senza vedere gli esiti: assegnazione casuale, gruppo di controllo, cieco per chi riceve e per chi misura, misura iniziale, più stimoli per ogni condizione, gruppi bilanciati.
- Si conservano tutte le analisi e tutti i risultati negativi, non solo i migliori.
- Un campione enorme scelto per «trovare una differenza» è neutralizzato dalla zona di rilevanza.
- Se il sistema valuta previsioni espresse come probabilità, usa una regola di punteggio che premia chi dichiara ciò che crede davvero.
Il calcolo
- Ogni calcolo è deterministico dati dataset, piano, implementazione e seme: chiunque lo rifà e lo confronta (decisione 69). È questo che rende dimostrabile il fatto statistico.
- Si preferisce la procedura esatta, poi la simulazione con molte iterazioni e l'errore della simulazione dichiarato, e solo per ultima l'approssimazione asintotica. Se l'approssimazione e l'esatta discordano, vale «inconcludente».
- I numeri si ricalcolano dai dati, non si copiano: anche i manuali hanno refusi.
- Il calcolo è tutto in aritmetica decimale, compreso il modello multilivello (decisione 59): chi rifà il calcolo ottiene le stesse cifre, senza tolleranza (decisione 62); non si riportano più cifre di quelle che l'approssimazione garantisce.
Fonti
- David J. Hand, Statistica, Codice edizioni.
- Marco Bramanti, Calcolo delle probabilità e statistica. Teoria ed esercizi, Progetto Leonardo.
- Harvey Motulsky, Intuitive Biostatistics, 4ª ed., Oxford University Press, 2018.
- Scott Cunningham, Causal Inference: The Mixtape, Yale University Press, 2021.
- Paul Newbold, William Carlson, Betty Thorne, Statistica, 9ª ed. italiana, 2021.
- Andy Field, Jeremy Miles, Zoë Field, Discovering Statistics Using R, SAGE, 2012.
- Claudio Canuto, Anita Tabacco, Analisi Matematica I, 4ª ed., Springer, 2014 (e 3ª ed., 2008).
- Enrico Giusti, Esercizi e complementi di analisi matematica, vol. 1, Bollati Boringhieri, 1991.
- Sheldon M. Ross, Probabilità e statistica per l'ingegneria e le scienze, Apogeo.
Aggiornato il 9 ottobre 2026.