Perdere il conto

I governi sono guidati dalle statistiche - sull'economia, l'occupazione, l'alloggio e altro ancora. E se i numeri fossero tutti sbagliati?

---

Il governo dipende da dati affidabili, ma le statistiche ufficiali sono meno accurate che mai.

Se la merce più pregiata nel 20° secolo era il petrolio, nel 21° sono i dati. È sia la nostra monotona realtà che la nostra ansiosa ossessione. Tiene traccia di tutto ciò da cui gli annunci online ci vengono mostrati per la nostra salute e l'attività fisica. Alimenta gli inventari e le consegne dei supermercati, gli algoritmi dei social media e i modelli di intelligenza artificiale. Ci preoccupiamo dell'impatto del microtargeting e delle bolle di filtro anche se alimentiamo sempre più la nostra vita in algoritmi.

Pensiamo ai dati come a qualcosa di all'avanguardia e preciso. La realtà, però, può essere molto diversa. I dati sono solo un aggregato delle nostre esperienze umane, e quelli sono spesso più disordinati, più complessi e più difficili da quantificare rispetto alle persone che potrebbero ordinatamente tabularli. E anche in questa era online, il processo di raccolta delle figure su cui gira il mondo è sorprendentemente analogico.

Ad agosto, Donald Trump ha alzato la posta in gioco dello scricchiolio dei dati governativi licenziando il ben considerato direttore del Bureau of Labor Statistics degli Stati Uniti -che il suo vice presidente aveva votato a favore della nomina durante il suo periodo da senatore- perché non gli piacevano i numeri che vedeva nel sondaggio americano sull'occupazione. Ciò che significa ottenere le risposte “giuste” non solo sta diventando più difficile, ma anche più politico.

I governi e i mercati si affidano allo stesso modo a sapere quanto velocemente l'economia sta crescendo, quante persone sono impiegate, quanto siamo pagati e così via. Il più delle volte, l'unico modo per stimare queste cifre è fare domande a un campione di persone e sperare che abbastanza rispondano, e farlo abbastanza onestamente da rendere le cifre accurate. È così che il PIL, la disoccupazione, l'inflazione e altre misure economiche chiave sono state calcolate per più di un secolo. Ma quelle cifre -che decidono l'ascesa e la caduta del mercato azionario, dove le banche centrali fissano i tassi di interesse e quali crisi i governi decidono di affrontare- sono meno affidabili di quanto immaginassimo una volta. Mentre rendiamo gli algoritmi e le infrastrutture digitali più centrali per la nostra società, troviamo anche più difficile capire cosa sta succedendo.

La crisi dei lavoratori britannici scomparsi è un esempio calzante. Mentre le aziende hanno riaperto dopo il blocco del Covid e le restrizioni sono state revocate, centinaia di migliaia di adulti più anziani non sono tornati alla forza lavoro. Era questa una generazione che andava in pensione prima di aver avuto un assaggio di svago? Era la prova che la salute della popolazione del Regno Unito era peggiore di quanto si pensasse, o che il lungo Covid stava prendendo un tributo maggiore sugli adulti più anziani di quanto immaginato?

Centinaia di articoli sono stati scritti sul problema di questa generazione inattiva. È stato discusso in parlamento, considerato dai ministri ed è stato foraggio per numerosi articoli di ampio respiro. Ma potrebbe non essere affatto un problema, perché si scopre che le statistiche che sembravano aver rivelato il problema sono diventate troppo inaffidabili per dirci definitivamente in entrambi i casi.

I dati provengono dall'Indagine sulle forze di lavoro, o LFS, che produce una delle più importanti serie di statistiche raccolte dall'Office for National Statistics (ONS). La LFS serve come fonte delle statistiche del Regno Unito sulla disoccupazione, l'inattività economica e l'occupazione per industria, età e altro ancora. Per anni è stato raccolto attraverso indagini doorto-door di particolari case, ma la pandemia ha costretto gli ONS a passare a contattare le persone per telefono.

Questo ha accelerato una tendenza consolidata. “La storia a lungo termine è che i tassi di risposta alla LFS sono diminuiti per un periodo di tempo molto lungo”, spiega Xiaowei Xu, economista senior presso l'Istituto di studi fiscali (IFS). Nel corso dei decenni, il tasso di risposta è sceso da quasi il 70% al 37% a causa della pandemia di Covid. È caduto precipitosamente durante l'interruzione del lockdown e non si è mai completamente ripreso, toccando un minimo del 13% entro il terzo trimestre del 2023. Ora si trova a poco meno del 26 per cento.

I motivi per cui sono un mistero per i ricercatori, ma la maggior parte noterà che i visitatori inaspettati alla tua porta non lo sono più luogo comune, la maggior parte delle persone non ha più telefoni fissi, pochi di noi rispondono ai nostri cellulari a numeri sconosciuti e siamo più consapevoli dei tentativi implacabili da parte dei truffatori di rubare i nostri dati personali. Cercare di spiegare che sei un onesto collezionista di statistiche è più difficile di quanto non sia mai stato.

Un tasso di risposta più basso significa che gli ON devono contattare molte più persone di prima solo per ottenere lo stesso numero di risposte, ma rende anche più difficile fidarsi di quelle risposte. In parole povere, come fa l'ONS a sapere che le persone che rispondono oggi sono paragonabili a quelle di una volta? Le statistiche mostrano che più over-50 sono economicamente inattivi a causa di una tendenza reale, o perché è più facile ottenere economicamente inattivi over-50 per rispondere a un lungo sondaggio rispetto a quelli ancora al lavoro?

Dopo che i ricercatori indipendenti hanno sollevato preoccupazioni, l'ONS è stato costretto ad ammettere che la LFS non soddisfaceva più gli standard richiesti da una “statistica nazionale”, ma il lavoro per risolverlo è stato lento.

In parte, questo è dovuto al fatto che l'ONS ha cercato di creare un LFS più moderno e “migliorato” che utilizza i dati amministrativi per migliorare la sua accuratezza, bilanciando e ponderando le risposte ai sondaggi rispetto ai dati effettivi dell'HMRC e del Tesoro in modo che sia meno dipendente dalle risposte ai sondaggi. Ma i dati amministrativi ti portano solo fino ad ora; possono dirti che qualcuno non sta lavorando, ma non perché. Il lancio dell'LFS “migliorato” continua a essere ritardato, mentre quello esistente rimane inadeguato. Uno dei principali set di dati economici del Regno Unito semplicemente non funziona.

Una volta che inizi a cercare, ci sono problemi simili ovunque, anche se non tutti sono così gravi. Un altro importante set di dati prodotto dall'ONS riguarda le famiglie al di sotto del reddito medio. Questa è la fonte di molte delle statistiche ufficiali del Regno Unito sulle famiglie che vivono al di sotto delle diverse misure della soglia di povertà, una metrica importante e molto discussa. Ancora una volta, i numeri forniti dagli intervistati non coincidono con quelli dei dati amministrativi. Come afferma Adam Corlett, principale economista della Resolution Foundation*, " Circa 40 miliardi di sterline all'anno di reddito da benefit non appaiono nei dati del sondaggio”.

Alcuni di questi sono il risultato del fatto che le famiglie dimenticano di ricevere determinati benefici o non li aggiungono a ciò che ricevono. Un pensionato può dimenticare di aggiungere il credito pensionistico nel loro reddito pensionistico statale quando parla con un ricercatore, per esempio. Ciò sembra rappresentare circa €20bn della discrepanza, ma i restanti €20bn sembrano essere il risultato di “una sottorappresentazione dei beneficiari di benefici”, afferma Corlett.

In altre parole, ci sono buone notizie e cattive notizie per i ministri e i responsabili politici. Le famiglie povere nel Regno Unito hanno circa 40 miliardi di euro in più di quanto suggeriscano le statistiche ufficiali, ma ci sono anche più famiglie povere di quanto dicono le cifre.

"Questa è la nostra principale fonte di informazioni per la povertà e la privazione, e il governo sta per lanciare una strategia per la povertà infantile”, osserva Corlett, un po' frustrato dalla situazione. "Ma non sappiamo quali siano realmente i numeri della povertà o come siano cambiati di recente.”

La disoccupazione è una delle tre statistiche fondamentali considerate dai banchieri centrali e dai politici. Gli altri due sono il PIL e l'inflazione. Misurare la crescita sarà sempre complicato, ma l'inflazione almeno dovrebbe essere semplice, giusto? Quanto è costato un prodotto l'anno scorso rispetto a quest'anno? Quanto può essere difficile?

Ci sono un sacco di controesempi che mostrano questa domanda. Alla fine del 1990 e all'inizio del 2000, un telefono cellulare con 64kb di memoria era all'avanguardia della tecnologia. Oggi, 64kb di memoria è così insignificante piccolo che non si può comprare da solo—anche una scheda di memoria di base ha un milione di volte più spazio di archiviazione. Ma un telefono cellulare costa più di un tempo. Cosa dovrebbe essere misurato: il prezzo del telefono stesso o il prezzo per kilobyte di memoria?

Come FT Alphaville ha scoperto, cose molto più semplici confondono anche le statistiche sull'inflazione. Il pubblico britannico compra abbastanza videogiochi che il costo dei giochi è qualcosa che dovrebbe essere incluso nel paniere di inflazione, un fascio di beni e servizi scelti dall'ONS per rappresentare il consumo di una persona tipica nel Regno Unito, per vedere come cambiano i loro prezzi. L'ONS fa questo monitorando il prezzo di una manciata di titoli su diverse console.

Il problema è che il mercato dei giochi non funziona secondo le stesse regole economiche, ad esempio, del prezzo del petrolio. Fifa e giochi di calcio simili lavorano su un programma di rilascio annuale-ogni nuova stagione, c'è una versione aggiornata del gioco. Di conseguenza, nel corso dell'anno, il costo dell'edizione della stagione precedente scende, diciamo da €70 a €40, fino a quando il nuovo esce a €80. I tempi dei più grandi franchise di gioco—che sono stagionali, non annuali-rischiano davvero di aumentare l'inflazione? Questo è il tipo di domanda con cui viene lasciato ONS, in parte perché sta facendo grandi statistiche basate su una selezione (comparativamente) molto piccola di elementi.

Il problema più ampio, tuttavia, potrebbe essere che stiamo chiedendo all'ONS e alle agenzie come questo di quantificare l'non quantificabile. Abbiamo costruito una società che si basa su dati incredibilmente granulari e in tempo reale, quindi fingiamo che produrre quei dati sia semplice, quando in realtà anche le misure economiche più longeve sono difettose.

“Una delle illusioni è che si tratta di informazioni molto semplici e di base”, dice Diane Coyle, professore di politica pubblica presso l'Università di Cambridge e autore di PIL: una guida breve ma affettuosa. "Le persone hanno puntato le narrazioni su statistiche economiche estremamente incerte per un tempo molto lungo.

"La cosa che ho imparato scrivendo il libro sul PIL 10 anni fa è che non esiste alcun tipo di numero assoluto corretto per la dimensione dell'economia, o nessuna di queste altre definizioni-sia esso il deficit commerciale o i numeri della disoccupazione, perché sono tutte idee”, continua. "Stiamo cercando di catturare fenomeni complicati, confusi, sociali ed economici in un numero e di dare troppo peso a un singolo numero.”

Il nostro desiderio di misurare e quantificare va ben oltre l'economia e la demografia. Spendiamo milioni di euro e migliaia di ore a produrre sondaggi cercando di prevedere i risultati delle elezioni. Per i partiti politici e gli attivisti, questo è razionale: potrebbero aver bisogno di testare i loro messaggi, o valutare se dovrebbero fare campagne aggressive per conquistare nuovi seggi o cercare di difendere quelli che hanno. Ma per i media, e per la maggior parte di noi come pubblico, i sondaggi sono un'ipotesi inutile. Dominano il nostro discorso politico nonostante siano sempre più inaffidabili, e nessuno è sicuro che quelle persone interrogate siano comunque veramente rappresentative del pubblico.

Ovunque, percepiamo che la vita è più quantificabile che mai - se vogliamo utilizzare i dati per sempre, ad esempio per migliorare la nostra salute, o temere il microtargeting, la frammentazione e l'intelligenza artificiale. Ma ovunque, la vita sembra sfidare questo senso.

Come possiamo migliorare nel contare? Parte della risposta sta semplicemente nel riconoscere che le statistiche sono il fondamento di tutti i piani contorti per i servizi pubblici e i dashboard di dati aumentati dall'intelligenza artificiale e investire in essi in modo appropriato.

"Penso che ci sia stato un enorme sottoinvestimento da parte dello stato nei dati che raccoglie”, afferma Coyle. "La parola' statistica ' deriva dalla parola per stato. È la raccolta dei dati che ha lo scopo di aiutare i governi a governare in modo efficace. Quando le aziende stanno spendendo una fortuna riconoscendo il valore dei dati che detengono e usandoli, mi sembra un errore che i governi stiano tagliando su ciò che spendono per la raccolta dei dati.”

Molti nel mondo delle statistiche incolpano il trasferimento dell'ONS a Newport poco più di un decennio fa per averlo reso un posto meno attraente in cui lavorare, meno connesso alle istituzioni con cui lavora e meno efficace.

I moderni sistemi di intelligenza artificiale sono scatole nere, che non rivelano mai il loro funzionamento ally ha perso il 90% del suo staff di conseguenza, mentre the shift ha fatto poco per rivitalizzare Newport. Ma altri indicano una causa più semplice dei suoi problemi: il sottofinanziamento.

Le statistiche mancano del fascino dell'intelligenza artificiale e dei big data, o del potere di attirare l'attenzione di assumere medici, infermieri o agenti di polizia. Nonostante i loro bilanci siano un errore di arrotondamento nel contesto della spesa pubblica, le agenzie statistiche sono sempre un luogo attraente per i ministri per cercare risparmi.

Tagliare gli angoli è costoso-cattive statistiche potrebbero significare che i ministri passano mesi a concentrarsi sui problemi sbagliati, i banchieri centrali prendono la decisione sbagliata sui tassi di interesse, o le imprese investono male—ma il sottoinvestimento nei dati non sarà mai roba da proteste nelle strade.

Invece, gli stessi dati che dovrebbero dirci come stiamo andando come società, chi siamo, quanto siamo ricchi, anche quanti di noi ci sono, diventano un altro simbolo di abbandono. Le risposte a queste domande non sono mai state così semplici come le immaginavamo, ma stabilirle sembra solo essere sempre più difficile.

C'è una frase dagli albori dell'informatica moderna nel 1950: “Garbage in, garbage out. Si rifà a un sentimento sollevato da Charles Babbage, il matematico vittoriano che ha concepito il primo computer, che nessun computer sarebbe mai stato in grado di ottenere la risposta giusta se qualcuno avesse immesso i numeri sbagliati in primo luogo.

Le statistiche sono la materia prima del mondo guidato dai dati. Algoritmi e dati si basano sulla comprensione che forniscono. I moderni sistemi di intelligenza artificiale lo fanno come scatole nere, senza mai rivelare il loro funzionamento— il loro ragionamento è invisibile anche alle persone e alle aziende che costruiscono i modelli—ma facendo ancora affidamento su statistiche fondamentali. Se ciò che entra nei loro dati di allenamento è sbagliato, emetteranno con sicurezza conclusioni sbagliate e non avremo modo di verificare. Mentre la corsa agli armamenti dell'IA accelera, questo è un problema che stiamo ignorando quasi del tutto.

La domanda è se le nostre statistiche essenziali, la nostra visione di prima mano del mondo, possano supportare l'edificio che stiamo costruendo su di loro per lanciare l'era dell'IA. Se i nostri dati continuano a spostarsi come sabbia, il tutto potrebbe crollare.