Bozza di Manifesto per un'Intelligenza Artificiale governata dal Principio di Precauzione | Semanticase

Avete capito bene: vi presentiamo un articolo che è una bozza!

Oggi facciamo un passo indietro, o meglio, un passo in profondità, verso le fondamenta matematiche che reggono l’intero edificio dell’informatica.

Viviamo in un’epoca di AI Washing, in cui la narrazione dominante ci vende l’Intelligenza Artificiale come un oracolo infallibile, capace di risolvere problemi di complessità infinita semplicemente “ingozzandola” di dati. Ma analizzando i fondamenti teorici della computazione, emergono segnali di allarme che non possiamo ignorare. Non stiamo dicendo che l’AI non funzioni — i risultati sono sotto gli occhi di tutti — ma stiamo avanzando una speculazione fondata: esistono limiti strutturali che la matematica ci suggerisce (da tempo) e che una parte dell’informatica contemporanea sembra ignorare del tutto, preferendo il marketing alla teoria.

La domanda che dobbiamo porci non è “quanto è potente l’AI?” ma “quanto sono solide le fondamenta su cui stiamo costruendo questo grattacielo?“.

1. Gli Indizi Matematici: Gödel

Per capire perché l’idea di un’AI onnisciente è pericolosa, dobbiamo guardare agli indizi lasciati da Kurt Gödel nel 1931. I suoi Teoremi di Incompletezza proiettano un’ombra lunga e ineludibile sui sistemi formali complessi (e le AI, basate su codice e logica matematica, possiamo, di fatto, considerarle come sistemi formali):

L’Incompletezza: qualsiasi sistema coerente (cioè privo di contraddizioni interne) e abbastanza complesso da gestire l’aritmetica conterrà inevitabilmente verità che non può dimostrare. In termini di AI, ciò significa che esisteranno sempre scenari corretti (“veri”) che il modello non potrà mai derivare dai suoi dati di training (“assiomi”), lasciando “buchi” ciechi nella sua conoscenza del mondo.
L’Incoerenza non dimostrabile: tali sistemi non possono garantirne la coerenza dall’interno, ovvero non posso dimostrare se alcune asserzioni siano vere o false. In senso generale, non siamo sicuri che un sistema AI possa autovalidarsi pienamente e in modo uniforme.

Attenzione: stiamo speculando! Non abbiamo ancora “Teoremi di Incompletezza delle Reti Neurali” specifici, ma ignorare l’analogia è rischioso. È ragionevole ipotizzare che, aumentando la complessità e il numero di parametri, l’AI non eliminerà l’incompletezza anzi, gli scenari sono due: i) la renderà solo più difficile da individuare, nascondendo le incoerenze sotto strati di plausibilità statistica, ii) oppure si avvicinerà ancora di più alle condizioni dei teoremi di Gödel. L’AI non può “uscire” dal proprio sistema logico per validare se stessa: questo è un limite teorico invalicabile che suggerisce cautela e precauzione nell’affidarle la “verità” fattuale.

2. Il Vicolo Cieco di Turing

Alan Turing, nel 1936, ha aggiunto un altro tassello cruciale con il problema dell’arresto (Halting Problem), dimostrando che esistono problemi fondamentalmente irrisolvibili per via algoritmica. Turing ha dimostrato che non esiste un programma universale in grado di prevedere se un altro programma si fermerà (troverà una soluzione) o girerà all’infinito per ogni possibile input.

L’impatto sulla Governance: Stiamo costruendo macchine calcolatrici complesse per operare in un mondo pieno di problemi indecidibili e caotici. Quando deleghiamo decisioni critiche o aspetti specifici, stiamo scommettendo che l’AI possa sempre e comunque approssimare l’indecidibile senza commettere errori catastrofici. Ma questa è, appunto, una scommessa, non una certezza scientifica.

Questo rischio è di sistema e di base,si aggiunge a quello di confondere la probabilità (l’AI è sicura al XX% oppure questa è la sequenza di parole più probabile) con la verità (l’AI ha ragione). Un certo grado di imprevedibilità sembrerebbe essere una caratteristica intrinseca del sistema, non un semplice bug da risolvere con il prossimo aggiornamento.

3. Il Principio di Precauzione

Qui arriviamo al cuore del problema, dove la teoria matematica incontra la responsabilità sociale e scientifica. A nostra conoscenza, non esistono ancora approcci matematici che definiscano con precisione i confini operativi degli LRM (Large Reasoning Models). Non sappiamo esattamente dove sia il “punto di rottura“, ovvero quando un modello “collassi” di fronte a problemi complessi (come mostrato empiricamente da Shojaee et al., 2025).

Di fronte a questa incertezza strutturale, invece di accelerare alla cieca, anche attraverso un’attività di Science Diplomacy, si deve imporre ed attuare il Principio di Precauzione come standard operativo:

Reindirizzare la Ricerca verso i Limiti: Smettiamo di finanziare esclusivamente la ricerca mirata a rendere i modelli più grandi e iniziamo a finanziare in modo massiccio la ricerca che indaga l’indecidibilità, l’incompletezza e la robustezza by design nell’AI. Dobbiamo mappare il campo minato prima di correrci sopra.
Gestire l’Ignoranza Dichiarata: Finché non avremo teoremi che garantiscono la stabilità di questi sistemi su task complessi, dobbiamo assumere, per default, che siano fallibili e incompleti. Ogni output deve essere accompagnato da una metrica di incertezza trasparente che ci faccia capire da dove e come è stato generato l’output.
Human-in-the-Loop come Sicurezza: L’essere umano non è un accessorio nostalgico o un rallentamento burocratico. L’umano è l’unico ente capace di gestire l’ambiguità semantica e i contesti etici e sociali che sfuggono alla formalizzazione matematica, alla programmazione ed ai dati di training. L’Agency umana è la “valvola di sicurezza” necessaria contro l’indecidibilità algoritmica: dove la logica formale si ferma, deve subentrare il giudizio.

Governare l’Incertezza

La lezione che ci lasciano Gödel e Turing è un invito profondo all’umiltà intellettuale. Fingere che questi limiti non esistano, o che “più dati e più potenza di calcolo” possano magicamente risolvere paradossi logici fondamentali, è un atto di fede cieca, non di scienza rigorosa.

La vera innovazione oggi non è costruire un oracolo più veloce che finge di sapere tutto, ma avere il coraggio scientifico e politico di dire: “La matematica ci suggerisce che qui c’è un limite invalicabile. Fermiamoci, studiamolo e progettiamo sistemi che ragionino CON noi, potenziando le nostre capacità, invece di illuderci che possano ragionare PER noi, sostituendo la nostra responsabilità.”

P.S. E no, non ho parlato di Penrose…:D

Takeaways

Per il Cittadino Digitale	Per Esperti e Decision Makers
Non è Magia, è Matematica: Non fidarti ciecamente. La matematica ci dà forti indizi che nessun sistema logico può sapere tutto o provare tutto. L’errore è parte del sistema.	Spostare il Focus della Ricerca: Non serve solo più computing, serve più teoria. Investire nello studio dell’indecidibilità nelle reti neurali è urgente quanto il training di nuovi modelli per garantire la sicurezza a lungo termine.
Il Dubbio è Sano: Se l’AI sembra troppo sicura di sé, ricorda che non può dimostrare la propria coerenza. Mantieni sempre attivo il tuo spirito critico e verifica le fonti.	Il Principio di Precauzione: In assenza di prove formali di sicurezza e coerenza (impossibili per Gödel), l’adozione deve essere conservativa, supervisionata e reversibile.
Agency Umana: L’AI propone calcoli e correlazioni, tu disponi giudizi e decisioni. La responsabilità etica colma il vuoto lasciato dall’incompletezza matematica.	Rigorosa Trasparenza: Dichiarare che stiamo operando in un regime di incertezza teorica non è debolezza, è l’unico approccio scientificamente onesto e l’unica base per una fiducia sostenibile.

Approfondimenti

Graphic Novels per iniziare

Questi concetti possono sembrare astratti. Suggeriamo due opere straordinarie che usano il linguaggio del fumetto per spiegare la complessità:

Doxiadēs, A.K. et al. (2009). Logicomix: An Epic Search for Truth. Bloomsbury. Perché leggerlo: un’epica che racconta la ricerca ossessiva di Bertrand Russell e di Kurt Gödel per i fondamenti della matematica. Perfetto per capire “visivamente” il dramma dell’Incompletezza.
Ottaviani, J. & Purvis, L. (2016). The Imitation Game: Alan Turing Decoded. ABRAMS. Perché leggerlo: una biografia accessibile che esplora la mente di Turing, dal decifrare Enigma alla formulazione dell’Indecidibilità e dell’intelligenza delle macchine.

Bozza di Manifesto per un’Intelligenza Artificiale governata dal Principio di Precauzione