Intelligenza artificiale e responsabilità dell’Ente: otto domande da fare (a sé e ai fornitori)

Nelle proposte che arrivano ai Comuni è comparsa da poco una formula nuova. Protocollo, pratiche edilizie, tributi, sportello al pubblico: le soluzioni offerte cominciano a contenere «intelligenza artificiale», e la parola compare nelle offerte e nei capitolati con la stessa naturalezza con cui una decina d’anni fa comparve «in cloud».

Dai colloqui con i colleghi degli enti raccolgo una reazione ricorrente, e non è né entusiasmo né rifiuto: è il disagio di chi deve decidere senza avere gli elementi per farlo, e sospetta che le domande giuste siano domande tecniche, che non è in grado di porre. Credo che questo sospetto sia infondato, e che valga la pena mostrarlo — perché è esso stesso un ostacolo: chi teme di non saper chiedere, non chiede, e finisce per firmare.

Che cosa è cambiato davvero

Partiamo da un’obiezione ragionevole. Un Comune convive da decenni con software che non ha scritto e che non è in grado di ispezionare: il gestionale dei tributi è una scatola chiusa da sempre, e nessuno se n’è mai scandalizzato. Se non fosse cambiato nulla, queste domande sarebbero soltanto un supplemento di burocrazia.

Cambiano due cose, e conviene tenerle distinte.

La prima: il comportamento non è più stabile. Un gestionale tradizionale, a parità di versione, dà lo stesso risultato allo stesso caso; e quando la versione cambia, l’ente lo sa, perché c’è un rilascio, spesso un collaudo, comunque un momento datato. Un sistema che incorpora modelli di intelligenza artificiale può cambiare comportamento perché è cambiato il modello sottostante — deciso da un soggetto terzo con cui l’Ente non ha alcun rapporto contrattuale, in un momento che l’Ente non sceglie e di cui può non essere informato.

La seconda: dal calcolare al proporre. Il software amministrativo ha sempre calcolato — l’imposta, gli interessi, le scadenze — e il calcolo è verificabile perché la regola è nota e scritta da qualche parte. Un sistema che classifica una pratica, seleziona i casi da controllare o redige la bozza di un provvedimento non applica una regola scritta: produce un esito plausibile. E plausibile non è sinonimo di corretto, con l’aggravante che la differenza non si vede guardando l’esito.

Detto così sembra un argomento per diffidare. Ma, a guardar bene, è vero il contrario: sono esattamente le due caratteristiche che rendono queste soluzioni utili — si adattano, e propongono. Il punto non è impedirlo. È sapere dove passa il confine fra ciò che l’Ente affida e ciò di cui l’Ente risponde.

Il tratto opaco

Perché è di questo che si tratta, e non di tecnologia. Un’amministrazione risponde di ciò che fa: l’atto ha un responsabile del procedimento, una motivazione, una firma. Se un passaggio dell’istruttoria viene svolto da un sistema che gira su un’infrastruttura che l’Ente non controlla, addestrato su dati che non conosce, con un comportamento che può cambiare per decisione altrui, allora la catena che porta dall’atto al soggetto che ne risponde attraversa un tratto di cui nessuno, dentro l’Ente, sa dire nulla.

Lo chiamo il «tratto opaco». La questione non è eliminarlo — non si può, e non serve — ma sapere dove passa e chi lo presidia. Chi non lo sa è costretto o a rifiutare tutto o ad accettare tutto, e sono i due modi peggiori di affrontare la questione.

Si può pragmaticamente dire che è la stessa cosa che ci accompagna dal protocollo informatico in avanti, con un oggetto nuovo: la complessità del proprio sistema informativo va conosciuta nei suoi elementi costitutivi, riconosciuta come realtà da amministrare, e governata — non delegata. Al fornitore si chiede di essere un partner competente, non il sostituto della responsabilità dell’Ente.

Le otto domande

Da qui si ricavano otto domande. Si possono porre così come sono: a sé stessi in fase di analisi, e al fornitore in sede di trattativa. Nessuna richiede competenze informatiche per essere formulata; tutte richiedono che qualcuno, da qualche parte, sappia rispondere.

Sull’infrastruttura

1. Su quali sistemi girano effettivamente i modelli utilizzati, e dove sono collocati?
2. La qualificazione del servizio copre anche la parte di intelligenza artificiale, o soltanto l’applicativo che la richiama?

Sul modello

3. Chi lo produce e chi decide quando cambia? Un aggiornamento può modificarne il comportamento senza che l’Ente lo sappia?
4. Con quali dati è stato addestrato, e con quali dati dell’Ente viene eventualmente alimentato o riaddestrato?

Sulla responsabilità

5. Quali passaggi del procedimento sono affidati al sistema: un calcolo, una selezione, una proposta o una decisione? Sono quattro cose diverse, che la parola «automatico» copre tutte.
6. Chi risponde di un esito sbagliato, e come fa il personale dell’ufficio ad accorgersene?
7. Chi può discostarsi dal risultato del sistema, e la motivazione resta tracciata?

Sulla continuità

8. Se il servizio cessa o cambia condizioni, che cosa resta all’Ente: i dati soltanto, o anche la possibilità di continuare a operare?

La quinta, a mio parere, è quella che rende di più. «Automatico» è una parola che in una riunione mette d’accordo tutti proprio perché ciascuno la intende a modo suo: distinguere il calcolo dalla selezione, la proposta dalla decisione, chiarisce in cinque minuti che cosa si sta effettivamente affidando.

Tre avvertenze sull’uso

«Non so» è una risposta prevista, e va trattata come un’informazione anziché come una lacuna. Se a una di queste domande non sa rispondere né l’Ente né il fornitore, quello è già un risultato della valutazione, e indica dove approfondire prima di decidere. Una griglia che non prevede il non sapere, del resto, non ottiene risposte migliori: ottiene risposte meno sincere.

La dimensione dell’ente non cambia le domande. I Comuni piccoli sono la maggioranza e raramente hanno in casa qualcuno in grado di valutare le risposte. Non esiste però una versione ridotta di questa griglia per gli enti piccoli, perché la responsabilità non si riduce con la dimensione. Può essere diverso il soggetto che le porta: una gestione associata, una rete di Comuni, un centro di competenza, l’ufficio ICT di un ente capofila. Farsele porre da altri per proprio conto non è un ripiego — è la forma normale con cui un Comune piccolo esercita la stessa funzione che un Comune grande esercita da solo.

Sono domande da fare prima, non dopo. Poste in sede di collaudo diventano un contenzioso; poste in fase di analisi diventano requisiti, e un fornitore serio le usa per costruire l’offerta anziché per difendersi.

Che cosa portiamo a casa

Nessuna di queste domande impedisce di adottare l’intelligenza artificiale, e nessuna la rende sicura. Servono a un’altra cosa: a sapere che cosa si sta affidando, e a chi, prima che l’affidamento sia fatto. Un ente che sa rispondere — o che sa dire con precisione a quale domanda non sa rispondere — è nella condizione di decidere, ed è tutto quello che l’analisi tecnica può dare. La decisione resta amministrativa, come è giusto che sia.

In pratica, le otto domande servono a trasformare una preoccupazione diffusa in una pagina di verbale.

Per approfondire

Questo articolo affronta un pezzo circoscritto di una questione più larga: dove si colloca l’intelligenza artificiale nella successione delle trasformazioni tecnologiche, e che cosa è cambiato nel governo delle infrastrutture su cui la Pubblica Amministrazione poggia — perché l’elettricità e Internet furono regolate dal pubblico, il cloud molto meno, e l’intelligenza artificiale ancora meno.

Il quadro d’insieme — quattro fasi storiche, uno schema di «componenti» e di «frecce» per leggerle, e la domanda su chi governa gli strati — è sviluppato in una breve pubblicazione illustrata, tratta dai materiali del percorso seminariale Un cambio di prospettiva, presentato nel 2023 e aggiornato nel 2024 e nel 2026.

Va detto che la versione 2026 è stata scritta a quattro mani, due umane e due artificiali, e che la scelta è dichiarata apertamente nel testo. Non è un dettaglio di metodo: la revisione da cui nasce anche questo articolo — il riconoscimento che l’intelligenza artificiale non è una componente fra le altre ma ciò che le orchestra — è nata in quel dialogo. Chi legge giudicherà se l’esperimento è riuscito.

Un (nuovo) cambio di prospettiva — pubblicazione completa (PDF)