La Sindrome di Frankenstein - Abbondano le storie di IA che superano gli umani in compiti cognitivi: esse vengono utilizzate per dimostrare che la super-intelligenza è possibile e probabilmente imminente. Ad esempio, nel 2016 il sistema AlphaGo di DeepMind ha sconfitto 4-1 Lee Sedol, un gran maestro coreano di Go, usando mosse rischiose che "hanno sfidato millenni di intuizione umana". Secondo alcuni è la prova che le macchine hanno già raggiunto un'autentica "intuizione" e "creatività". Il dibattito sull'Intelligenza Artificiale è distorto dalla sindrome di Frankenstein, cioè la paura che l'IA diventi sovrumana e sfugga al nostro controllo. La sindrome è radicata in un mito culturale antico e persistente. Ci sono lunghe tradizioni di testi sugli "automi", ma due secoli fa queste tradizioni presero una nuova direzione con la pubblicazione di Frankenstein di Mary Shelley. Il mostro di Frankenstein era un nuovo tipo di automa, per due ragioni: (1) Era radicato nella scienza moderna, in particolare nelle nuove scienze della chimica e dell'elettricità, che avevano rivelato forze naturali abbastanza strane da sfidare la coscienza, e tuttavia anche abbastanza controllabili da guidare i progressi tecnologici della rivoluzione industriale. (2) Era dotato di intelligenza cosciente, di "ragione", "sensazioni", "percezioni" e "passioni". In effetti, la sua intelligenza era sovrumana, al punto che anche l'essere umano più intelligente della storia, Victor Frankenstein, non era in grado di contrastarlo.
Il mostro di Frankenstein può essere descritto come la prima super mente elettrica che vive su un substrato chimico. Il suo arrivo ha cambiato radicalmente i termini del rapporto degli esseri umani con gli automi da loro creati: per la prima volta c'era un automa la cui intelligenza avrebbe reso impossibile il controllo e che poteva concepibilmente essere fabbricato in un prossimo futuro da un processo scientifico. Questo essere spaventoso divenne rapidamente un potente mito.
La stupidità artificiale (AS) - Mentre la paura del mostro di Frankenstein dominava la discussione, un diverso tipo di agente artificiale ha colonizzato costantemente ogni aspetto della vita umana. Piloti automatici che mantengono gli aerei in rotta, ma privano i piloti umani della possibilità di intervenire sui sistemi del velivolo, correttori automatici estremamente irritanti, pubblicità mirate invadenti, assistenti domestici insipidi come Siri e Alexa.
Può sembrare strano descrivere i moderni sistemi intelligenti come "stupidi". Se un filtro antispam è in grado di distinguere accuratamente le e-mail reali dallo spam e impara costantemente a superare in astuzia gli spammer umani che cercano di ingannarlo, è sicuramente "intelligente" in un certo senso? In effetti, molti teorici contemporanei dell'IA chiamerebbero questo filtro antispam una "intelligenza ristretta", perché può svolgere solo un compito particolare. Anche all'interno dei loro ristretti ambiti di competenza, tuttavia, è possibile sostenere che i moderni sistemi intelligenti sono ancora stupidi. Questi agenti artificiali sono regolarmente indicati come IA a causa delle loro notevoli capacità cognitive, ma la loro intelligenza apparente è anche una sorta di Stupidità Artificiale. Prima che l'attenzione possa essere indirizzata verso la AS, è però necessario specificare il concetto stesso di "stupidità".
Kant distingue due tipi di stupidità: stupidità di "comprensione" e stupidità di "giudizio". La stupidità di comprensione è quando mancano i concetti necessari per dare un senso a una situazione. A questo si può rimediare attraverso l'apprendimento. La stupidità di giudizio è quando di possiedono i concetti necessari, ma si applicano male. Spesso si applicano in modo troppo rigoroso o si usano al di fuori del loro dominio, come, ad esempio quando il sistema di riconoscimento facciale di Facebook rileva un "volto" che è in realtà un'immagine sulla maglietta di qualcuno. Più comprensione ho, più concetti conosco e più possibilità ho di esibire stupidità di giudizio. È in questo senso che una persona più intelligente può rivelarsi più stupida. Una fonte di confusione è che intelligenza e stupidità sembrano escludersi a vicenda, ma in realtà una maggiore intelligenza può portare a una maggiore stupidità.
La stupidità di giudizio si traduce in "errori", che si verificano quando si giudica la situazione utilizzando il sistema di concetti sbagliato. È abbastanza facile vedere che in termini kantiani, un "lapsus" è un mero errore di comprensione, mentre un errore tradisce un giudizio difettoso. Gli esperti commettono errori particolarmente pericolosi perché di solito danno diagnosi intelligenti, anche quando sono sbagliate. Se diagnosticano erroneamente una malattia o la condizione di un nucleo atomico, la loro superiore capacità di razionalizzare le proprie azioni può rivelarsi un errore fatale. È chiaro che l'intelligenza non è una difesa contro la stupidità e può persino peggiorare le cose.
La cosa più preoccupante è che in questi casi il sistema non ammette di essere confuso, ma afferma invece con sicurezza una risposta assurda. Il problema non è che l'intelligenza del sistema sia ristretta, ma che il sistema non ha idea di quanto sia ristretta la sua intelligenza. Per quanto riguarda GoogLeNet, un potente programma di riconoscimento delle immagini che, quando è stato testato su 150.000 immagini che non aveva mai visto prima, è stato in grado di identificare ciò che era raffigurato il 93,33% delle volte, pare proprio che l'apparente intelligenza del sistema deriva dalla sua capacità di comprensione, ma che manca di autentici poteri di giudizio. In effetti bastano alcuni accorgimenti per trarlo in inganno. Esso conosce solo un numero grande ma finito di cose nell'universo, che non sono altro che particolari disposizioni di pixel colorati, e ogni immagine è una disposizione di una di quelle cose. È inquietante sapere che i cugini più poveri di GoogLeNet vengono utilizzati per identificare le persone negli aeroporti o sui luoghi di un crimine.
Chiaramente una AS come GoogLeNet non si ribellerà mai ai suoi padroni umani, e ancora nessuno sa come "infrangere la barriera del significato" e progettare un'IA che sappia effettivamente che esiste un universo complesso là fuori. Quando si dice che una AS ottiene "prestazioni sovrumane" in un dominio o nell'altro, ciò non dimostra che la super-intelligenza si sta avvicinando. Escludendo rigorosamente ogni immaginazione e riferimento al mondo complesso al di là di sé stesso, una AS ben progettata è in grado di concentrare tutte le sue capacità sullo sviluppo di un particolare insieme di concetti, che sono adatti a un particolare dominio. Nella morsa della sindrome di Frankenstein, si potrebbe essere tentati di trarre conforto dal fatto che l'intelligenza artificiale più intelligente oggi è profondamente stupida. Ma questo sarebbe sciocco. Kant afferma che la stupidità del giudizio è il tipo più rischioso. Cosa c'è di così pericoloso, allora, se il rischio di una rivolta super intelligente è fuori discussione?
I pericoli delle cose stupide - Il problema della Stupidità Artificiale è stato riconosciuto da secoli da grandi scrittori e poeti. La regina delle fate di Edmund Spenser (1590-96), I viaggi di Gulliver di Jonathan Swift (1726) e L’uomo della sabbia (1816) e Die Automate (1814) di E.T.A. Hoffmann presentano tutti macchine stupide che riescono a contrastare gli obiettivi umani anche se non hanno la capacità di opporsi o superare in astuzia i loro creatori. Anche quando una AS è assolutamente obbediente, essa espone comunque gli esseri umani ai rischi di sostituzione, oppressione e seduzione.
Talus è un invincibile uomo di ferro che punisce i trasgressori con il suo flagello di ferro "irresisibile". Come GoogLeNet, è progettato per ottimizzare una singola funzione: scopre la menzogna e svela la verità. È quindi “senza fine” in due sensi: non cessa mai di ottimizzare quell'unica funzione; e, più sottilmente, gli manca un senso cosciente di scopo o "fine". Come GoogLeNet, applica semplicemente la stessa formula a ogni circostanza. In effetti questa stupidità di giudizio è ciò che lo rende un utile assistente del Cavaliere di Giustizia. Talus è "immobile". La sua unica attività è quella di schiantare i trasgressori.
A differenza di Talus, Artegall non si concentra esclusivamente su 'giusto' e 'sbagliato', ma ammorbidisce il 'rigore' della legge secondo i criteri di 'equità' e 'coscienza'. Talus manca della qualità umana della "misericordia", che "è grande" come la giustizia, perciò richiede un controllo costante. Quando Talus e Artegall sbarcano nel regno di 'Iere' (cioè l’Irlanda), Artegall deve impedirgli di spazzare via tutti gli abitanti.
A prima vista, questa relazione sembra funzionare, perché Talus è assolutamente obbediente. Ma il controllo richiede sforzo e il giudizio richiede conoscenza. Affidandosi a Talus come suo strumento, Artegall diventa sempre più pigro e distaccato, e permette al suo servitore di commettere brutalità che lui stesso non avrebbe mai fatto. Quando catturano la corrotta Munera, ad esempio, Artegall "considera" la sua "difficoltà", ma tuttavia lascia che Talus le tagli mani d’oro e piedi d’argento e li inchiodi come avvertimento per i futuri malfattori. Affidandosi a una AS, Artegall stesso diventa più stupido. Si protegge dalla realtà, spegne la sua coscienza e permette a un robot di sostituirlo.
Oppressione - Jonathan Swift aveva poca fiducia nell'umanità, "la razza più perniciosa di piccoli odiosi parassiti di cui la natura abbia mai sofferto lo strisciare sulla superficie della terra". Era quindi indifferente alle macchine che corrompono gli umani. Quello che temeva era che gli umani corrotti avrebbero usato male le loro macchine.
Nel libro III dei suoi viaggi, Gulliver visita l'Accademia di Lagado, dove incontra un Professore pionieristico in quello che ora si chiamerebbe language modelling. Il Professore ha costruito un calcolatore meccanico in grado di comporre opere di “Filosofia, Poesia, Politica, Diritto, Matematica e Teologia”:
“Era una specie di telaio di venti piedi quadrati, sul quale erano disposti moltissimi pezzetti di legno simili a dadi, di cui alcuni erano alquanto più grossi; e tutti erano legati insieme per mezzo di fili sottili. Ogni faccia di ciascun dado portava un pezzo di carta, su cui stava scritta una parola; sicché sul telaio si trovavano tutte le parole della loro lingua nei differenti modi, tempi e declinazioni, ma mescolate alla rinfusa. Il professore mi avvertì che stava per mettere in moto la macchina: a un suo cenno, infatti, ciascun allievo prese in mano un manubrio di ferro (ve ne sono quaranta fissati lungo il telaio). Essi, facendolo girare, cambiarono totalmente la disposizione dei dadi, e perciò delle parole corrispondenti. Allora il professore ordinò a trentasei dei suoi scolari di leggere le frasi che ne risultavano, via via che le parole apparivano sul telaio; e quando avessero trovato tre o quattro parole che avessero l'apparenza d'una frase, di dettarle agli altri quattro giovinetti, che facevano da segretari”.
Invece di insegnare ai suoi studenti a pensare, il Professore li rende schiavi di questa AS combinatoria. Gli studenti alimentano il computer, come i data miner che estraggono le informazioni per i data center di oggi. Quindi giudicano l'output del computer, come l'esercito globale di tecnici che leggono le trascrizioni di Siri o Alexa per verificare che l'AS abbia risposto correttamente. Il vero scopo del Professore è quello di estinguere il pensiero umano. Mira a scrivere libri "senza la minima assistenza di genio o studio" e vuole che il regno installi 500 delle sue macchine. Ciò richiederebbe 20.000 persone per azionare le manopole, e ridurrebbe alla fame chissà quanti autori. Sebbene in superficie questa AS possa sembrare meno minacciosa di un dispositivo semovente come Talus, le sue conseguenze sono in realtà peggiori. Come un software moderno, la macchina di Swift non è in grado di agire da sola. Per esistere richiede schiavi umani.
Per gli scienziati di Lagado, la tecnologia viene prima delle persone. Se una nuova medicina fa ammalare il paziente, danno la colpa alla "perversità" del paziente o a qualche piccolo errore con gli ingredienti. Gli scienziati sopravvalutano le loro invenzioni, minimizzano la complessità della natura e svalutano l'intelligenza e l'autonomia degli individui.
“... non aveva mai avuto un ascoltatore così splendido prima. Non lavorava a maglia, né ricamava, non guardava fuori dalla finestra, non dava da mangiare a un uccellino domestico, non giocava con un cagnolino o un gatto preferito, non giocherellava con piccoli pezzi di carta o qualunque cosa avesse in mano, non costringeva uno sbadiglio in una tosse affettata - insomma - per ore guardava negli occhi il suo amante, fermamente, con uno sguardo fisso, senza dondolarsi o dimenarsi, e sempre più pieno di vita si fece il suo sguardo”.
La bellezza di Olimpia è impeccabile e sembra assolutamente sottomessa e devota. Olimpia lavora così efficacemente sulla debolezza di Nathanael, al punto che, una volta innamoratosi di lei, il giovane trova quasi impossibile percepire che è un automa, anche quando i suoi amici lo prendono in giro per amare un "manichino di cera" o un "burattino di legno". È proprio la stupidità di Olimpia che la rende così seducente, dal momento che non è in grado di fare nulla che possa disturbare le sue fantasie.
In Die Automate, il Turco Parlante seduce le persone in un modo diverso, creando un'aria di mistero. Il Turco Parlante è un indovino, che sussurra risposte oracolari alle domande della gente. Quando alle persone viene mostrato il funzionamento interno del turco, sono sconcertate. All'interno c'è un "sistema abile di molti ingranaggi", che sembra non avere "nessuna influenza sul discorso dell'automa" e tuttavia non lascia spazio per nascondere un operatore umano. Sebbene per la maggior parte del tempo, le risposte del Turco siano "secche", "crudamente umoristiche" o "insignificanti e vuote", a volte sembra avere una "intuizione mistica" sul futuro di chi fa la domanda, ma solo quando la risposta è interpretata dal punto di vista dell'interrogante. Ciò che rende il Turco avvincente sono il mistero e i pregiudizi di conferma. Incapaci di spiegare il suo funzionamento interno e sorprese dal fatto che alcune delle sue previsioni si avverino, le persone sono affascinate.
Usi della stupidità - Man mano che le AS proliferano e si integrano nella società, gli esseri umani sono destinati a essere sostituiti, oppressi o sedotti? Almeno due scrittori la pensano diversamente. Secondo Laurence Sterne e Joseph Furphy, la AS può effettivamente aumentare l'intelligenza umana agendo come una mappa o una pipa. Scrivendo al culmine dell'Illuminismo europeo, Sterne pensava che il "meccanismo" potesse elevare l'intelletto razionale dell'umanità. Girovagando per le aree semi-desertiche e più remote del continente australiano alla vigilia del ventesimo secolo, Furphy pensava che anche un semplice espediente potesse aprire l'immaginazione sulle distese epiche della realtà.
“Le sue perplessità originavano dagli insormontabili ostacoli che incontrava, narrando l’episodio, nel chiarire ai suoi ascoltatori le esatte differenze e distinzioni tra scarpa e controscarpa, spalto e camminamento, mezzaluna e rivellino, senza di che non avrebbe potuto far capire pienamente dove egli fosse è che cosa vi facesse”. [traduzione di Antonio Meo]
Il problema è che in realtà lo zio Toby è originale, ma intelligente. Con la sua profonda comprensione della guerra d'assedio, è in grado di esprimere un giudizio oggettivo sul corso della battaglia. Ma i suoi ascoltatori non possono seguire. Ciò di cui ha bisogno è un dispositivo che memorizzi, elabori e rappresenti le informazioni sulla battaglia in modo intelligibile.
All'inizio Toby soddisfa il suo bisogno procurandosi una mappa di Namur, con l'aiuto della quale è in grado di "tenere il suo discorso con sufficiente perspicuità". La mappa fornisce una rappresentazione della battaglia, indicando la forma, la struttura e la disposizione delle fortificazioni, in modo che gli ascoltatori di Toby non si perdano in un deserto di gergo. Come ogni buona rappresentazione, la mappa aiuta Toby a "tenere traccia di eventi complessi" e fornisce un punto di riferimento condiviso per tutti nella conversazione, fungendo da "strumento per la comunicazione sociale". La mappa stessa è stupida, ma aumenta la comprensione, permettendo agli ascoltatori di giudicare una situazione per loro inizialmente complessa.
Toby sviluppa presto il desiderio di aumentare la propria capacità di comunicazione. Vuole modellare l'intero corso della guerra di successione spagnola, compito troppo complicato anche per il suo colto intelletto. La sua scrivania è troppo piccola per il suo fine e le sue mappe cartacee sono troppo fini, così lui e il suo servitore Trim si trasferiscono in campagna, dove prendono il controllo del campo da bocce di famiglia. Lì costruiscono modelli in scala di tutte le grandi battaglie d'Europa mentre li leggono sul giornale. Non solo il campo da bocce è più grande di qualsiasi mappa, consentendo una risoluzione più elevata e un numero maggiore di battaglie, ma è anche più malleabile. Esso è letteralmente un software, con il giusto equilibrio tra persistenza e malleabilità.
La moderna AS lotta per combinare le virtù del campo da bocce di zio Toby: dimensioni, intelligibilità e malleabilità. Le AS sono sempre più utilizzate nel supporto decisionale, aiutando i giudici a concedere la cauzione o i banchieri a concedere finanziamenti. I sistemi di deep learning più recenti come GoogLeNet possono incorporare enormi quantità di dati aggiornati, tuttavia non possono spiegare i loro risultati a un utente umano. Sembra, quindi, che Laurence Sterne abbia identificato il problema dell'"IA spiegabile" (Explainable AI) già intorno al 1760.
“Ma la pipa, essendo ora padrona della posizione, ha dolcemente sedotto la mia mente a una considerazione più ampia, semplicemente facendo del lavoratore stagionale errante un comodo trampolino di lancio per il suo volo nelle regioni della morale più ampia. Questo è il suo hobby, preso, probabilmente, da qualche società degli Illuminati tedeschi, dove era diventata una specie di batteria, o accumulatore, di quelle verità che i ministri del Vangelo non possono permettersi di predicare”.
Sebbene la pipa diventi il "maestro" di Collins, l'effetto non è quello di offuscare la sua intelligenza, ma piuttosto di espanderla. Mentre le AS seducenti come Olimpia esacerbano le debolezze cognitive, la pipa amplifica i punti di forza cognitivi. Amplifica il quadro di riferimento di Collins, introducendo nella sua mente idee "tedesche" (cioè filosofiche) dalla sua "batteria o accumulatore". Mentre il campo da bocce dello zio Toby forniva una rappresentazione manipolabile per aiutare il ragionamento, la pipa induce un certo stato d'animo contemplativo, "sganciando" la mente e conduce chi la usa lungo una catena di associazioni. Laddove le mappe incoraggiano un ragionamento più rigoroso e consapevole, le pipe incoraggiano la meditazione riflessiva e inconscia.
Conclusione - Frankenstein fu una straordinaria impresa dell’immaginazione, e non c'è da meravigliarsi se il romanzo di Mary Shelley ha generato un mito persistente. Le AS di oggi soffrono della stupidità del giudizio, che è molto più pericolosa. Rimane nell'interesse di alcune aziende e intellettuali alimentare la sindrome di Frankenstein esagerando l'intelligenza degli agenti artificiali, ma come Spenser, Swift e Hoffmann hanno anticipato molto tempo fa, tale comportamento mette a rischio la società. Naturalmente, alcuni nella comunità dell'IA riconoscono i limiti della AS e il crescente movimento di "IA spiegabile" suggerisce che le speranze di Sterne e Furphy stanno diventando più diffuse. L'intelligenza artificiale rimane il centro dell'attenzione, lo standard di successo e l'oggetto della paura. Tuttavia, se fosse abbracciata la tradizione sulla AS, essa potrebbe curare la sindrome di Frankenstein e rivelare i rischi e le possibilità di un problema sempre più urgente. E sottolineare la continua importanza dell'immaginazione letteraria in una società sempre più automatizzata.
Michael Falk, Artificial Stupidity, arXiv:2007.03616v1 [cs.CY, cs.AI]
Letto con attenzione e piacere.
RispondiEliminaRicco di stimoli come al solito.
Grazie