La nuova sfida luddista
Per prima cosa, lasciateci postulare che gli scienziati informatici riescano a sviluppare macchine intelligenti che possano fare tutto meglio degli esseri umani. In quel caso, presumibilmente, tutto il lavoro sarà fatto da vasti ed organizzati sistemi di macchine e nessuno sforzo umano sarà necessario.Entrambi i casi possono accadere. Alle macchine potrebbe essere permesso di prendere tutte le proprie decisioni senza la supervisione umana, o altrimenti il controllo sulle macchine potrebbe essere contenuto.
Se alle macchine è permesso di prendere le proprie decisioni, non possiamo fare alcuna congettura sul risultato, perchè sarà impossibile indovinare come tali macchine potranno comportarsi. Noi indichiamo soltanto come il destino della razza umana sarà alla mercè delle macchine. Si potrebbe obiettare affermando che la razza umana non sarebbe mai così stolta da consegnare tutto il potere alle macchine. Ma non stiamo altresì suggerendo che gli umani volontariamente consegnerebbero il potere alle macchine o che le macchine di proposito si impossesserebbero del potere. Quello che suggeriamo, è che la razza umana possa facilmente lasciarsi scivolare verso una posizione di totale dipendenza dalle macchine per cui non possa avere alternativa che accettare tutte le decisioni prese dalle macchine. Visto che la società ed i suoi problemi diventano sempre più complicati, e le macchine sempre più intelligenti, le persone lasceranno che le macchine prendano sempre più le decisioni per loro, semplicemente perchè decisioni fatte dalle macchine porteranno migliori risultati che quelle fatte dagli esseri umani. Si arriverà prima o poi ad uno stadio in cui le decisioni da prendere per mantenere il sistema saranno così complicate che gli esseri umani non saranno in grado di farle in modo intelligente. A quel punto le macchine avranno effettivamente il controllo. Le persone non saranno semplicemente in grado di spegnere le macchine, perchè ne saranno così dipendenti da far risultare lo spegnimento un suicidio.
D'altra parte è possibile che il controllo umano sulle macchine possa essere conservato. In questo caso l'uomo medio potrà avere controllo su alcune sue macchine private, come la sua macchina o il suo pc, ma il controllo dei grandi sistemi sarà nelle mani di una piccola élite - così com'è oggi, ma con due differenze. Per il miglioramento della tecniche, l'élite avrà un controllo maggiore sulle masse; e visto che il lavoro umano non sarà più necessario, le masse saranno superflue, un inutile fardello per il sistema. Se l'élite fosse spietata, allora potrebbero semplicemnte decidere di sterminare la massa dell'umanità. Se fosse compassionevole allora potrebbero utilizzare la propaganda, o altre tecniche psicologiche o biologiche per diminuire il tasso di nascita fino a che la massa si estingua, lascinado il mondo all'élite. Oppure, se l'élite consiste di liberali dal cuore tenero, potrebbero decidere di interpretare la parte del buon pastore nei confronti del resto del mondo. Saranno accorti che le necessità fisiche di ognuno siano soddisfatte, provvederanno a che tutti i bambini crescano in un ambiente fisicamente e psicologicamente igienico, che ognuno abbia un qualsiasi hobby per intrattenerlo, e che chiunque possa sentirsi insoddisfatto possa intrapprendere una “terapia” per curare il suo “problema”. Certamente la vita sarà così priva di scopo che le persone dovranno essere psicologicamente o biologicamente progettate per rimuovere il proprio bisogno per il processo di potere o di subliminare la loro ricerca di potere in qualche innocuo hobby. Questi esseri umani progettati potrebbero essere felici in tale società, ma non saranno certamente liberi. Saranno stati ridotti allo stato di animali domestici.(1)
Nel libro, non scopri fino a che non giri pagina che l'autore di questo passaggio è Theodore Kaczynski - l'Unabomber. Non sono un difensore di Kaczynski. Le sue bombe hanno ucciso tre persone durante la sua campagna diciasettennale di terrore ed ha ferito molti altri. Una delle sue bombe ha ferito gravemente il mio amico David Gelernter, uno dei più brillanti e visionari scienziati informatici del nostro tempo. Come molti dei miei colleghi, ho sentito di poter essere il prossimo bersaglio dell'Unabomber. Le gesta di Kaczynski erano a mio avviso omicide e criminalmente folli. Lui è chiaramente un luddista, ma la semplice affermazione di questo non rigetta il suo discorso; benché mi sia difficile da accettare, ho visto dei meriti sui ragionamenti di questo singolo passaggio. Mi sono sentito costretto a confrontarmici.
La visione distopica di Kaczynski descrive consequenze involontarie, un problema ben noto con la progettazione ed uso della tecnologia, ed uno che è chiaramente relazionato alla legge di Murphy - “Se c'é qualcosa che può andare storto, lo andrà”.(In realtà, questa è la legge di Finagle, che in se stessa dimostra che Finagle aveva ragione). Il nostro abuso di antibiotici ha portato a quello che è forse il più grande problema fino ad ora: l'emergere di batteri molto più pericoloso e resistente agli antibiotici. Simili cose sono successe quando si è tentato di eliminare i moschito portatori di malaria con il DDT, facendoli acquisire una resistenza al DDT; parassiti malarici similarmente acquisiscono geni multi-medicine-resistenti.(2)
La causa di tante sorprese sembra chiara: I sistemi coinvolti sono complessi, coinvolgendo interazione e reazione tra le molte parti. Qualsiasi cambiamento a questo sistema produrrà effetti a cascata che sono difficili da prevedere; questo è specialmente vero quando sono coinvolte azioni umane.
Ho incominciato a mostrare ad amici l'estratto di Kaczynski da The Age of Spiritual Machines; davo loro il libro di Kurzweil, lasciandoli leggere il passo, e poi osservavo la loro reazione appena scoprivano chi l'aveva scritto. Più o meno nello stesso periodo, ho trovato il libro di Hans Moravec Robot: Mere Machine to Transcendent Mind. Moravec è uno dei leader nella ricerca robotica, e fu fondatore di uno dei più grandi programmi di ricerca sulla robotica alla Carnegie Mellon University. Robot mi diede altro materiale da provare sui miei amici - materiale sorprendentemente sostenitore delle teorie di Kaczynski. Ad esempio:

La breve corsa ( primi anni 2000)
Le specie biologiche quasi mai sopravvivono allo scontro con un competitore superiore. Diecimilioni di anni fa, il sud e il Nord America erano separati da uno sprofondato istmo di Panama. Il Sud America, come oggi l'Australia, era popolata da mammiferi marsupiali, compresi marsupiali equivalenti di ratti, cervi e tigri. Quando l'istmo che connetteva Nord e Sud America sorse, ci sono voluti solamente poche migliaia di anni perchè le specie placentali, con metabolismi, sistemi riproduttivi e nervosi di poco più efficaci, destituissero ed eliminassero quasi tutti i marsupiali del sud.
In un mercato completamente libero, robot superiori sicuramente colpirebbero gli umani come i placentali Nord Americani colpirono i marsupiali Sud Americani (e come gli umani hanno colpito innumerevoli specie). Le industrie robotiche entrerebbero in competizione tra di loro fortemente per interesse, energia e spazio, incidentalmente portando il loro prezzo oltre le possibilità umane. Incapaci di permettersi tali necessità della vita, gli umani biologici sarebbero schiacciati via dall'esistenza. C'è probabilmente ancora possibilità di respiro, giacchè non viviamo in un mercato completamente libero. I governi forzano comportamenti non atti al mercato, specialmente con l'accumulo delle tasse. Applicandolo con giudizio, la coercizione governativa potrebbe sostenere un alto stile di vita per le popolazioni umane frutto del lavoro dei robot per forse un lungo tempo. Continua a focalizzare su come il nostro lavoro per il 21'secolo sarà di “assicurare la continua cooperazione dalle industrie robotiche” formulando leggi che decretino che essi siano “buoni”,(3) e a descrivere quanto seriamente pericoloso possa essere un umano “una volta trasformato in un robot super intelligente senza limiti”. L'opinione di Moravec è che prima o poi i robot ci succederanno - che gli umani evidentemente si affacciano all'estinzione.
Decisi che era ora di parlare al mio amico Danny Hillis. Danny divenne famoso come cofondatore della Thinking machines corporation, che costruì un super computer parallelo molto potente. Nonostante il mio attuale incarico di "Chief Scientist" - Capo scienziato - alla Sun Microsystems, sono più un'architteto di computer che uno scienziato, e rispetto molto il sapere sull'informazione e sulle scienze fisiche di Danny più che quello di qualunque altra persona. Danny è anche un futurista altamente considerato, che pensa a lungo raggio - quattro anni fa incominciò la Fondazione Long Now, che sta costruendo un orologio progettato per durare 10000 anni con la volontà di attrarre l'attenzione sulla pietosa corta durata di attenzione della nostra società.
Quindi sono andato a Los Angeles con il chiaro intento di cenare con Danny e sua moglie, Paty. Ho fatto la mia ormai familiare routine facendo trottare le mie idee ed i passaggi che trovavo così fastidiosi. La risposta di Danny - mirata specificatamente allo scenario, di Kurzweil, di umani che si fondono con i robot - venne rapidamente e mi stupì alquanto. Disse, semplicemente, che i cambiamenti sarebbero avvenuti gradualmente e che ci saremmo abituati.
Ma credo che ero del tutto stupito. Avevo visto una citazione di Danny nel libro di Kurzweil la quale diceva, “amo il mio corpo come chiunque altro ma se posso essere 200 con un corpo di silicone, mi va bene”. Sembrava che lui fosse in pace con questo processo e con i rischi annessi, mentre io no.
Parlando e pensando su Kurzweil, Kaczynski e Moravec, improvisamente mi sono ricordato di un romanzo che avevo letto quasi più di venti anni fa - The White Plague, di Frank Herbert - nel quale un biologo molecolare impazzisce per l'insensato omicidio della sua famiglia. Per vendicarsi costruisce e dissemina una piaga altamente contagiosa che uccide in maniera vasta ma selettiva. (Siamo fortunati che Kaczynski era un matematico e non un biologo molecolare). Mi era venuto alla mente anche i Borg di Star Trek, un misto di creature in parte biologiche ed in parte robotiche con un forte senso distruttivo. Disastri da “Borg” sono il soggetto per eccellenza della fantascienza, quindi per quale motivo non mi ero preocupato prima per tali distopie robotiche? Perchè altre persone non erano turbate da questi scenari da incubo? Parte della risposta sicuramente è nella nostra attitudine verso il nuovo - nella nostra tendenza all'instantanea familiarità e accettazione acritica. Abituati a vivere con ormai scoperte scientifiche di routine, dobbiamo ancora arrivare al fatto che le tecnologie del 21' secolo, robotica, ingegneria genetica e nanotecnologia, pongono una nuova minaccia rispetto alle tecnologie venute prima. Specificamente, Robot, organismi progettati e nanobots condividono lo stesso pericolo: possono auto-replicarsi. Una bomba è fatta esplodere una volta sola - ma un bot può diventare molti e velocemente essere incontrollabile.
Molto del mio lavoro negli ultimi 25 anni è stato mirato al computer networking, dove il mandare e ricevere messaggi crea l'opportunità per la replicazione incontrollabile. Tuttavia mentre la replicazione in un computer o in una rete di computer può essere un danno, al peggio disabilita una macchina o la rete o un servizio di rete. L'incontrollata auto-replicazione in queste tecnologie più moderne incorre in un rischio maggiore: il rischio di un danno sostanziale nel mondo fisico.
Ciascuna di queste tecnologie offrono una promessa non detta: la visione di vicina immortalità che Kurzweil vede nei suoi sogni robotici ci porta avanti; l'ingegneria genetica presto potrebbe portare trattamenti, se non cure complete, per la maggioranza delle epidemie; e la nanotecnologia e la nanomedicina possono indirizzarsi ad ancora più malattie. Insieme potrebbero in maniera significativa aumentare la nostra soglia di vita e migliorare la qualità della nostra vita. Tuttavia, con ciascuna di queste tecnologie una sequenza di piccoli, individualmente sensibili passi in avanti portano ad un accumulo di enorme potere ed in concomitanza quindi ad un grande pericolo.
Qual'era la differenza nel 20' secolo? Certamente le tecnologie dietro le armi per la distruzione di massa (Weapons of Mass Destruction, WMD) - nucleare, biologica e chimica (NBC) - erano potenti e le armi una minaccia enorme. Ma costruire armi nucleari richiedeva, almeno per un periodo, accesso a entrambi rari - ed in effetti non disponibili - materiali primari ed informazioni altamente protette; i programmi per armi biologiche e chimiche anche tendevano ad aver bisogno di attività su grande scala.

Le tecnologie del 21' secolo - genetica, nanotecnologia, robotica (GNR) - sono così potenti che possono proliferare una intera nuova classe di incidenti e abusi. Ancora più pericoloso, per la prima volta, questi incidenti ed abusi sono largamente alla portata di individui o piccoli gruppi. Non richiederanno grosse infrastrutture o materiali primari. Il solo sapere ne permetterà l'uso. Così abbiamo la possibilità non solo di armi per la distruzione di massa ma anche del sapere'abilitato alla distruzione di massa (Knowledge-enabled Mass Destruction, KMD), e questa distruttività enormemente amplificata dal potere della auto-replicazione.
Credo non sia affatto un'esagerazione l'affermare che siamo sulla soglia per l'ulteriore perfezionamento del male, un male le quali possibilità si aprono ben al di là delle armi di distruzione di massa lasciate alle nazioni-stato, verso un sorprendente e terribile conferimento di potere di individualità estreme.
Niente nel modo in cui sono stato coinvolto con i computer faceva presagire che avrei dovuto confrontarmi con tali questioni.
La mia vita è stata guidata da una profonda necessità di fare domande e trovare risposte. Quando avevo 3 anni, già leggevo, quindi mio padre mi portò alle scuole elementari, dove sedevo sulle gambe del preside e gli leggevo una storia. Ho incominciato scuola presto, più tardi ho saltato un anno, e mi sono rifugiato nei libri - ero incredibilmente motivato ad imparare. Facevo molte domande, spesso conducendo gli adulti a distrarsi. Da adolescente ero molto interessato alla scienza ed alla tecnologia. Volevo diventare un operatore di “baracchini” ma non avevo i soldi per le attrezzature. I baracchini erano l'internet dell'epoca: assuefazione e vita solitaria. Ma tralasciando l'aspetto monetario, mia madre si impuntò perchè io non lo diventassi, ero già abbastanza asociale. Forse non ho avuto delle strette amicizie, ma ero pieno di idee. Per le superiori avevo già scoperto i grandi scrittori di Fantascienza. Ricordo specialmente il libro di Heinlein Have Spacesuit Will Travel e I, Robot di Asimov con le sue tre leggi della robotica. Ero incantato dalle descrizioni dei viaggi spaziali e desideravo avere un telescopio per osservare le stelle; visto che non avevo i soldi per comprarne o costruirne uno, presi dei libri dalla biblioteca per almeno leggere come costrurli. Mi confortavo con la mia immaginazione.
I giovedì sera i miei andavano al bowling, e noi ragazzi rimanevamo a casa. Era la notte di Star Strek, l'originale di Gene Roddenberry, mi meravigliava tanto. Accettai la nozione che gli esseri umani avevano un futuro nello spazio, tipo West, con grandi eroi ed avventure. La visione di Roddenberry riguardo al futuro era di un forte senso morale, impersonificato nel Direttivo Primario: non interferire nello svilluppo di civilizzazioni tecnologicamente inferiori. Questo mi affascinava, “etici” esseri umani, e non robot, dominavano il futuro, ed ho fatto del sogno di Roddenberry parte del mio. Ho brillato in matematica alle superiori, e quando sono andato all'università del Michigan come studente undergraduate di ingegneria, ho preso la carriera di matematica avanzata. Risolvere problemi matematici era un tipo di confronto eccitante, ma quando ho scoperto i computer, ho trovato qualcosa di molto più interessante: una macchina in cui potevi immettere un programma che tentasse di risolvere un problema, per il quale, dopo, la macchina ti avrebbe dato una soluzione. Il computer aveva una chiara nozione di corretto ed incorretto, di vero e falso. Le mie idee erano giuste ? La macchina me lo poteva dire. Questo era molto seduttivo.
Ero stato abbastanza fortunato di trovare lavoro programmando i primi supercomputer e scoprire la sorprendente capacità di queste grandi macchine di simulare numericamente progetti complessi. Quando frequentavo la graduate school alla Università di Berkeley, incominciai a rimanere alzato fino a tardi, spesso tutta la notte, inventando nuovi mondi dentro le macchine, risolvendo problemi, scrivendo il codice che lottava per non essere scritto.
Nel romanzo biografico di Irving Stone su Michelangelo, The Agony and the Ecstasy, Stone descrive vividamente come Michelangelo liberava le statue dalla pietra, “rompendo l'incantesimo di marmo”, modellando dalle immagini della sua mente. (4) Nei miei momenti di maggiore estasi, il software nel computer emergeva nello stesso modo. Una volta che l'avevo immaginato, sentivo che era tutto già nella macchina, in attesa di essere liberato. Rimanere in piedi tutta la notte sembrava un prezzo veramente modico per liberarlo - per rendere concrete le idee. Dopo qualche anno alla Berkeley, incominciai a distribuire alcuni dei software di mia creazione - un sistema istruzionale in Pascal, utilità Unix ed un editor di testo chiamato "VI" (che è, con mio stupore, ancora largamente usato dopo 20 anni) - da altri che avevano simili PDP-11 e VAX minicomputers. Queste avventure software ad un certo punto confluirono nel sistema Unix della Berkeley, che divenne un mio personale “disastroso successo” - talmente tanta gente lo voleva, che non ho finito la mia laurea. Invece ottenni un lavoro per la Darpa mettendo il Berkeley Unix in Internet aggiustandolo per essere solido ed inoltre in modo che potesse far girare grosse applicazioni di ricerca. Questo è stato tutto un gran divertimento e soddisfazione, e francamente non vedevo alcun robot né qui né ovunque vicino. Ancora, agli inizi degli anni 80, stavo in alto mare. Le distribuzioni di Unix avevano molto successo ed il mio piccolo progetto presto aveva denaro e collaboratori, ma il problema alla Berkeley non erano i soldi ma lo spazio, non c'era posto per l'aiuto di cui il progetto aveva bisogno, per cui, quando gli altri fondatori della Sun Microsystems apparvero, mi fiondai per unirmi a loro. Alla Sun, le lunghe ore si protrassero fino ai primi giorni delle worksations e dei personal computers, ed avevo gioito della partecipazione nella crezione di processori avanzati e di tecnologie per Internet quali Java e Jini. Da tutto ciò, confido che sia chiaro che non sono un luddista. Il mio lavoro ha avuto molto più impatto di quello sperato ed è stato utilizzato molto di più di quanto ragionevolmente mi aspettavo. Ho ancora passato gli ultimi 20 anni a capire come rendere i computer affidabili quanto io mi aspetto che essi lo siano (e non sono ancora così) e a come renderli semplici da usare (un obiettivo ancora relativamente meno raggiunto). Nonostante un po' di progresso, i problemi che rimangono sembrano ancora più scoraggianti. Tuttavia mentre ero consapevole dei dilemmi morali riguardo alle consequenze tecnologiche in campi come la ricerca sulle armi, non mi aspettavo di dover confrontare tali dilemmi nel mio campo, o almeno non così presto.
Forse è sempre difficile vedere l'impatto grande quando sei coinvolto nel vortice più piccolo proprio del cambiamento. Sembra una comune colpa di scienziati e tecnologicisti di non capire le consequenze delle proprie invenzioni mentre siamo rapiti dalla scoperta; siamo stati guidati per molto tempo dall' estremo desiderio di sapere, che è la natura della ricerca scientifica, non fermandoci a notare che tecnologie più nuove e potenti possono prendere vita propria.
E' da molto che ho realizzato che la information technology non fa i suoi passi più grandi grazie agli scienziati di computer, agli architetti di computer o agli ingegneri elettronici, ma ai fisici. I fisici Stephen Wolfram e Brosl Hasslacher mi introdussero, nei primi anni 80, alla teoria del caos ed ai sistemi non lineari. Negli anni 90, ho appreso dei sistemi complessi dalle conversazioni con Danny Hill, il biologo Stuart Kauffman, il nobel per la fisica Murray Gell-Mann, ed altri. Recentemente, Hasslacher e l'ingegnere elettronico e fisico Mark Reed mi hanno introdotto alle incredibili possibilità dell'elettronica molecolare. Nel mio lavoro, come co-disegnatore di 3 architetture di microprocessori - SPARC, picoJava e MAJC - e come disegnatore delle successive implementazioni, ho avuto modo di avere una profonda dimestichezza ed in prima persona della legge di Moore. Per decine di anni, la legge di Moore ha correttamente previsto il tasso di miglioramento della tecnologia a semiconduzione. Fino all'anno scorso, ho pensato che il raggio di avanzamenti previsto dalla legge di Moore potesse continuare fino al 2010 circa, quando alcuni limiti fisici saranno stati raggiunti. Non mi era affato ovvio che una nuova tecnologia sarebbe arrivata per permettere il tranquillo progresso dei risultati. Ma dato il recente rapido e radicale progresso nell'elettronica molecolare - dove atomi e molecole individuali rimpiazzano transistor disegnati litograficamente - e nelle relazionate tecnologie nanoscalari, dovremmo essere in grado di arrivare o di superare il tasso di progresso della legge di Moore per altri 30 anni. E' verosimile che per il 2030 saremo in grado di costruire, in quantità, macchine un milione di volte più potenti dei personal computer di oggi - sufficiente per implementare i sogni di Kurzweil o Moravec.
Visto che questo enorme potere computeristico si combina con il progresso della fisica sulla manipolazione e il profondo sapere sulla genetica, si sta liberando un potere immenso di trasformazione. Queste combinazioni danno la possibilità di ridisegnare il mondo, in meglio o in peggio: i processi di replicazione e di evoluzione che fino adesso erano confinati al mondo naturale stanno per diventare dominio degli sforzi umani. Nel progettare i software e i microprocessori, non ho mai avuto la sensazione che stavo disegnando una macchina intelligente. Il software sono l'hardware sono così fragili e le capacità per una macchina di "pensare" sono così chiaramente assente che, anche come possibilità, questo è sempre sembrato molto lontano nel futuro.
Ma ora, calcolando il livello del potere computeristico umano, in una prospettiva di circa 30 anni, una nuova idea si propone: che io stia lavorando per creare strumenti che permetteranno la costruzione di tecnologie che possono sostituire la nostra specie. Come mi sento per questo? Molto a disagio. Avendo faticato per tutta la carriera a costruire sistemi e software affidabili, mi sembra più che probabile che il futuro non si risolverà così bene come alcune persone possono immaginare. La mia personale esperienza mi suggerisce che tendiamo a sopravvalutare le nostre abilità di progettazione. Dato l'incredibile potere di queste nuove tecnologie, non dovremmo chiederci come coesistere al meglio con loro? E se la nostra stessa estinzione è un probabilmente o anche possibile, effetto del nostro sviluppo tecnologico, non dovremmo procedere con grande prudenza?
Il sogno della robotica è, prima di tutto, che macchine intelligenti possano lavorare al posto nostro, permettendoci vite lussuose, ridandoci l'Eden. Tuttavia, George Dyson nella sua storia concernente tali idee, "Darwin Among the machine", ci avverte: "Nel gioco della vita e l'evoluzione ci sono tre giocatori: gli esseri umani, la natura, e le macchine. Sono fermamente dalla parte della natura. Ma la natura, sospetto, è dalla parte delle macchine". Come abbiamo visto, Moravec concorda, nel credere che sia probabile che non sopravviveremo allo scontro con la specie superiore dei robots. Quanto presto potrebbe essere costruito un robot intelligente? Stando agli sviluppi tecnologici sembra che questo sia possibile entro il 2030. E una volta creato il robot intelligente, il passo per la specie Robot è breve, perchè un robot intelligente possa fare copie evolute di se stesso. Un secondo sogno di robotica è che gradualmente ci rimpiazzeremo con la nostra tecnologia robotica, e scaricando le nostre coscienze raggiungendo quasi l'immortalità; è questo processo a cui Danny Hillis pensa che gradualmente ci abitueremo e che Ray Kurzweil elegantemente descrive nel suo libro "The Age of Spiritual Machines". (Stiamo cominciando a vedere intimazioni di questo nell'impianto di apparecchi computerizzati nel corpo umano, come illustrato nella copertina di Wired 8.02).