Quindi, mi interessa molto come possiamo sfruttare quel che sappiamo degli oggetti quotidiani e dei gesti a loro associati, per interagire con il mondo digitale. Piuttosto che usare la tastiera e il mouse, perché non posso usare il mio computer così come faccio con gli altri oggetti nel mondo fisico?

Così, otto anni fa ho cominciato la mia esplorazione, partendo proprio dal mouse sulla mia scrivania. Anziché usarlo per il computer, l'ho aperto. La maggior parte di voi saprà che a quei tempi il mouse conteneva una pallina al suo interno e c'erano due piccoli rulli che indicavano al computer come si muoveva la pallina e, di conseguenza, dove andava il mouse. Mi interessavano questi due rulli e ne volevo degli altri, così presi in prestito il mouse di un amico – mai più restituito – e così adesso avevo quattro rulli. Ho poi tolto i rulli dai mouse, li ho messi in fila e ho aggiunto anche alcuni tiranti, pulegge e molle. Ne è venuto fuori un dispositivo di interfaccia gestuale che agisce come un rilevatore di movimento, fatto con due dollari. Quindi, qualsiasi movimento che io faccia nel mondo fisico viene replicato nel mondo digitale, semplicemente usando questo piccolo dispositivo costruito otto anni fa, nel 2000.

Siccome ero interessato ad integrare questi due mondi, ho pensato ai foglietti adesivi. Mi sono chiesto: "Perché non si può collegare un semplice foglietto di carta al mondo digitale?" Un messaggio scritto su un foglietto, su carta, può diventare un SMS o un promemoria di un appuntamento che automaticamente si sincronizza con il mio calendario digitale o con una lista delle cose-da-fare. Ma si può anche cercare nel mondo digitale, o magari scrivere qualcosa come: "Qual'è l'indirizzo del Dott. Smith?" e il sistema lo trova e lo stampa – funziona cioè come un di sistema di input-output, fatto con la carta.

In un'altra esplorazione, ho pensato di costruire una penna per disegnare in tre dimensioni. L'ho implementata per aiutare designer e architetti non solo a pensare in tre dimensioni, ma anche a disegnarci, in modo più intuitivo.

Poi ho pensato: "Perché non costruire una Google Map, ma nel mondo fisico?" Piuttosto che digitare una parola chiave per trovare qualcosa, ci metto sopra gli oggetti direttamente. Se metto una carta d'imbarco, mi indicherà dove si trova il cancello d'imbarco. Una tazza di caffè e mi mostrerà dove posso trovarne dell'altro, o dove posso buttare via il contenitore.

Queste sono alcune delle mie prime esplorazioni, l'obiettivo era quello di collegare facilmente questi due mondi. Tutti questi esperimenti avevano una cosa in comune: in tutti cercavo di portare parte del mondo fisico in quello digitale. Prendevo certi aspetti degli oggetti, o del loro uso nella vita quotidiana, e li portavo nel mondo digitale, perché l'obiettivo era di rendere le interfacce con i computer più intuitive.

Ma poi mi sono accorto che noi umani non siamo interessati ai computer di per sé. Ci interessa l'informazione che veicolano. Vogliamo conoscere cose, fatti. Vogliamo conoscere quel che succede.

Così l'anno scorso – all'inizio dell'anno – ho cominciato a pensare: "Perché non affrontare la questione al contrario?" Mi son detto: "E se prendessi il mio mondo digitale e 'dipingessi' il mondo fisico con queste informazioni digitali?" Perché i pixel, al momento, sono confinati dentro questi dispositivi rettangolari che ci stanno nelle tasche. Perché non rimuovere questo limite e portarli sugli oggetti di ogni giorno, nella vita reale, così che non ci sia bisogno di imparare un nuovo linguaggio per interagire con questi pixel?

Così, per realizzare questo sogno, ho pensato di mettermi un grande proiettore in testa. Sarà per questo che si chiama proiettore a montaggio in testa, no? Ho preso l'idea molto alla lettera e ho usato il mio casco da ciclista, creando un alloggiamento per fissare meglio il proiettore. Quindi adesso posso aggiungere al mondo intorno a me informazioni digitali.

Ma poi mi sono accorto che volevo anche interagire con questi pixel. Così ho messo anche una piccola telecamera, che fa da occhio digitale. In seguito abbiamo realizzato una versione molto migliore, più orientata all’utilizzatore, che molti di voi conoscono come il dispositivo SixthSense.

Ma la cosa più interessante di questa tecnologia è che si può portare il proprio mondo digitale con sé, ovunque si vada. Si può usare qualsiasi superficie, qualsiasi muro, come una interfaccia. La telecamera rileva tutti i gesti. Qualsiasi sia il gesto che le mani fanno, il sistema lo riconosce. E ci sono anche dei marcatori colorati che usiamo nella versione iniziale. Si può dipingere su qualsiasi muro. Basta fermarsi davanti a un muro e iniziare. Ma qui non stiamo rilevando un dito solo. Qui abbiamo la libertà di usare entrambe le mani e possiamo usarle per lo zoom, per ingrandire o rimpicciolire una mappa, semplicemente unendo le dita. Il ruolo della telecamera qui è semplicemente di acquisire le immagini – che poi saranno processate per il riconoscimento dei bordi e dei colori, in aggiunta a molti altri piccoli algoritmi. Tecnicamente è un po' complesso, ma il risultato è qualcosa di più intuitivo da usare, per certi aspetti.

Ma mi entusiasma di più quello che si può fare all'esterno. Piuttosto che tirare fuori la macchina fotografica dalla tasca, si può semplicemente fare il gesto di fare una foto e la foto viene scattata.

Grazie.

E magari dopo posso trovare un muro e cominciare a selezionare le foto e dire: "OK, adesso voglio aggiustare un po' questa e spedirla via email ad un amico." Ciò che abbiamo in mente è un’era nella quale l'elaborazione di informazioni sarà inglobata nel mondo fisico. E, naturalmente, in mancanza di una superficie sottomano si potrà usare la mano stessa per le operazioni più semplici. Qui sto componendo un numero di telefono. La telecamera riconosce non solo i movimenti della mano, ma anche gli oggetti che si tengono in mano.

Per esempio, in questo caso la copertina del libro è messa a confronto con migliaia o forse milioni di libri online, per verificare di che libro si tratta. Una volta trovato, va a cercare le recensioni del libro o magari il New York Times ha una recensione audio, così si può ascoltare, sul libro, l'audio della recensione. ("il famoso discorso alla Harvard University...")

Questa è la visita di Obama al MIT, la scorsa settimana. ("...e vorrei ringraziare particolarmente due brillanti...") Qui ero fuori e stavo guardando il video in diretta, sul giornale. Il giornale mostrerà le previsioni meteo in tempo reale, piuttosto che di volta in volta – adesso dobbiamo usare il computer per ricevere l'ultimo aggiornamento, no?

Quando rientro posso usare il mio biglietto aereo per verificare di quanto il mio volo è stato ritardato, perché in quel momento non mi va di tirare fuori l'iPhone e cercare tra le icone. E credo che questa tecnologia cambierà non solo il modo – Sì. (Risate) Cambierà il modo in cui interagiamo anche con le persone, non solo con il mondo fisico. La parte divertente è quando vado nella metro di Boston e gioco a "Pong" sul pavimento del treno, no? (Risate) E credo che l'immaginazione sia il solo limite di quello che si può concepire quando questa tecnologia entra nella vita reale.

Molti obietteranno che non tutto il nostro lavoro ha a che fare con oggetti fisici. Lavoriamo molto con i dati e con l'editing di testi e come facciamo con tutte queste cose? Molti si entusiasmano per la prossima generazione di "tablet computer" che arriveranno sul mercato. Piuttosto che aspettare che arrivino ho pensato di farne uno, semplicemente con un foglio di carta. Ho smontato la telecamera – tutte le webcam hanno un microfono al loro interno – ho rimosso il microfono e l'ho semplicemente pinzato – attaccandoci prima una graffetta – su un foglio di carta, uno qualsiasi. Adesso, il rumore del dito che tocca la carta mi segnala esattamente quando tocco il foglio. La telecamera invece rileva dove si muovono le dita.

Naturalmente è possibile vedere dei film. ("Buon pomeriggio, mi chiamo Russell...") ("...e sono un Esploratore della Foresta della Tribù 54.")

Ed è anche possibile giocare ad un videogioco. (Motore d'automobile) Qui la telecamera riconosce come il foglio è tenuto in mano e controlla il videogioco. (Applausi)

Molti avranno pensato, OK, si potrà anche usare il browser. Sì. Naturalmente si può visitare qualsiasi sito web e lanciare applicazioni varie, su un pezzo di carta, ovunque ce ne sia bisogno. Ma mi interessa di più come possiamo utilizzarlo in modo più dinamico. Quando ritorno alla mia scrivania posso afferrare queste informazioni e portarle sul mio computer, così che poi posso usare il mio computer normale.

E perché solo con i computer? Magari anche con la carta. Il mondo della carta è anche interessante per queste cose. Qui sto prendendo parte di un documento e ci metto sopra quest'altro, preso da un'altra parte – modifico queste informazioni che ho qui sul foglio. E dico: "OK, mi sembra vada bene, adesso lo stampo". Così adesso ho la stampa e alla fine tutto il processo è più intuitivo rispetto a 20 anni fa, piuttosto che saltare in continuazione tra questi due mondi.

Quindi, come ultima riflessione, credo che l'integrazione delle informazioni negli oggetti quotidiani ci aiuterà non solo a superare il "digital divide", la separazione tra questi due mondi, ma ci aiuterà anche, in qualche modo, a rimanere umani, a rimanere più connessi con il mondo fisico. E ci aiuterà a non diventare delle macchine sedute di fronte ad altre macchine.

Tutto qui. Grazie.