Che cos'è uno scanner LiDAR? L'aggiornamento della fotocamera di iPhone 12 Pro

Che cos'è uno scanner LiDAR? L'aggiornamento della fotocamera di iPhone 12 Pro Le specifiche della fotocamera per iPhone 12 potrebbero essere ancora in sospeso, ma c'è una cosa di cui siamo quasi sicuri: è probabile che entrambe le versioni "Pro" del telefono siano dotate di uno scanner LiDAR. Esatto, lo stesso misterioso punto apparso per la prima volta sull'iPad Pro 2020.

Che cos'è uno scanner LiDAR?

LiDAR (o "Rilevamento della luce e telemetria") Funziona in modo simile al radar, solo che usa i laser per giudicare distanze e profondità. Questa è un'ottima notizia per la realtà aumentata (AR) e, in misura minore, anche per la fotografia. Tuttavia, la domanda più interessante è cosa ci permetterà di fare LiDAR su iPhone 12. Usando la nostra esperienza nel vedere la tecnologia nell'iPad Pro 2020, esploreremo i tipi di esperienze che LiDAR potrebbe aprire nei nuovi iPhone e, in definitiva, negli occhiali Apple. Ma prima, un rapido ritorno alle radici della tecnologia, così puoi chiamare intelligente alla tua prossima riunione di famiglia Zoom. Apple iPad Pro 2020 (Credito immagine: Apple) Apple iPad Pro 2020 (Credito immagine: Apple)

Cos'è LiDAR?

Il concetto alla base di LiDAR esiste dal 1960. In breve, la tecnologia ti consente di digitalizzare e mappare l'ambiente circostante sparando raggi laser e quindi cronometrando la velocità con cui ritornano. Un po' come il modo in cui i pipistrelli "vedono" con le onde sonore, solo con i laser, il che lo rende ancora più interessante del Batarang di Batman. Come la maggior parte delle tecnologie futuristiche, è nato come strumento militare sugli aerei, prima di diventare meglio conosciuto come il sistema che ha permesso alla missione Apollo 15 di mappare la superficie della luna. Più recentemente, LiDAR (noto anche come lidar) è stato visto nelle auto a guida autonoma, dove aiuta a rilevare oggetti come ciclisti e pedoni. È anche possibile che tu abbia inavvertitamente trovato la tecnologia nel tuo robot aspirapolvere. Ma è negli ultimi due anni che le possibilità del LiDAR si sono davvero aperte. Con i sistemi sempre più piccoli, più economici e più accurati, sono diventati valide aggiunte ai dispositivi mobili che hanno già cose come potenti processori e GPS: tablet e telefoni. Ovviamente, non tutti i sistemi LiDAR sono creati uguali. Fino a poco tempo fa, i tipi più comuni costruivano mappe 3D dei loro ambienti scansionando fisicamente più o meno allo stesso modo di una parabola radar. Ovviamente non è abbastanza per i dispositivi mobili, quindi i nuovi sistemi LiDAR, inclusi i sensori 3D del tempo di volo (ToF) visti in molti smartphone, sono scatole di semiconduttori senza parti mobili. Ma, Qual è la differenza tra un sensore del tempo di volo e lo "scanner" LiDAR che probabilmente vedremo sull'iPhone 12? Apple iPad Pro 2020 (Credito immagine: Apple) Apple iPad Pro 2020 (Credito immagine: Apple)

In che modo lo scanner LiDAR di Apple è diverso?

Potresti già avere familiarità con i sensori del tempo di volo (ToF) visti su molti telefoni Android: li aiutano a rilevare la profondità nella scena e imitano gli effetti bokeh delle fotocamere più grandi. Ma il sistema LiDAR utilizzato nell'iPad Pro 2020, e, molto probabilmente, le due versioni "Pro" di iPhone 12, promette di andare oltre. Questo perché si tratta di uno scanner LiDAR, piuttosto che dei sistemi “scannerless” visti finora sugli smartphone. Questi ultimi utilizzano un singolo impulso di luce infrarossa per creare le loro mappe 3D, ma un sistema di scansione LiDAR emette un treno di impulsi laser in diverse parti di una scena in un breve periodo di tempo. Ciò comporta due vantaggi principali: una portata migliorata fino a 5 metri e una migliore "occlusione" degli oggetti, ovvero la comparsa di oggetti virtuali che scompaiono dietro oggetti reali come gli alberi. Eccezionale, è anche un processo veloce, ma questa velocità è davvero possibile solo con i più recenti processori mobili. Come ha affermato Apple al momento del lancio dell'iPad Pro 2020, i dati dello scanner LiDAR vengono aggregati con i dati della fotocamera e del sensore di movimento e quindi "sono potenziati dagli algoritmi di visione artificiale nell'A12Z Bionic per una comprensione più dettagliata della scena". In altre parole, c'è molto da fare per renderlo trasparente. Apple iPad Pro 2020 (Credito immagine: Apple) Apple iPad Pro 2020 (Credito immagine: Apple) Ma mentre si dice che il processore A14 Bionic nell'iPhone 12 offra un buon supporto per lo scanner LiDAR di Apple, c'è molto spazio per miglioramenti nello scanner stesso. Come sottolinea un post sul blog dello sviluppatore dell'app Halide Camera, i dati di profondità di iPad Pro semplicemente non forniscono la risoluzione richiesta per determinate applicazioni, come la scansione 3D dettagliata o persino la modalità Ritratto. Ciò significa che lo scanner iPad Pro LiDAR è più progettato per applicazioni di tutta la stanza come i giochi o lo spostamento di mobili AR nell'app Place di IKEA. Attualmente non consente di digitalizzare oggetti 3D con maggiore precisione rispetto ad altre tecniche come la fotogrammetria, che combina foto RGB ad alta risoluzione scattate da diversi punti di vista. Non sarebbe fantastico se queste mesh di scanner LiDAR potessero essere abbinate al tipo di risoluzione e texture viste dalle fotocamere RGB o Face ID? È l'ideale, ma non ci siamo ancora arrivati, e nemmeno l'iPhone 12 salterà fuori immediatamente. Quindi cosa potresti fare esattamente con uno scanner LiDAR su iPhone 12? Apple iPad Pro 2020 (Credito immagine: Apple) Apple iPad Pro 2020 (Credito immagine: Apple)

Cosa potrebbe consentirti di fare uno scanner LiDAR su iPhone 12?

Quindi ora lo sappiamo Lo scanner LiDAR per iPad Pro funziona meglio a livello della stanza, che tipo di cose potresti fare su iPhone 12? Per la persona media, i primi due sono i giochi AR e lo shopping AR. Apple ha visto alcune app specifiche per LiDAR arrivare convenientemente "entro la fine dell'anno" (probabilmente legato all'annuncio dell'iPhone 12) e uno dei più interessanti è il gioco Hot Lava. Hot Lava, un gioco di avventura in prima persona per iOS e PC, avrà una nuova "modalità AR" alla fine del 2020 che utilizza il sensore LiDAR di Apple per unire i suoi fiumi nel tuo salotto. Finora, la demo non è così impressionante come speravamo – la maggior parte degli oggetti da cui salta il tuo personaggio sono mostrati nel gioco invece dei tuoi veri mobili – ma c'è ancora tempo per arricchirlo. Naturalmente, qualsiasi menzione del gioco AR fa pensare a Pokemon Go, l'unico vero successo per la realtà aumentata fino ad oggi. È interessante notare che il produttore di giochi Niantic sembra forgiare il proprio percorso AR, piuttosto che fare affidamento sulla tecnologia Apple. Recentemente ha annunciato una nuova funzionalità di "miscela di realtà" per Pokemon Go, che consente ai personaggi di nascondersi realisticamente dietro oggetti del mondo reale come alberi, e ha rivelato l'acquisizione di una società di mappatura spaziale 3D chiamata 6D. Ciò dimostra che i giochi AR di nuova generazione non saranno necessariamente legati alla tecnologia basata su LiDAR di Apple o alla piattaforma ARKit.Ma l'iPhone 12 dovrebbe almeno darti un anello per vedere lo svolgersi della battaglia AR. Apple iPad Pro 2020 (Credito immagine: Apple) Apple iPad Pro 2020 (Credito immagine: Apple) Ma, Che dire delle esperienze fuori gioco per il sensore LiDAR? Finora, quelli più raffinati sembrano ruotare attorno all'interior design. Ad esempio, l'app IKEA Place ti consente di spostare mobili virtuali nel tuo salotto, proprio come se fossi in una versione reale di The Sims. Ma mentre la posizione e l'occlusione AR migliorate dell'iPad Pro 2020 (o la capacità di nascondere oggetti virtuali dietro quelli reali) sono utili, non è ancora un nuovo brillante utilizzo per lo scanner LiDAR. Tuttavia, mentre la tecnologia è attualmente più utile per i progettisti CAD e gli operatori sanitari (se hai un iPad Pro, dai un'occhiata alla fantastica app Complete Anatomy), c'è ancora molto spazio per la creatività e le sorprese in arrivo. Come dimostra Esper proof-of-concept di Halide, il sensore LiDAR potrebbe aiutare gli sviluppatori di applicazioni a inventare nuovi modi creativi che vanno ben oltre la fotografia e il video tradizionali. Nel frattempo, è giusto dire che lo scanner LiDAR dell'iPad Pro e forse l'iPhone 12 saranno i primi a stupire gli sviluppatori piuttosto che i tecnici. Avrai la possibilità di testare il futuro sui dispositivi dotati di LiDAR, ma il vero salto dovrebbe essere quando questi sensori e app raggiungeranno gli occhiali di Apple.