Chaque capteur à l'intérieur de l'Apple Vision Pro et ce qu'il est conçu individuellement

Pour un appareil de 3 499 $ US conçu pour remplacer votre téléphone, votre ordinateur portable, votre montre, votre tablette, votre téléviseur et même votre souris, vous pariez que le Vision Pro d'Apple regorge de capteurs qui vous suivent, vos mouvements, votre vue, vos gestes, vos commandes vocales, et votre position dans l'espace. Selon la propre annonce d'Apple, le Vision Pro possède jusqu'à 14 caméras à l'intérieur et à l'extérieur, 1 scanner LiDAR et plusieurs illuminateurs IR et LED invisibles pour l'aider à comprendre où vous êtes et ce que vous faites. En dehors de cela, le casque dispose également d'une puce R1 Apple Silicone dédiée qui traite les données de tous ces capteurs (et de quelques autres) pour aider à créer la meilleure représentation de l'évolution progressive d'Apple vers "l'informatique spatiale".

"Vision Pro est un nouveau type d'ordinateur", déclare Tim Cook alors qu'il dévoile pour la toute première fois le casque de réalité mixte. "C'est le premier produit Apple que vous regardez, et pas sur", ajoute-t-il, marquant le passage d'Apple à l'informatique spatiale. Qu'est-ce que l'informatique spatiale, demandez-vous ? Eh bien, le bureau a été présenté comme le premier ordinateur personnel au monde, ou PC comme nous l'appelons si souvent aujourd'hui. L'ordinateur portable a réduit le bureau à un format portable, et le téléphone l'a encore réduit… jusqu'à la montre, qui met votre ordinateur personnel à votre poignet. L'informatique spatiale marque le premier changement d'Apple par rapport à l'informatique personnelle, dans le sens où vous n'êtes plus limité par un écran, grand ou petit. "Au lieu de cela, votre environnement devient une toile", résume Tim, alors qu'il passe la scène au vice-président du design, Alan Dye.

Le Spatial Computing marque une nouvelle ère de l'informatique où les quatre coins d'un écran traditionnel ne posent aucune contrainte à votre environnement de travail. Au lieu de cela, votre environnement réel devient votre environnement de travail, et tout comme vous avez des dossiers, des fenêtres et des widgets sur un écran, le Vision Pro vous permet de créer des dossiers, des fenêtres et des widgets dans votre espace 3D. Dye explique que dans Spatial Computing, vous n'avez pas besoin de minimiser une fenêtre pour en ouvrir une nouvelle. Faites simplement glisser une fenêtre sur le côté et ouvrez-en une autre. VisionOS d'Apple transforme votre pièce et votre périphérie visuelle en un système d'exploitation, vous permettant de créer plusieurs écrans/fenêtres où vous voulez, de les déplacer et de les redimensionner. Pensez à Minority Report ou à l'ordinateur holographique de Tony Stark… mais avec une meilleure interface plus classe.

Au cœur du casque Vision Pro se trouvent deux puces qui fonctionnent ensemble pour aider la virtualité et la réalité à se combiner de manière transparente. Le Vision Pro est équipé de la puce de silicium M2 d'Apple pour faciliter le calcul et la gestion du multitâche, ainsi que d'une nouvelle puce de silicium R1 exclusive au casque, qui fonctionne avec tous les capteurs à l'intérieur et à l'extérieur du casque pour suivre votre vue, contrôler l'entrée, et aide également les éléments virtuels à exister de manière transparente dans le monde réel, en faisant des choses impressionnantes comme projeter des ombres sur le monde qui vous entoure, changer les angles lorsque vous vous déplacez ou disparaître/s'estomper lorsque quelqu'un entre dans votre cadre.

La puce R1 est à peu près la sauce secrète d'Apple avec le Vision Pro. Il gère les données de chaque capteur de l'appareil, en suivant simultanément votre environnement, votre position, vos mains et même vos mouvements oculaires avec une précision étonnante. Vos mouvements oculaires constituent la base de la façon dont le Vision Pro sait avec quels éléments vous envisagez d'interagir, les transformant pratiquement en curseurs authentiques. Aussi impressionnant que cela soit, le R1 utilise également vos données oculaires pour savoir quels éléments de l'écran rendre et ce qu'il ne faut pas. Étant donné que vous ne pouvez vous concentrer que sur une zone limitée à un moment donné, la puce R1 sait restituer uniquement cette partie de votre périphérie visuelle avec une clarté nette, plutôt que de dépenser des ressources pour rendre la scène entière. C'est un moyen incroyablement intelligent d'optimiser l'utilisation de la batterie tout en offrant une expérience brillamment immersive. Cependant, ce n'est pas tout…

Un ingénieur en neurotechnologie chez Apple a levé le voile sur la complexité et quelque peu effrayante de la technologie interne du Vision Pro. Bien que lié par NDA, Sterling Crispin a partagé dans un tweet comment le Vision Pro suit votre vue et sait comment vous naviguez si parfaitement dans son interface. Fondamentalement, la puce R1 est conçue pour être à la limite de la magie pour prédire le parcours oculaire et l'intention d'un utilisateur. "L'un des résultats les plus intéressants consistait à prédire qu'un utilisateur allait cliquer sur quelque chose avant qu'il ne le fasse réellement […]Votre élève réagit avant que vous ne cliquiez en partie parce que vous vous attendez à ce que quelque chose se produise après avoir cliqué", mentionne Crispin. "Ainsi, vous pouvez créer un biofeedback avec le cerveau d'un utilisateur en surveillant son comportement oculaire et en repensant l'interface utilisateur en temps réel pour créer davantage de cette réponse anticipative de la pupille."

"D'autres astuces pour déduire l'état cognitif impliquaient de faire clignoter rapidement des visuels ou des sons à un utilisateur d'une manière qu'il ne percevrait peut-être pas, puis de mesurer sa réaction à celui-ci", Crispin explique plus loin. "Un autre brevet détaille l'utilisation de l'apprentissage automatique et des signaux du corps et du cerveau pour prédire à quel point vous êtes concentré ou détendu, ou à quel point vous apprenez. Et puis mettre à jour les environnements virtuels pour améliorer ces états. Alors, imaginez un immersif adaptatif environnement qui vous aide à apprendre, à travailler ou à vous détendre en changeant ce que vous voyez et entendez en arrière-plan." Voici un aperçu du tweet de Sterling Crispin.

J'ai passé 10% de ma vie à contribuer au développement du #VisionPro alors que je travaillais chez Apple en tant que chercheur en prototypage en neurotechnologie dans le groupe de développement technologique. C'est le plus long que j'ai jamais travaillé sur un seul effort. Je suis fier et soulagé que ce soit enfin… pic.twitter.com/vCdlmiZ5Vm

– Sterling Crispin 🕊️ (@sterlingcrispin) 5 juin 2023

Les capteurs dominent les capacités de calcul spatial du Vision Pro, et voici un aperçu de tous les capteurs qu'Apple a mis en évidence dans le discours d'ouverture, ainsi que quelques autres qui se trouvent sous le capot du Vision Pro. Cette liste n'est pas complète, car le Vision Pro n'est pas disponible pour un démontage technologique, mais il comprend tous les capteurs mentionnés par Apple.

Appareils photo - Le Vision Pro dispose d'environ 14 caméras qui l'aident à capturer des détails à l'intérieur et à l'extérieur du casque. Jusqu'à 10 caméras (2 principales, 4 vers le bas, 2 TrueDepth et 2 latérales) sur la partie extérieure du casque détectent votre environnement en 3D stéréoscopique, tandis que 4 caméras IR à l'intérieur du casque suivent vos yeux et effectuent des scans 3D de votre iris, aidant l'appareil à authentifier l'utilisateur.

Capteur LiDAR – Le but du capteur LiDAR est d'utiliser la lumière pour mesurer les distances, créant ainsi une carte 3D du monde qui vous entoure. Il est utilisé dans la plupart des systèmes automobiles autonomes, et même sur le système FaceID de l'iPhone, pour scanner votre visage et l'identifier. Sur le Vision Pro, le capteur LiDAR se trouve à l'avant et au centre, juste au-dessus du nez, capturant une vue parfaite du monde qui vous entoure, ainsi qu'un modèle 3D de votre visage que le casque utilise ensuite comme avatar pendant FaceTime.

Caméra IR – La présence d'une caméra infrarouge sur n'importe quel appareil joue un rôle clé pour pouvoir faire le travail d'une caméra lorsque la caméra ne le peut pas. Les capteurs IR fonctionnent également dans l'obscurité absolue, ce qui leur donne un avantage significatif sur les caméras conventionnelles. C'est pourquoi le casque dispose de 4 caméras infrarouges à l'intérieur et d'un nombre non divulgué de caméras/capteurs infrarouges à l'extérieur pour aider l'appareil à voir malgré les conditions d'éclairage. Les caméras infrarouges à l'intérieur du casque font un travail remarquable de suivi oculaire ainsi que de construction d'un scan 3D de votre iris, pour exécuter le système d'authentification sécurisé OpticID d'Apple.

Illuminateurs – Bien qu'il ne s'agisse pas de capteurs, ils jouent un rôle clé en permettant aux capteurs de faire parfaitement leur travail. Le casque Vision Pro dispose de 2 illuminateurs infrarouges à l'extérieur qui font clignoter des grilles de points infrarouges invisibles pour aider à scanner avec précision le visage d'une personne (très similaire à FaceID). À l'intérieur, cependant, le casque est doté d'illuminateurs à LED invisibles entourant chaque œil qui aident les caméras infrarouges à suivre les mouvements des yeux, les réactions et à effectuer des balayages détaillés de votre iris. Ces illuminateurs jouent un rôle crucial dans les environnements à faible luminosité, en donnant aux caméras infrarouges les données avec lesquelles travailler.

Accéléromètre & Gyroscope – Bien qu'Apple n'ait pas mentionné la présence de ceux-ci dans le casque, il est évident que le Vision Pro dispose de plusieurs accéléromètres et gyroscopes pour l'aider à suivre le mouvement et l'inclinaison. Comme tout bon casque, le Vision Pro permet un suivi avec 6 degrés de liberté, étant capable de détecter les mouvements vers la gauche, la droite, l'avant, l'arrière, le haut et le bas. L'accéléromètre aide le casque à capturer ces mouvements, tandis que le gyroscope aide le casque à comprendre quand vous inclinez la tête. Ces capteurs, ainsi que les caméras et les scanners, fournissent à la puce R1 les données dont elle a besoin pour savoir où vous vous tenez, bougez et regardez.

Micros – Le Vision Pro dispose d'un nombre non divulgué de microphones intégrés dans le casque qui effectuent deux grandes activités : la détection de la voix et l'audio spatial. Les commandes vocales font partie intégrante de la façon dont vous interagissez avec le casque, c'est pourquoi le Vision Pro dispose de microphones qui vous permettent d'effectuer des requêtes de recherche, d'invoquer des applications/sites Web et de parler naturellement à Siri. Cependant, les microphones doivent également effectuer un balayage acoustique de votre pièce, tout comme les caméras doivent effectuer un balayage visuel. Ils font cela pour qu'ils puissent adapter le son à la pièce dans laquelle vous vous trouvez, offrant la bonne quantité de réverbération, de fréquences tonales, etc. De plus, lorsque vous tournez la tête, les sons restent toujours au même endroit et les microphones aident faciliter cela, créant une illusion sonore qui permet à vos oreilles de croire ce que vos yeux voient.

Outre les capteurs, le Vision Pro est rempli de toute une série de composants technologiques, des écrans aux batteries. Voici un aperçu de ce qui se cache sous le capot du Vision Pro.

Affiche – Compte tenu de son nom, le Vision Pro se concentre évidemment fortement sur votre sens visuel… et il le fait avec certains des écrans les plus incroyables jamais vus. Le Vision Pro dispose de deux écrans de la taille d'un tampon (un pour chaque œil) avec chacun plus de pixels qu'un téléviseur 4K. Cela donne aux écrans principaux du Vision Pro 23 millions de pixels combinés, capables d'un taux de rafraîchissement de 12 millisecondes (ce qui en fait environ 83 images par seconde). Pendant ce temps, l'extérieur du casque a également un écran, qui montre vos yeux aux gens autour de vous. Bien que la qualité de cet écran ne soit pas connue, il s'agit d'un écran OLED plié avec un film lenticulaire devant qui crée l'impression d'un écran 3D, de sorte que les gens voient la profondeur dans vos yeux, plutôt qu'une simple image plate.

Pilotes audio – La bande du casque est également dotée de pilotes audio intégrés dans chaque branche, diffusant un son riche et respectueux de l'environnement dans vos oreilles lorsque vous portez le casque. Apple a mentionné que le Vision Pro dispose de deux pilotes audio pour chaque oreille, ce qui pourrait éventuellement indiquer une qualité qui rivalise avec les AirPods Max.

Ventilateurs - Pour garder le casque au frais, le Vision Pro dispose d'un nombre non divulgué de ventilateurs qui aident à maintenir des températures optimales à l'intérieur du casque. Les ventilateurs sont silencieux, mais incroyablement puissants, refroidissant non pas une mais deux puces à l'intérieur du casque. Un détail de grille sur le fond aide à canaliser l'air chaud.

Couronne numérique –Empruntant à l'Apple Watch, le Vision Pro dispose d'une couronne numérique qui tourne pour invoquer l'écran d'accueil, ainsi que pour basculer l'environnement immersif qui noie le monde qui vous entoure pour une véritable expérience VR.

Déclencheur –La couronne numérique est également accompagnée d'un déclencheur qui vous permet de capturer des photos et des vidéos en 3 dimensions, qui peuvent être visionnées dans le casque Vision Pro.

Batterie - Enfin, le Vision Pro dispose d'une batterie indépendante qui se fixe à l'aide d'un connecteur propriétaire au casque. La raison pour laquelle le casque a une batterie séparée est d'aider à réduire le poids du casque lui-même, qui utilise déjà du métal et du verre. Compte tenu du poids des batteries, une batterie indépendante aide à répartir la charge. Apple n'a pas partagé la capacité en milliampères-heure de la batterie, mais ils ont mentionné qu'elle vous donne 2 heures d'utilisation sur une charge complète. La façon dont la batterie se charge n'a pas non plus été mentionnée.

Si l'expression "Work Smart, not Work Hard" était un aspirateur robot, ce serait probablement le Roborock S7 Max Ultra. Avec un design si…

Bien que les humains soient principalement considérés comme des créatures hautement visuelles, nous sommes également devenus plus conscients du rôle important que joue le son dans…

Il n'y a aucune raison pour qu'un vélo de ville ordinaire soit utilisé sur les sentiers de montagne. Il n'est tout simplement pas conçu pour gérer ces conditions. Alors pourquoi faire…

Nous ne vivons pas dans un sous-marin jaune, mais vous pouvez stocker vos informations sur un sous-marin vert, blanc, rouge ou noir si vous le souhaitez….

Nous y avons tous pensé : vous utilisez des toilettes publiques, vous vous lavez les mains et vous devez ensuite toucher une poignée de porte insalubre pour quitter les toilettes ?!…

Le vieil adage "Mère sait mieux" sonne toujours vrai aujourd'hui alors que les mères modernes montrent au monde ce qu'il y a de mieux pour leurs bébés et pour elles-mêmes. Et qu'est-ce que…