Aujourd'hui, nous discuterons des raisons pour lesquelles des capteurs 3D sont nécessaires dans les smartphones, de leur fonctionnement et, bien sûr, nous allons effectuer plusieurs tests et vérifier les déclarations des fabricants.
Qu'est-ce qu'un capteur 3D (capteur de profondeur)
Tout d'abord, voyons-le, qu'est-ce qu'un capteur 3D? Les caméras capturent une projection du monde environnant sur un avion. À partir de la seule photographie, on ne peut pas comprendre la taille réelle de l'objet - qu'il s'agisse de la taille d'une bouteille ou de la tour penchée de Pise. Et sa distance est également difficile à comprendre.
Afin de comprendre la taille réelle des objets sur la photo, l'échelle de prise de vue, pour distinguer ce qui est le plus proche de la caméra et ce qui est ensuite, des capteurs 3D sont nécessaires. Ils ont longtemps été activement utilisés dans la robotique, le transport autonome, les jeux, la médecine et bien d'autres endroits. De plus, nos yeux sont aussi un capteur 3D. Dans le même temps, contrairement aux capteurs LiDAR et ToF des smartphones, les yeux sont un capteur 3D passif. Autrement dit, il n'émet aucune lumière, mais ne fonctionne que sur la base de la lumière entrante. Ce n'est que grâce à cela que nous pouvons en quelque sorte nous déplacer dans l'espace et interagir avec les objets environnants. Désormais, des capteurs 3D sont apparus dans les smartphones.
Comment fonctionne ToF?
LiDAR sur iPad, ainsi que tous les capteurs 3D des smartphones Android, sont des capteurs de temps de vol ou ToF en abrégé. Ils déterminent la distance aux objets autour, mesurant directement le temps qu'il faut à la lumière pour voyager de la caméra à l'objet et revenir en arrière. Ceci est très similaire à un écho dans une grotte, il nous revient également avec un retard après avoir été réfléchi par les murs. Il faut 3 nanosecondes pour faire voler 1 mètre de lumière et 30 picosecondes pour 1 cm. Tout semble clair. Mais il y a un problème.
Ce sont de très petits intervalles. Comment une caméra peut-elle mesurer cela? Elle ne prendra pas un milliard d'images par seconde, puis les comparer? Il existe 2 approches principales pour résoudre ce problème: dToF (ToF direct) et iToF (ToF indirect). Et pour vous intriguer encore plus: la grande majorité des smartphones Android n'utilisent que des capteurs iToF, tandis que LiDAR dans Apple iPad et très probablement dans les prochains iPhones est un représentant rare de la famille de capteurs dToF. Alors, en quoi sont-ils différents?
iToF - ToF indirect
Commençons par iToF. Dans de tels capteurs, l'émetteur envoie une lumière modulée à haute fréquence, c'est-à-dire que cette lumière est constamment allumée et éteinte à une fréquence de dizaines de millions de fois par seconde. En raison du fait que la lumière a besoin de temps pour voler vers l'objet et revenir en arrière, la phase, c'est-à-dire que cet état est quelque part entre allumé et éteint, la lumière qui est retournée à la caméra diffère légèrement de la phase de la lumière au moment de l'envoi. Sur le capteur, les signaux d'origine et réfléchis de l'objet se superposent, et de ce fait, le déphasage est déterminé, ce qui nous permet de comprendre la distance à chaque point de l'objet.
dToF - ToF direct
dToF fonctionne un peu différemment. Ces capteurs mesurent directement la différence de temps entre l'envoi de la lumière et la détection de sa réflexion sur le capteur. Pour cela, les diodes dites SPAD: à simple photon à avalanche sont utilisées. Ils peuvent détecter des impulsions de lumière extrêmement petites, en fait, même capturer des photons uniques. Ces SPAD sont situés dans chaque pixel du capteur. Et en tant qu'émetteur dans de tels capteurs, en règle générale, on utilise ce qu'on appelle le VCSEL - Vertical Cavity, Surface Emitting Laser. Il s'agit d'un émetteur laser similaire à ceux utilisés dans les souris laser et dans de nombreux autres endroits. Le capteur dToF dans LiDAR a été développé en collaboration avec Sony et est le premier capteur dToF commercial produit en série.
La raison pour laquelle l'iPad utilise un capteur dToF est une hypothèse, mais soulignons les avantages d'un tel capteur. Premièrement, contrairement au capteur iToF, l'émetteur n'émet pas un mur de lumière solide, mais ne brille que dans des directions séparées, ce qui économise la durée de vie de la batterie. Deuxièmement, le capteur dToF est moins sujet aux erreurs de mesure de profondeur dues à ce que l'on appelle les interférences multi-trajets. C'est un problème typique avec les capteurs iToF. Elle se produit en raison de la réflexion de la lumière entre les objets avant qu'elle n'entre dans le capteur et fausse les mesures du capteur.
Comment cela fonctionne, nous l'avons compris, voyons maintenant pourquoi les capteurs 3D sont utilisés dans les smartphones.
Pourquoi est-il nécessaire dans les smartphones
1. Sécurité
Nous devons la première introduction massive de capteurs 3D dans les smartphones à la technologie Apple et Face ID. La reconnaissance faciale utilisant des données tridimensionnelles est beaucoup plus précise et fiable que la reconnaissance faciale classique à partir d'une photo. Pour Face ID, Apple utilise une technologie d'éclairage structurée, sur laquelle nous nous attarderons plus en détail la prochaine fois.
2. AR
La plupart des fabricants affirment qu'un mode de réalité augmentée meilleur et plus précis est la tâche principale des capteurs 3D. De plus, il est également pris en charge directement par Google. Tout récemment, ils ont présenté une mise à jour à venir de leur bibliothèque de réalité augmentée ARCore, qui permet un placement plus réaliste d'objets virtuels dans la réalité et d'interagir avec des objets réels.
Pour la même tâche, Apple a intégré LiDAR dans l'iPad Pro. Cela peut être fait sans capteur 3D, mais tout fonctionne avec lui de manière plus précise et plus fiable, de plus, la tâche devient beaucoup plus facile sur le plan informatique et soulage le processeur. Le capteur 3D amène la RA à un autre niveau.
3. Amélioration de la photo
Plusieurs fabricants tels que Samsung et HUAWEI affirment que le capteur 3D est principalement utilisé pour un meilleur flou d'arrière-plan et une mise au point automatique plus précise lors de la prise de vue vidéo. En d'autres termes, cela vous permet d'améliorer la qualité des photos et des vidéos ordinaires.
4. Autre
Certains smartphones ont un accès libre aux données des capteurs, il y a donc de plus en plus d'applications proposant de nouvelles applications. Ainsi, par exemple, à l'aide d'applications externes, un capteur 3D peut être utilisé pour la mesure d'objets, la numérisation 3D et le suivi de mouvement. Il existe même une application qui vous permet de fabriquer un appareil de vision nocturne à partir de votre smartphone.
Des tests
Nous avons compris comment cela fonctionne en théorie, voyons maintenant comment cela fonctionne dans la pratique et s'il y a un sens à ces capteurs 3D coûteux dans les produits phares. Pour les tests, nous avons pris le Redmi Note 9S, il dispose d'un capteur ToF et nous avons pris quelques photos en mode portrait, mais dans le second cas, nous avons simplement recouvert la caméra 3D avec notre doigt. Et voici ce qui s'est passé. C'est simple - le flou est vraiment plus grand et meilleur si ToF fonctionne. Et pour la fréquence de l'expérience, nous avons pris le Samsung Galaxy S20 Ultra, qui a également reçu une caméra ToF. Et trouver au moins une différence? Ce qui se produit? Le fait est que selon le fabricant, la caméra ToF est utilisée de différentes manières et à des degrés divers.
On peut dire que certains fabricants de smartphones placent des capteurs ToF dans leurs smartphones non pas pour le marketing, pour ajouter une autre caméra, mais plutôt juste au cas où. Et puis les algorithmes décident d'utiliser ou non cette caméra? En même temps, pour le moment, il n'y a pas besoin de caméras LiDAR ou ToF. C'est donc probablement un peu plus de marketing.
