Le panoramique HDR : pour quoi faire ?

La réalisation d'un panoramique HDR permet de capter l'ensemble des intensités lumineuses et des valeurs colorimétriques d'une scène afin de les réutiliser dans un logiciel de 3D. Une fois importé, le panoramique peut avoir trois objectifs complémentaires :

• Simuler une lumière : ayant capté de façon précise l'ambiance lumineuse d'une scène, le panoramique peut servir à recréer la même ambiance de façon virtuelle. Le logiciel 3D va utiliser chaque pixel du panoramique comme d'un éclairage en lui attribuant l'intensité et la couleur du pixel.
• Servir de fond : le panoramique peut être utilisé en arrière-plan d'une scène 3D et permettre des mouvements de la caméra autour de son axe nodal - typiquement dans le module de rendu temps réel de logiciels comme Substance Painter, Knald ou Marmoset Toolbag.
• Simuler des reflets réalistes sur des objets 3D : avec un panoramique HDR, les objets ayant un matériau réfléchissant renverront des reflets réalistes et cohérents avec l'ambiance lumineuse.

Importance du HDR :

Les formats de fichiers pour les images numériques posent deux problèmes principaux pour capter entièrement l'ambiance lumineuse d'une scène. D'une part, ils sont trop limités pour mémoriser l'ensemble des valeurs lumineuses d'une scène (aussi appelée Dynamique lumineuse, c'est-à-dire l'écart entre les zones les plus sombres et les plus lumineuses d'une scène). D'autre part ils sont encodés avec une correction gamma, ce qui modifie la valeur des intensités réellement émises dans la scène photographiée. Paul Debevec, chercheur a l'Institute for Creative Technologie de l'USC (University of Southern California) a, à partir de 1998, mis au point plusieurs techniques permettant de créer des images HDR à partir d'images standards - ses travaux ont eu une grande importance dans l'industrie cinématographique et ont été utilisés notamment sur la trilogie Matrix (1999-2003), Spider Man 2 (2004), King Kong (2005) ou Avatar (2009).

Un panoramique utilisé par Paul Debevec pour son film présenté au Siggraph 1999, "Fiat Lux". L'hyperréalisme des lumières et la qualité de l'intégration entre les dominos noirs en 3D et le décors filmé avaient beaucoup impressionné. Le film est toujours visible ici.

En réalisant une série de photos à différentes expositions, en leur enlevant leur correction Gamma, puis en les compilant il est possible d'obtenir un fichier unique mémorisant l'ensemble des intensités lumineuses. Mais pour que le résultat soit précis - et il doit l'être pour pouvoir être exploité en 3D - la prise de vue doit être effectuée avec soin et le traitement des images durant les différentes étapes ne doit jamais modifier la valeur RGB des pixels.

Importance de la définition :

En fonction de l'utilisation du panoramique HDR, il faut également être attentif à la définition nécessaire : 

• S'il doit servir de fond il devra avoir la taille maximale (4k, 8k voir 16k). Une fois dans un logiciel 3D, le panoramique sera étalé sur 360° et seule une partie apparaîtra au rendu. Si la scène 3D est vue par un objectif 50mm qui couvre un champ d'environ 35°, alors 1/10 environ (360/35 = 10.2) du panoramique sera visible. Si celui-ci fait 4k, alors la caméra virtuelle ne percevra que 400 pixels... Si le rendu dépasse cette largeur, le fond sera pixellisé.
• S'il doit servir à générer des reflets, le panoramique pourra être de taille plus réduite (HD, 2k ou 4k) : les reflets qui apparaissent sur les objets sont rarement très grands à l'image, à moins d'un très gros plan ou d'une surface réfléchissante très grande (par exemple une carrosserie de voiture)
• S'il doit servir à simuler une ambiance lumineuse alors sa taille peut être relativement réduite - en fait, il est même conseillé de ne pas utiliser une image trop grande pour éviter un certain de nombre de problèmes de rendu 3D (il est même recommandé de flouter sensiblement le panoramique dans certains cas). un panoramique de taille 720p ou 2k est suffisant dans ce cas de figure.

Bien sûr, il est toujours préférable de réaliser le panoramique le plus grand possible - qui peut le plus peut le moins - mais toutes les méthodes ne le permettent pas : certaines sont adaptées à une prise de vue rapide, d'autre à un format très grand, etc. Pour cette raison il est important de savoir utiliser les trois méthodes présentées afin de choisir la meilleure en fonction des conditions de prise de vue et des contraintes de production.

Dans les trois cas, il est également important de prendre des repères quant aux conditions lumineuses de la scène photographiée : une mire de gris et de couleur devraient systématiquement être prises en photo en plus du panoramique pour faciliter les opération de réglages des intensités lumineuses et de la colorimétrie en 3D et en compositing - sans compter les autres éléments en cas de tracking ou d'intégration 3D/prise de vue.

Enfin, il faut se souvenir que les fichiers HDR sont notablement plus volumineux que les fichiers images classiques : il n'est pas rare qu'un panoramique HDR fasse plus de 1Go, parfois plus de 10 Go. Il faut donc disposer de ressources informatiques suffisantes pour pouvoir manipuler des fichiers de cette taille.

Pour le fameux plan-séquence des Avengers, les équipes d'ILM ont photographié avec une rotule panoramique motorisée plus de 3000 panoramiques HDR en très haute définition durant quatre semaines. Ils ont d'abord fait leurs prises de vue au niveau du sol, puis avec un élévateur à 30m du sol et enfin sur les toits des bâtiments. L'ensemble de ces panoramiques a servit à reconstruire plusieurs blocs de New York de manière photoréaliste - mais ILM dispose de moyens informatiques colossaux pour pouvoir traiter une telle masse d'images.

Problèmes communs aux trois méthodes :

Quelle que soit la méthode choisie, il faut s'assurer des six principes suivants :

1. Être sûr que TOUTES les intensités lumineuses ont été capturées : pour cette raison, il faut disposer d'un histogramme à la prise de vue afin de vérifier qu'il n'y a aucun pixel blanc dans les photos les plus sous-exposées et aucun pixel noir dans les photos les plus sur-exposées.
2. Éviter tout type de mouvement : ni l'appareil photo ni la scène photographiée ne doivent bouger sous peine de créer des "fantômes" ou de fausser les valeurs lumineuses. L'appareil photo doit être systématiquement fixé sur un pied et, dans la mesure du possible, tous les objets mobiles évités (passants, circulation mais aussi vent dans les arbres, drapeaux, etc.) Pour la même raison, le déclenchement doit systématiquement être fait à distance (télécommande à fils, application, télécommande IR, depuis un ordinateur ou même une Nintendo DS). Il faut aussi se souvenir que certains boitiers offrent une option permettant de bloquer le miroir pour éviter les micros-tremblement au déclenchement
3. Éviter tout type de modification de la lumière pendant le temps de prise de vue : des nuages qui passent devant le soleil, une enseigne lumineuse, à cause des variations de lumière qu'ils créent, sont à éviter absolument. Ils faussent la luminosité enregistrée alors même qu'il s'agit de la restituer aussi précisément que possible.
4. Avant la prise de vue : il faut s'assurer que tous les réglages sont en manuel (balance des blancs, ISO, diaphragme, vitesse et mise au point) - toute variation modifierait les intensités lumineuses captées. Pour la même raison il faut s'assurer qu'aucun réglage de post-traitement n'est activé (contraste, netteté, niveaux, atténuation du bruits, etc.).
5. Positionnement de l'appareil photo (ou de la bille chromée) : il est important de placer précisément le matériel de prise de vue car lorsque le panoramique sera utilisé en 3D, il simulera l'ambiance lumineuse d'un endroit précis. Dans le cas d'une intégration 3D/prise de vue réelle par exemple, un décalage entre l'endroit où a été fait la prise de vue et celui où sont disposés les objets 3D produira des directions d'ombres faussées.
6. Pendant la prise de vue : dans les trois méthodes, il s’agit d’aller le plus vite possible pour limiter au maximum les mouvements et les changements de lumière (à moins de faire une prise de vue de nuit ou en lumière artificielle). Le diaphragme doit être fermé autant que possible pour maximiser la profondeur de champ – seule la vitesse doit être modifiée durant la prise de vue. Les ISO doivent être à la valeur la plus basse possible pour diminuer le bruit au maximum. Toujours pour une raison de vitesse, il est également important de pouvoir recourir à une fonction de bracketting : elle est parfois présente sur certains boitiers DSLR (pour les Canon, il faut recourir à Magic Lantern), mais peut aussi être déportée sur une télécommande ou sur un PC.

Déterminer la dynamique de la scène :

Avant de procéder à la prise de vue, il faut être sûr que toutes les intensités lumineuses seront couvertes par les réglages. La méthode est simple et se déroule en deux temps :

Pour déterminer la vitesse d'obturation la plus rapide : il faut baisser progressivement la vitesse jusqu'à ce que la photo ne présente plus aucun pixel blanc - c'est la garantie que l'appareil est parvenu à capter la lumière la plus intense de la scène - pour cette raison, il faut disposer d'un histogramme, si possible temps réel, soit sur le boitier photo lui-même soit sur un logiciel comme DSLR Pro. Cette phase peut être compliquée lorsque la luminosité de la scène est très élevée : même un diaphragme à f32 et une vitesse de 1/8000^e peuvent ne pas suffire pour capturer la luminosité d'un soleil de midi au mois de juillet par temps clair... Dans ce cas, il est nécessaire de recourir en plus à un filtre gris neutre variable pour pouvoir encore baisser la luminosité (et bien le noter, car les données EXIF ne le mentionneront pas...)

Il ne faut oublier que cette partie est la plus importante des deux, et que c'est justement les zones les plus lumineuses qu'il est le plus important de capter : ce sont elles qui contiennent le plus d'énergie et qui ont un poids très important dans la luminosité de la scène. Si les zones les plus lumineuses ne sont pas bien captées, le panoramique HDR ne sera pas assez fidèle pour être exploité facilement et efficacement en 3D.

Pour déterminer la vitesse d'obturation la plus lente : il faut progressivement l'augmenter jusqu'à ce que la photo prise ne présente plus aucun pixel noir - c'est ce qui garanti que l'appareil a bien capté toutes les basses lumières. Celle-ci sont importantes car elles permettent de restituer ensuite en 3D les lumières diffuses et indirectes. Malgré tout, leur incidence sur le résultat final est moins sensible que les hautes lumières car leur participation à la luminosité globale de la scène est bien moindre.

Une fois connues les deux valeurs d'exposition, il faut estimer le nombre de photos nécessaires, ce qui dépend de leur écart, c'est-à-dire de la dynamique de la scène. Une scène d'intérieur faiblement éclairée pour laquelle les deux valeurs ne sont pas écartés de plus de 5-6 EV ne nécessite pas un grand nombre de photo pour être entièrement captée. A l'inverse une scène d'extérieur très ensoleillée peut avoir une dynamique supérieure à 20 EV ! Dans le premier cas, 5 photos espacé d'une valeur de vitesse suffisent alors que dans le second il en faudra une dizaine espacées de deux valeurs de vitesse. Pour être sûr de bien couvrir toute la dynamique d'une scène avec le bon nombre de photos et le bon intervalle de vitesse, on peut utiliser le très pratique outil mis au point à cet effet par Florian Knorn, le HDR bracketing simulator disponible ici.