Book name : Computer Vision: A Modern Approach

Book URL: https://www.academia.edu/38213969/Computer_Vision_A_Modern_Approach_2nd_Edition

---

第二章：光照及阴影

图像中像素点的亮度由投影到该像素点的场景中单位表面的亮度决定，而单位面积表面的亮度取决于到达其表面的入射光线与反射光线的多少而决定。阴影与强光相对应，人通常能够正确判断物体是出于强光下还是阴影里，但是也会有混线的情况，如在面颊下部的深色状往往看起来像是阴影，可以使面部显瘦。

2.1 像素的亮度

• 像素的亮度主要由三个因素决定：
  • 照相机对光线的响应 （照相机响应）
    • 中等强度线性，颜色较暗或较明亮则非线性，一般假设线性
  • 物体表面上反射至照相机感光元件的光线比例 （表面反射）
  • 照射到物体表面上的光线总量 （照度）

2.1.1 表面反射

• 多数表面反射光线是由漫散射引起，漫散射是将光线均匀地散射在多个离开表面的方向上，漫反射表面的亮度与与观察者的视角无关
• 另外还有镜面反射，镜面反射中入射光线都朝单一的方向反射。其中非理想状态的镜面反射是高光镜面反射，即反射光线主要集中在接近镜面反射方向的某一范围内。
  

2.1.2 光源及其产生的效果

• 远点光源是比较重要的光照模式（类似于太阳），其光线在已知方向上平行传播
• 朗伯余弦定律表明远点光源照明的漫反射表面的亮度可以用以下公式表示：
  
  • 朗伯定律下光照接受示意图如下

2.1.3 朗伯 + 镜面反射模型

• 绝大多数情况下，可以将所有表面看成是具有高光现象的光线散射过程，这就是朗伯 + 镜面反射模型
• 图像明暗强度由漫反射、环境光强、镜面反射的加和所决定。
  

2.1.4 面光源

• 面光源是一个可发光的面。面光源不易产生对比强烈的阴影效果，所以在照明工程学中是较常见的。
• 由面光源产生复杂有平滑边界的阴影，具体情况与原理如下图所示
  
• 遮挡物离表面足够远时阴影区域中不存在阴暗点，而半影区将非常大，很难从亮度上区分阴影中和非阴影中的表面片，如下图所示：
  

2.2 阴影的估算

阴影可以用来推断各种视觉世界的属性信息。有效的估算常常需要从辐射度的计量角度出发来校准照相机，这样就可以确定像素的值是如何映射成辐射亮度值的。

2.2.1 辐射校准和高动态范围图像

• 场景区域亮度可以通过相机快门时间与相机感应度进行测量。为了计算辐射亮度值，需要确定相机胶片的感光度，这个过程就是辐射校准
• 高动态范围图像是通过得到同一场景在不同曝光参数下的多幅图像，以支持使用很大的动态范围来恢复辐射亮度值，原理如下图所示：
  

2.2.2 镜面反射模型

• 镜面反射隐含大量信息，其中包括有关光照颜色的隐含信息，以及包含表面区域几何结构的提示信息。

• 通过远距离观察的镜面反射如下所示：
  

• 凸表面上的镜面和凹表面上的镜面随着视角的变化，呈现出不同的变化，采用合适的源方向和合适的移动，可以计算得到镜面的主曲率，如下图所示：
  

2.2.3 对亮度和照度的推理

• 如果可以从一张图像通过估计得到反射率，则也可以得到表面自身的一些属性，这些属性往往称为内表征 (intrinsic representations)，并且非常值得估计，因为图像周围发生变化的时候，内表征不会发生变化。
• 人类具备亮度恒等性，即尽管照度的强度（明亮程度）有所变化，但是人们可以辨别出表面为白色、灰色或者黑色（表面的亮度），亮度恒等性过程包含以下两个过程
  • 对比不同图像块的亮度
  • 建立某种绝对标准的形式用于将这些对比作为参考
• 照相机在x点相应C为照度项、反射率项和一个照相机的常数项进行表示：
  
  • 基于反射率变化一般变化较平滑的假设，以及亮度变化仅仅随着空间慢慢移动而变化的假设
  • 视网膜算法的作用形式如下所示：
    
• 通过视网膜算法恢复图像中反射率
  

2.2.4 光度立体技术：从多幅阴影图像恢复形状

• 从一系列的不同照度下拍摄的表面图片是有可能对表面的图像块进行重构的。

• 这种情形下测量表面的形状需要包括到表面的距离。可以使用monge patch，如下图所示。
  

• 光度立体技术是一种用于从图像数据中恢复对蒙日块表征的算法技术，具体应用如下图所示，这些图像采用一个局部阴影模型和一个远距离点光源进行获取。这个一个凸物体，仅当光源方向与视角方向平行使没有可视遮挡，根据不同光源下的亮度变化对表面形状进行编码：
  

• 从以上图像中通过光度立体技术恢复的向量场的梯度、表面标准场、高度场如下所示：
  

• 下图给出了通过光度立体技术来直观地用于恢复具有变形表面的高分辨率重构，下图给出了对视频中的衣服进行重构的应用：
  

• 光度立体技术由于可以通过的单一视角方向获取的图得到三维重构效果，这具备极高的应用价值

2.3 对互反射进行建模

局部阴影模型很难计算所有的光，可以通过全局阴影模型进行替代。全局阴影模型不仅可以计算从发光源发出的光，同时还可以计算从其他表面反射的光。全局阴影模型的一般形式为：

• 每个表面块辐射的光通量 = 表面块本身生成的光通量 + 从其他表面块接受和反射的光通量

这就需要对其它块和反射的光通量进行建模。

2.3.1 源于区域光在一个块上的照度

• 照度定义：在指定方向上，每单位方向穿过的光通量（等价于单位时间的能量），其中在该方向上每单位区域都垂直于穿过的方向。
• 辐射率单位为在每平方米每单位立体弧度的瓦特数
  
• 区域为dA的快观察一个源S。源S上每元素的贡献相加既可计算块接受的光通量
  

2.3.2 热辐射和存在性

• 约定漫反射面中离开表面的强度（辐射率）与离开的方向无关
• 辐射度定义：远离某表面上一个点在单位表面上的所有光通量
• 辐射度单位：每平方米的单位瓦特数
  
• 辐射度某点的计算方式：将该点远离整个即将退出的半球面体的所有辐射率进行相加

• 一个半球体某块的表面计算辐射量的角坐标示意如下：
  
• 某元素的辐射度归结于从区域接收的光通量，最终步骤是对某表面内在生成的照度进行建模–也就是由光源生成的光，而不是由表面反射的光。
• 光源的单位出射度定义：在某表面，远离一个点每单位区域生成的总光通量

2.3.3 互反射模型

• 互反射模型：
  每个表面块辐射的光通量 = 表面块本身生成的光通量 + 从其他表面块接收和反射的光通量
  
• 一种互反射模型的建模方式
  

2.3.4 互反射的定性性质

• 互反射精确建模较为困难，因为一旦将互反射考虑在内，每个表面块的亮度将会被其他表面块影响，所以另一种直观方法是通过理解互反射阴影的定性性质
• 如下图所示，左边的是从无光黑暗房间内取得图片，房间内有一些无光黑色多面体物体；右图是从一个放有白色物体的白色房间中取得的。可见白色房间内，其他物体表面显然受到了不同表面光的反射。
  
• 互反射会起到平滑的作用
  
• 互反射产生的阴影快速变化及动态范围相对较低
• 互反射区域效应是反光，如下图在凹陷的区域出现小亮斑
  
• 互反射可能硬气色彩掺和，即彩色表面将光反射到其他彩色表面上

2.4 一个阴影图像的形状

• 人们可以从单个图像中感知阴影模式的形状，虽然细节不确定且非常复杂

• 当显示从图像中重构的表面时，一种很好的思路是采用图像像素对重构结果进行阴影化。如下图所示，在电影中可以改变塑料口袋上的模式。通过构建并跟踪非常粗糙的几何重构，采用回归的方法可恢复物体原始阴影模式，接着采用原始的阴影图案对粗糙的几何重构进行阴影化。图像看起来非常真实，主要原因是采用阴影模式掩盖了几何重构的误差。
  

---

Summary

该章节主要对图像生成的要素光照及阴影进行了介绍。首先介绍了像素的亮度是由哪些因素来确定的，并针对这些因素进行了详尽的分析。随后对成像中的重要元素阴影进行了介绍，其中介绍了一些通过阴影来推断各种视觉世界的属性信息的方法，包括类似HDR的通过多张不同曝光时间的到更大动态范围的图片、估计镜面反射率、估计亮度和照度、通过阴影恢复形状等方法。另外作者对互反射的建模方法进行了介绍，里面给出了一些互反射的定性性质可供参考。最后作者介绍了阴影图像在图形学中的应用样例，突出了阴影在改变人类对图片的感官效果中的重要作用。

---

Thoughts

• 光度立体技术由于可以通过的单一视角方向获取的图得到三维重构效果，这具备一定的研究价值
• 阴影的在糊弄人眼的过程有重要作用，在需要提高人类感官效果中可以从尝试使用