论文地址：https://ieeexplore.ieee.org/document/9206116
源码地址：https://github.com/The-Learning-And-Vision-Atelier-LAVA/PAM

概述

  不同数据集的视图之间的基线、焦距与分辨率不同，基于Cost Volume固定预设视差范围的立体匹配方法无法很好处理大视差预测问题。为此，作者提出一个基于视差注意力机制的立体匹配方法来捕捉大视差范围的匹配点的信息，通过将极线约束与注意力机制结合，计算沿着极线方向的特征相似度来获取匹配点之间的匹配关系。

模型架构

Formulation：在图像自注意力机制中，将特征图从 RH×W×C\mathbb{R}^{H \times W \times C}RH×W×C 转换为 RHW×C\mathbb{R}^{HW \times C}RHW×C 后进行矩阵相乘( RHW×C×RC×HW\mathbb{R}^{HW \times C} \times \mathbb{R}^{C \times HW}RHW×C×RC×HW )来得到像素之间的注意力。受到自注意力机制的启发，PAM 基于极限约束来求左右视图极线之间的注意力，如图3所示：

  给定左右特征图 A,B∈RH×W×CA, B \in \mathbb{R^{H\times W\times C}}A,B∈RH×W×C，使用 1×11\times 11×1 的卷积进行特征通道融合，继而进行维度转换得 Q∈RH×W×CQ\in \mathbb{R^{H \times W\times C}}Q∈RH×W×C 与 K∈RH×C×WK\in \mathbb{R^{H\times C\times W}}K∈RH×C×W。将 QQQ 与 KKK 矩阵相乘后经过softmax层得到极线注意力图 MB⟶A∈H×W×WM_{B\longrightarrow A \in \mathbb{H\times W\times W}}MB⟶A∈H×W×W​。将 B 经过另外一个 1×11\times 11×1 卷积层后得到 R∈RH×W×C\mathbf{R} \in \mathbb{R}^{H\times W\times C}R∈RH×W×C，然后将 MB⟶A∈H×W×WM_{B\longrightarrow A} \in \mathbb{H\times W\times W}MB⟶A​∈H×W×W 与 R\mathbf{R}R 相乘后得到输出特征图 O∈RH×W×CO\in \mathbb{R}^{H\times W\times C}O∈RH×W×C，同时使用 MB⟶A∈H×W×WM_{B\longrightarrow A} \in \mathbb{H\times W\times W}MB⟶A​∈H×W×W 生成 Mask VBV_BVB​。

示例：给定尺寸为 30×3030\times 3030×30 的左右图像 Ileft\mathbf{I}_{left}Ileft​ 与 Iright\mathbf{I}_{right}Iright​，可以使用PAM来生成对应的视差注意力图 Mleft⟶rightM_{left\longrightarrow right}Mleft⟶right​ 与 Mright⟶left∈R30×30×30M_{right\longrightarrow left}\in \mathbb{R^{30\times 30 \times 30}}Mright⟶left​∈R30×30×30。

  其中，图4中第一行为左右视差图，第二行为对应的视差注意力图，图4(a)或图4(b)中的视差注意力图的第一列为Mright⟶leftM_{right\longrightarrow left}Mright⟶left​，其中横方向为右图的索引，纵轴为左图的索引，现在只考虑黄线(左右图像的第 iii 行)，。如果左右图像是完全匹配的（视差为0），则生成的注意力图像如图4(a) 第二行所示，只有对角线上的元素为1，即Mright⟶left(i,j,j)=1M_{right\longrightarrow left}(i, j, j)=1Mright⟶left​(i,j,j)=1，代表左图第iii 行的第jjj 个像素Ileft(i,j)\mathbf{I}_{left}(i, j)Ileft​(i,j) 与 右图第iii 行第jjj 个像素Iright(i,j)\mathbf{I}_{right}(i, j)Iright​(i,j) 匹配上了。在视差不为0的区域，图4(b)所示，如视差为5的区域，表示左图第iii 行的第jjj 个像素Ileft(i,j)\mathbf{I}_{left}(i, j)Ileft​(i,j) 与 右图第iii 行第j−5j-5j−5 个像素Iright(i,j−5)\mathbf{I}_{right}(i, j-5)Iright​(i,j−5) 匹配上了，即Mright⟶left(i,j,j−5)=1M_{right\longrightarrow left}(i, j, j-5)=1Mright⟶left​(i,j,j−5)=1。
  同时可以从视差注意力图中得到遮挡图，如图4(b) 第一列中，某些列中没有激活点，说明在右图中的 jjj 点在左图中没有匹配点，即该点在左图中被遮挡。如果某一行没有激活点，则导表该点在右图中没有匹配点，在右图中被遮挡。

左右一致性与循环一致性：为了得到可靠的一致性匹配结果，使用左右一致性与循环一致性来对PAM模块进行正则化。给定左右视图 Ileft\mathbf{I}_{left}Ileft​ 与 Iright\mathbf{I}_{right}Iright​ 与 Mleft⟶rightM_{left\longrightarrow right}Mleft⟶right​ 与 Mright⟶leftM_{right\longrightarrow left}Mright⟶left​，有：
{Ileft =Mright →left ⊗Iright ,Iright =Mleft →right ⊗Ileft (1)\left\{\begin{aligned} \mathbf{I}_{\text {left }} & =\mathbf{M}_{\text {right } \rightarrow \text { left }} \otimes \mathbf{I}_{\text {right }}, \\ \mathbf{I}_{\text {right }} & =\mathbf{M}_{\text {left } \rightarrow \text { right }} \otimes \mathbf{I}_{\text {left }} \end{aligned}\right.\tag{1}{Ileft ​Iright ​​=Mright → left ​⊗Iright ​,=Mleft → right ​⊗Ileft ​​(1)
其中 ⊗\otimes⊗ 表示带有几何感知的矩阵乘法，同理，循环一致性表示为：
{Ileft =Mleft →right →left ⊗Ileft ,Iright =Mright →left →right ⊗Iright(2)\left\{\begin{aligned} \mathbf{I}_{\text {left }} & =\mathbf{M}_{\text {left } \rightarrow \text {right } \rightarrow \text { left }} \otimes \mathbf{I}_{\text {left }}, \\ \mathbf{I}_{\text {right }} & =\mathbf{M}_{\text {right } \rightarrow \text {left } \rightarrow \text { right }} \otimes \mathbf{I}_{\text {right}} \end{aligned}\right.\tag{2}{Ileft ​Iright ​​=Mleft →right → left ​⊗Ileft ​,=Mright →left → right ​⊗Iright​​(2)
其中循环注意力图计算如下：
{Mleft →right →left=Mright →left ⊗Mleft →right Mright →left →right =Mleft →right ⊗Mright →left (3)\left\{\begin{array}{rl} \mathbf{M}_{\text {left } \rightarrow \text { right } \rightarrow l e f t} & =\mathbf{M}_{\text {right } \rightarrow \text { left }} \otimes \mathbf{M}_{\text {left } \rightarrow \text { right }} \\ \mathbf{M}_{\text {right } \rightarrow \text { left } \rightarrow \text { right }} & =\mathbf{M}_{\text {left } \rightarrow \text { right }} \otimes \mathbf{M}_{\text {right } \rightarrow \text { left }} \end{array} \right.\tag{3}{Mleft → right →left​Mright → left → right ​​=Mright → left ​⊗Mleft → right ​=Mleft → right ​⊗Mright → left ​​(3)
其中，⊗\otimes⊗ 表示矩阵乘法，对于第 iii 行，Mright →left (i,:,:)∈RW×W\mathbf{M}_{\text {right } \rightarrow \text { left }}(i, :, :)\in \mathbb{R}^{W\times W}Mright → left ​(i,:,:)∈RW×W与 Iright(i,:,:)∈W×C\mathbf{I}_{right}(i, :, :)\in \mathbb{W\times C}Iright​(i,:,:)∈W×C 相乘的结果为第 iii 行的每个特征，将 WWW 行的结果拼接得到 Ileft∈RH×W×C\mathbf{I}_{left}\in \mathbb{R}^{H\times W\times C}Ileft​∈RH×W×C。

有效值掩码：左右一致性与循环一致性都未包含遮挡区域的信息，文中使用视差注意力图来生成有效区域掩码，只在有效区域进行正则化，有效掩码如下图所示：
Vleft (i,k)={1,if ∑j∈[1,W]Mleft→right(i,j,k)>τ0,otherwise (4)\mathbf{V}_{\text {left }}(i, k)=\left\{\begin{array}{ll} 1, & \text { if } \sum_{j \in[1, W]} \mathbf{M}_{l e f t \rightarrow r i g h t}(i, j, k)>\tau \\ 0, & \text { otherwise } \end{array}\right.\tag{4}Vleft ​(i,k)={1,0,​ if ∑j∈[1,W]​Mleft→right​(i,j,k)>τ otherwise ​(4)

层叠式视差-注意力模块

  层叠注意力模块包含3个stages，每个stage包含4个视差注意力blocks，如图7(b)所示：

   通过沙漏网络提取到的左右视图的特征图大小为 Fleft1\mathbf{F^1_{left}}Fleft1​ ，Fright1∈RH16×W16×C\mathbf{F^1_{right}}\in \mathbb{R}^{\frac{H}{16}\times \frac{W}{16}\times C}Fright1​∈R16H​×16W​×C与初始代价 Cright→left0C^0_{right \rightarrow left}Cright→left0​，Cright→left0∈RH16×W16×W16C^0_{right \rightarrow left }\in \mathbb{R}^{\frac{H}{16}\times \frac{W}{16}\times \frac{W}{16}}Cright→left0​∈R16H​×16W​×16W​ (初始化为0)。使用 3×33\times 33×3 的卷积处理 Fleftl\mathbf{F}^l_{left}Fleftl​ 与 Frightl\mathbf{F}^l_{right}Frightl​ 后得到 Fleft\mathbf{F}_{left}Fleft​ 与 Fright\mathbf{F}_{right}Fright​。然后使用 1×11\times 11×1 的卷积层处理 Fleft\mathbf{F}_{left}Fleft​ 与 Fright\mathbf{F}_{right}Fright​ 后得到 Q\mathbf{Q}Q 与 K\mathbf{K}K, reshape后相乘得到 Cright→left1∈RH16×W16×W16C^1_{right \rightarrow left }\in \mathbb{R}^{\frac{H}{16}\times \frac{W}{16}\times \frac{W}{16}}Cright→left1​∈R16H​×16W​×16W​。交换Fleft1\mathbf{F^1_{left}}Fleft1​ ，Fright1\mathbf{F^1_{right}}Fright1​ 后生成 Cleft→right1∈RH16×W16×W16C^1_{left \rightarrow right }\in \mathbb{R}^{\frac{H}{16}\times \frac{W}{16}\times \frac{W}{16}}Cleft→right1​∈R16H​×16W​×16W​。如图7(b) 所示，将生成的结果送入后续的block中继续生成新的特征图与 CCC。在每个stage之后进行双线性插值到上一层后继续迭代。得到最后的得分矩阵 C3C^3C3。
   模型通过层叠式视差-注意力模块完成隐式正则化，如图8所示:

  为了简化分析，在此过程中只考虑 3×33\times 33×3 的卷积操作。在第 mthm^{th}mth 的视差注意力 block 中， 左右视图fleft5\mathbf{f}^5_{left}fleft5​ 与 fright5\mathbf{f}^5_{right}fright5​之间cost c5,5mc^m_{5,5}c5,5m​ 计算如式5所示：
c5,5m=c5,5m−1+(wQmfleft 5)TwKmfright 5=c5,5m−1+(fleft 5)T(wQm)TwKmfright 5,=c5,5m−1+Ψm(fleft 5,fright 5)(5)\begin{aligned} c_{5,5}^{m} & =c_{5,5}^{m-1}+\left(\mathbf{w}_{Q}^{m} \mathbf{f}_{\text {left }}^{5}\right)^{\mathrm{T}} \mathbf{w}_{K}^{m} \mathbf{f}_{\text {right }}^{5} \\ & =c_{5,5}^{m-1}+\left(\mathbf{f}_{\text {left }}^{5}\right)^{\mathrm{T}}\left(\mathbf{w}_{Q}^{m}\right)^{\mathrm{T}} \mathbf{w}_{K}^{m} \mathbf{f}_{\text {right }}^{5}, \\ & =c_{5,5}^{m-1}+\Psi^{m}\left(\mathbf{f}_{\text {left }}^{5}, \mathbf{f}_{\text {right }}^{5}\right) \end{aligned}\tag{5}c5,5m​​=c5,5m−1​+(wQm​fleft 5​)TwKm​fright 5​=c5,5m−1​+(fleft 5​)T(wQm​)TwKm​fright 5​,=c5,5m−1​+Ψm(fleft 5​,fright 5​)​(5)
其中 wQmw_Q^mwQm​, wKm∈RC×Cw_K^m\in \mathbb{R}^{C\times C}wKm​∈RC×C 为 1×11\times 11×1 的卷积层，fleft5\mathbf{f}^5_{left}fleft5​ 与 fright5∈RC×1\mathbf{f}^5_{right}\in \mathbb{R}^{C\times 1}fright5​∈RC×1 为匹配点的特征。 Ψm\Psi^{m}Ψm 为输入特征对之间的匹配代价。在 (m+1)th(m+1)^{th}(m+1)th 层block的特征向量由第 mthm^{th}mth 层特征向量fleft\mathbf{f}_{left}fleft​ 与 fright\mathbf{f}_{right}fright​的局部邻域聚合而来：
{fleft =∑i=19wifleft ifright =∑j=19wjfright j,(6)\left\{\begin{array}{rl} \mathbf{f}_{\text {left }} & =\sum_{i=1}^{9} \mathbf{w}^{i} \mathbf{f}_{\text {left }}^{i} \\ \mathbf{f}_{\text {right }} & =\sum_{j=1}^{9} \mathbf{w}^{j} \mathbf{f}_{\text {right }}^{j} \end{array},\right.\tag{6}{fleft ​fright ​​=∑i=19​wifleft i​=∑j=19​wjfright j​​,(6)
其中 wi\mathbf{w}^{i}wi 与 wj∈RC×C\mathbf{w}^{j}\in \mathbb{R}^{C\times C}wj∈RC×C 为权值共享的 3×33\times 33×3 的卷积操作。fleft\mathbf{f}_{left}fleft​ 与 fright∈RC×C\mathbf{f}_{right}\in \mathbb{R}^{C\times C}fright​∈RC×C为输出特征向量，匹配代价计算如式7所示：
c5,5m+1=c5,5m+(wQm+1fleft )TwKm+1fright =c5,5m+∑i∑j(wQm+1wifleft i)TwKm+1wjfright j=c5,5m+∑i∑j(flefti)T(wi)T(wQm+1)TwKm+1wjfright j,=c5,5m+∑i∑jΨi,jm+1(flefti,fright j)(7)\begin{aligned} c_{5,5}^{m+1} & =c_{5,5}^{m}+\left(\mathbf{w}_{Q}^{m+1} \mathbf{f}_{\text {left }}\right)^{\mathrm{T}} \mathbf{w}_{K}^{m+1} \mathbf{f}_{\text {right }} \\ & =c_{5,5}^{m}+\sum_{i} \sum_{j}\left(\mathbf{w}_{Q}^{m+1} \mathbf{w}^{i} \mathbf{f}_{\text {left }}^{i}\right)^{\mathrm{T}} \mathbf{w}_{K}^{m+1} \mathbf{w}^{j} \mathbf{f}_{\text {right }}^{j} \\ & =c_{5,5}^{m}+\sum_{i} \sum_{j}\left(\mathbf{f}_{l e f t}^{i}\right)^{\mathrm{T}}\left(\mathbf{w}^{i}\right)^{\mathrm{T}}\left(\mathbf{w}_{Q}^{m+1}\right)^{\mathrm{T}} \mathbf{w}_{K}^{m+1} \mathbf{w}^{j} \mathbf{f}_{\text {right }}^{j}, \\ & =c_{5,5}^{m}+\sum_{i} \sum_{j} \Psi_{i, j}^{m+1}\left(\mathbf{f}_{l e f t}^{i}, \mathbf{f}_{\text {right }}^{j}\right) \end{aligned}\tag{7}c5,5m+1​​=c5,5m​+(wQm+1​fleft ​)TwKm+1​fright ​=c5,5m​+i∑​j∑​(wQm+1​wifleft i​)TwKm+1​wjfright j​=c5,5m​+i∑​j∑​(flefti​)T(wi)T(wQm+1​)TwKm+1​wjfright j​,=c5,5m​+i∑​j∑​Ψi,jm+1​(flefti​,fright j​)​(7)
求中 wQm+1\mathbf{w}_{Q}^{m+1}wQm+1​, wKm+1∈RC×C\mathbf{w}_{K}^{m+1}\in \mathbb{R}^{C\times C}wKm+1​∈RC×C 为两个 1×11\times 11×1 的卷积层。 Ψi,jm+1(.)\Psi_{i, j}^{m+1}(.)Ψi,jm+1​(.) 为输入特征对之间的匹配代价。从事7中可以看出，在从 mthm^{th}mth 到 mth+1m^{th+1}mth+1 层的过程中完成了隐式的代价聚合。

视差回归

由stage 3 得到的Cright→left3\mathbf{C}^3_{right \rightarrow left}Cright→left3​ 和 Cleft→right3\mathbf{C}^3_{left \rightarrow right}Cleft→right3​ 经过softmax层得 Mright→left3\mathbf{M}^3_{right \rightarrow left}Mright→left3​ 和 Mleft→right3∈RH4×W4×W4\mathbf{M}^3_{left \rightarrow right} \in \mathbb{R}^{\frac{H}{4} \times \frac{W}{4} \times \frac{W}{4}}Mleft→right3​∈R4H​×4W​×4W​, 如图7（c）所示。继而使用Mleft→right3\mathbf{M}^3_{left \rightarrow right}Mleft→right3​, Mright→left3\mathbf{M}^3_{right \rightarrow left}Mright→left3​ 生成有效值掩码 Vleft3\mathbf{V}^3_{left}Vleft3​ 和 Vright3\mathbf{V}^3_{right}Vright3​，最后回归视差值：
D^=∑k=0W/4−1k×Mright 3left (:,:,k)(8)\hat{\mathbf{D}}=\sum_{k=0}^{W / 4-1} k \times \mathbf{M}_{\text {right }}^{3} \text { left }(:,:, k)\tag{8}D^=k=0∑W/4−1​k×Mright 3​ left (:,:,k)(8)

视差细化

  如图7a所示，使用初始视差值 D^\hat{\mathbf{D}}D^ 与 Fleft4\mathbf{F}_{left}^4Fleft4​ 拼接后送入沙漏网络中生成视差的残差图 D^res\hat{\mathbf{D}}_{res}D^res​ 与置信度图 Mcon\mathbf{M}_{con}Mcon​:
D^refined =(1−Mcon )×D^ini ↑+Mcon ×D^res (9)\hat{\mathbf{D}}_{\text {refined }}=\left(1-\mathbf{M}_{\text {con }}\right) \times \hat{\mathbf{D}}_{\text {ini }} \uparrow+\mathbf{M}_{\text {con }} \times \hat{\mathbf{D}}_{\text {res }}\tag{9}D^refined ​=(1−Mcon ​)×D^ini ​↑+Mcon ​×D^res ​(9)
其中 ↑\uparrow↑ 为上采样操作。

损失函数

光度损失：

Lp=1N∑p∈Vleft α1−S(Ileft(p),I^(p))2+(1−α)∥Ileft (p)−I^(p)∥1,(10)\mathcal{L}_{\mathrm{p}}=\frac{1}{N} \sum_{p \in \mathbf{V}_{\text {left }}} \alpha \frac{1-\mathcal{S}\left(\mathbf{I}_{l e f t}(p), \hat{\mathbf{I}}(p)\right)}{2}+(1-\alpha)\left\|\mathbf{I}_{\text {left }}(p)-\hat{\mathbf{I}}(p)\right\|_{1},\tag{10}Lp​=N1​p∈Vleft ​∑​α21−S(Ileft​(p),I^(p))​+(1−α)​Ileft ​(p)−I^(p)​1​,(10)

平滑损失：

Ls=1N∑p(∥∇xD^refined (p)∥1e−∥∇xIleft(p)∥1+∥∇yD^refined (p)∥1e−∥∇yIleft(p)∥1),(11)\begin{array}{l} \mathcal{L}_{\mathrm{s}}= \frac{1}{N} \sum_{p}\left(\left\|\nabla_{x} \hat{\mathbf{D}}_{\text {refined }}(p)\right\|_{1} e^{-\left\|\nabla_{x} \mathbf{I}_{l e f t}(p)\right\|_{1}}\right. \\ +\left\|\nabla_{y} \hat{\mathbf{D}}_{\text {refined }}(p)\right\|_{1} e^{\left.-\left\|\nabla_{y} \mathbf{I}_{l e f t}(p)\right\|_{1}\right),} \end{array}\tag{11}Ls​=N1​∑p​(​∇x​D^refined ​(p)​1​e−∥∇x​Ileft​(p)∥1​+​∇y​D^refined ​(p)​1​e−∥∇y​Ileft​(p)∥1​),​(11)

PAM Loss：

   使用3个额外的损失来对不同尺度下的PAM模块正则化：
LPAM s=LPAM-p s+λPAM-s LPAM-s s+λPAM-c LPAM-c s.(12)\mathcal{L}_{\text {PAM }}^{s}=\mathcal{L}_{\text {PAM-p }}^{s}+\lambda_{\text {PAM-s }} \mathcal{L}_{\text {PAM-s }}^{s}+\lambda_{\text {PAM-c }} \mathcal{L}_{\text {PAM-c }}^{s} .\tag{12}LPAM s​=LPAM-p s​+λPAM-s ​LPAM-s s​+λPAM-c ​LPAM-c s​.(12)

  基于视差注意力图的光度一致性损失：
LPAM-p s=1Nleft s∑p∈Vleft s∥Ileft s(p)−(Mright →eft s⊗Iright s)(p)∥1+1Nright s∑p∈Vright s∥Iright s(p)−(Mleft →rights⊗Ileft s)(p)∥1.(13)\begin{aligned} \mathcal{L}_{\text {PAM-p }}^{s}= & \frac{1}{N_{\text {left }}^{s}} \sum_{p \in \mathbf{V}_{\text {left }}^{s}}\left\|\mathbf{I}_{\text {left }}^{s}(p)-\left(\mathbf{M}_{\text {right } \rightarrow \text { eft }}^{s} \otimes \mathbf{I}_{\text {right }}^{s}\right)(p)\right\|_{1} & +\frac{1}{N_{\text {right }}^{s}} \sum_{p \in \mathbf{V}_{\text {right }}^{s}}\left\|\mathbf{I}_{\text {right }}^{s}(p)-\left(\mathbf{M}_{\text {left } \rightarrow r i g h t}^{s} \otimes \mathbf{I}_{\text {left }}^{s}\right)(p)\right\|_{1} . \end{aligned}\tag{13}LPAM-p s​=​Nleft s​1​p∈Vleft s​∑​​Ileft s​(p)−(Mright → eft s​⊗Iright s​)(p)​1​​+Nright s​1​p∈Vright s​∑​​Iright s​(p)−(Mleft →rights​⊗Ileft s​)(p)​1​.​(13)

  基于视差注意力图的平滑性损失：
LPAM−ss=1Ns∑Ms∑i,j,k(∥Ms(i,j,k)−Ms(i+1,j,k)∥1+∥Ms(i,j,k)−Ms(i,j+1,k+1)∥1),(14)\begin{aligned} \mathcal{L}_{\mathrm{PAM}-\mathrm{s}}^{s}= & \frac{1}{N^{s}} \sum_{\mathbf{M}^{s}} \sum_{i, j, k}\left(\left\|\mathbf{M}^{s}(i, j, k)-\mathbf{M}^{s}(i+1, j, k)\right\|_{1}\right. & \left.+\left\|\mathbf{M}^{s}(i, j, k)-\mathbf{M}^{s}(i, j+1, k+1)\right\|_{1}\right), \end{aligned}\tag{14}LPAM−ss​=​Ns1​Ms∑​i,j,k∑​(∥Ms(i,j,k)−Ms(i+1,j,k)∥1​​+∥Ms(i,j,k)−Ms(i,j+1,k+1)∥1​),​(14)

  循环一致性损失：
LPAM−cs=1Nleft s∑p∈Vleft s∥Mleft →right→lefts(p)−Is(p)∥1+1Nright s∑p∈Vright s∥Mright →left →rights(p)−Is(p)∥1,(15)\begin{aligned} \mathcal{L}_{\mathrm{PAM}-\mathrm{c}}^{s}= & \frac{1}{N_{\text {left }}^{s}} \sum_{p \in \mathbf{V}_{\text {left }}^{s}}\left\|\mathbf{M}_{\text {left } \rightarrow r i g h t \rightarrow l e f t}^{s}(p)-I^{s}(p)\right\|_{1} & +\frac{1}{N_{\text {right }}^{s}} \sum_{p \in \mathbf{V}_{\text {right }}^{s}}\left\|\mathbf{M}_{\text {right } \rightarrow \text { left } \rightarrow r i g h t}^{s}(p)-I^{s}(p)\right\|_{1}, \end{aligned}\tag{15}LPAM−cs​=​Nleft s​1​p∈Vleft s​∑​​Mleft →right→lefts​(p)−Is(p)​1​​+Nright s​1​p∈Vright s​∑​​Mright → left →rights​(p)−Is(p)​1​,​(15)

Lunsup =Lp+λsLs+λPAM (0.2LPAM 1+0.3LPAM 2+0.5LPAM 3).(16)\begin{aligned} \mathcal{L}_{\text {unsup }}= & \mathcal{L}_{\mathrm{p}}+\lambda_{\mathrm{s}} \mathcal{L}_{\mathrm{s}} +\lambda_{\text {PAM }}\left(0.2 \mathcal{L}_{\text {PAM }}^{1}+0.3 \mathcal{L}_{\text {PAM }}^{2}+0.5 \mathcal{L}_{\text {PAM }}^{3}\right) . \end{aligned}\tag{16}Lunsup ​=​Lp​+λs​Ls​+λPAM ​(0.2LPAM 1​+0.3LPAM 2​+0.5LPAM 3​).​(16)

实验结果