%محمود امین طوسی
\chapter{افزایش وضوح در فریم ویدیوئی}\label{Chap:EURASIP}
%{نگاشت با لحاظ کردن محک \lr{SSIM}و بهینه‌سازی \lr{LM}} 

%\textpook{\huge جناب آقای دکتر فتحی، این فصل را باید کلاً بر اساس مقالهٔ یوراسیپ بازنویسی کنم.}

%\section{مقدمه}
 در فصل \ref{Chap:CSICC2009} شیوه‌ای   برای افزایش وضوح تصویر ورودی ارائه شد که مشتمل بر نگاشت کل تصویر(های) آموزشی بر روی تصویر ورودی بود. یکی از مشکلات روش مذکور، تخمین نادقیق ماتریس هوموگرافی توسط شیوه‌های ثیت تصویر مبتنی بر ویژگی بود که  با استفاده از یک روش مبتنی بر ناحیه، نتیجهٔ نهایی بهبود داده شد. 
 
 اگر از شیوهٔ مذکور برای بهبود فریم‌های ویدیوئی استفاده شود، تخمین هرچه دقیق‌تر ماتریس هوموگرافی، اهمیت خود را بیشتر نشان خواهد داد؛ چرا که مختصر جابجایی در نواحی نگاشت شده، باعث لرزش در ویدئوی خروجی خواهد شد. 
 روش مبتنی بر ناحیهٔ لوکاس-کاناد مبتنی بر تفاضل تصویر ورودی و نگاشت شدهٔ تصویر آموزشی بر روی مختصات تصویر ورودی است.  
 در این فصل با لحاظ کردن تفاوت ساختاری دو تصویر \citep{Wang04image} در فرمولبندی الگوریتم لوکاس-کاناد به تخمین دقیق‌تری از ماتریس و در نتیجه خروجی سنتز شدهٔ بهتری دست خواهیم یافت\footnote{مطالب این فصل در مقالات \cite{Amintoosi88sabtetasvir,Amintoosi09precise} منتشر شده است.}.
 چارچوب کلی کار در این فصل در شکل~\ref{fig:OneLR_oneHR} آمده است. مرحله‌ی  «همرنگ نمودن تصاویر در نواحی مرزی» مبتنی بر شیوهٔ ارائه شده در فصل \ref{Chap:fusion} نیز به آن اضافه شده‌است. از آنجا که ذکر روش کار برای یک یا چند تصویر آموزشی تفاوتی ندارد، در اینجا فرض بر آن است که فقط از یک تصویر آموزشی استفاده می‌شود.

%------------------------- Visio Chart, OneLR_OneHR
\begin{figure}[th]
%\centerline{\XeTeXpdffile "Images_ICEE09_fa/OneLR_oneHR.pdf" height 14cm}
\centering 
\includegraphics[width=75mm]{Images_ICEE09_fa/OneLR_oneHR.pdf}
\caption{چارچوب کلی شیوه‌ی پیشنهادی.}\label{fig:OneLR_oneHR}
\end{figure}


مهمترین قسمت در کار حاضر استفاده از معیار مقایسه‌ی ساختاری دو تصویر ($SSIM$) برای بهبود شیوه‌ی ثبت تصویر %لوکاس-کاناد
\cite{Lucas81iterative} می‌باشد. در بخش بعد نگاهی بر معیار مقایسه‌ی $SSIM$ خواهیم داشت.  همچون فصل \ref{Chap:CSICC2009} در این فصل نیز از فرمولبندی ذکر شده در \cite{Baker04lucas-kanade20part1} استفاده خواهیم نمود. بنا به اهمیت این روش در شیوهٔ پیشنهادی، توضیح مفصل‌تر آن  ضروری می‌باشد که در ادامه ذکر خواهد شد. در انتها روش پیشنهادی بر اساس آنها بیان خواهد شد.

\subsection{ارزیابی خطا با محک $SSIM$}
در \cite{Wang04image} محک $MSSIM$\LTRfootnote{Mean Structural SIMilarity} برای اندازه‌گیری کیفیت یک تصویر، به صورت زیر تعریف شده است:
\begin{equation}\label{eq:MSSIM}
    MSSIM(X,Y) = \frac{1}{M}\sum_{j=1}^M SSIM(x_j,y_j)
\end{equation}
که در آن $X$ تصویر مرجع، $Y$ تصویر تخریب شده؛ $x_j$ و $y_j$ اجزاء $j$امین پنجره در تصاویر و $M$، تعداد پنجره‌ها می‌باشد. 
$SSIM(x,y)$ مطابق زیر تعریف می‌شود:
\begin{equation}\label{eq:SSIM}
    SSIM(x,y)=\frac{(2\mu_x\mu_y+C_1)(2\sigma_{xy}+C_2)}{(\mu_x^2+\mu_y^2+C_1)(\sigma_x^2+\sigma_y^2+C_2)}
\end{equation}
که در آن $C_1,C_2$ ثوابتی برای پایداری و \lr{$\mu_x, \sigma_x$, $\sigma_{xy}$} تخمین آمارگان محلی تصویر هستند.% که در \cite{Wang04image} تعریف شده‌اند. 

$MSSIM$ به گونه‌ای تعریف شده است که هر چه دو تصویر به هم شبیه‌تر باشند، خروجی آن بزرگتر و به یک نزدیک‌تر باشد. اگر به ازای هز زوج پیکسل متناظر در دو تصویر، مقدار $SSIM$ محاسبه گردد، تصویری حاصل خواهد شد که «تصویر نقشهٔ $SSIM$»\LTRfootnote{SSIM map image} نامیده شده می‌شود. 

یک نسخهٔ معکوس یا نگاتیو این معیار می‌تواند به عنوان میزان تفاوت ساختاری دو تصویر درنظر گرفته شود.
ایدهٔ اصلی ورای استفاده از این معیار در این بخش آن است که نگاتیو تصویر نقشهٔ $SSIM$ --که از این به بعد آنرا نقشهٔ تفاوت ساختاری خواهیم نامید-- بسیار بهتر از مقایسهٔ پیکسل به پیکسل دو تصویر (قدرمطلق یا مجذور توان دوم خطا)، تفاوتهای ساختاری را نشان می‌دهد. شکل \ref{fig:Brooks2005} یک تصویر اصلی، فشرده شدهٔ آن، نقشهٔ تفاضل پیکسلی و نقشهٔ تفاوت ساختاری را نشان می‌دهد. همانگونه که مشاهده می‌شود، آخرین مورد خیلی بهتر از تفاضل پیکسل به پیکسل، تفاوت ساختاری دو تصویر را نشان می‌دهد.

\begin{figure}[t]
\centering 
\subfigure[تصویر اصلی]{ \label{fig:Brooks2005:original}
\includegraphics[width=.23\textwidth]{Images_Video_LM/Brooks_original.jpg}}
%\hspace{2mm}
\subfigure[فشرده شدهٔ \lr{JPEG}]{ \label{fig:Brooks2005:JPEG}
\includegraphics[width=.231\textwidth]{Images_Video_LM/Brooks_JPEG.jpg}}
%\hspace{2mm}
\subfigure[تفاضل پیکسل به پیکسل]{ \label{fig:Brooks2005:MSEmap}
\includegraphics[width=.23\textwidth]{Images_Video_LM/Brooks_MSE.jpg}}
%\hspace{2mm}
\subfigure[نقشهٔ تفاوت ساختاری]{\label{fig:Brooks2005:SSIMmap}
\includegraphics[width=.231\textwidth]{Images_Video_LM/Brooks_SDIS.jpg}}
\caption[مقایسهٔ خطای بین تو تصویر با روشهای مبتنی بر تفاضل پیکسلی و $SSIM$.]{مقایسهٔ خطای بین دو تصویر با روشهای مبتنی بر تفاضل پیکسلی و $SSIM$. (تصاویر با کمی تغییر از \cite{Brooks05what} گرفته شده‌اند).}
\label{fig:Brooks2005} %% label for entire figure
\end{figure}


\subsection{الگوریتم لوکاس-کاناد}
 هدف در شیوه‌ی ثبت تصویر %لوکاس-کاناد
 \cite{Lucas81iterative} کمینه‌سازی مجموع مربع تفاضلات زیر بین تصویر آموزشیِ $T(\mathbf{x})$ و نگاشت تصویر ورودیِ $I(\mathbf{x})$ است:
 \begin{equation}\label{eq:SSD_L2Norm}
    SSD=\sum_x[\IWarp-T(\mathbf{x})]^2
\end{equation}
که در آن $\warp$ بیانگر مدل تبدیل‌ (در اینجا پروجکتیو)، $\mathbf{p}=(p_1,\dots,p_8)^T$ پارامترهای مدل تبدیل، $\IWarp$ نگاشت تصویر ورودی $I$ بر روی مختصات تصویر آموزشی $T$ و $\mathbf{x} =(x,y)^T$ مختصات یک پیکسل می‌باشد.
 کمینه‌سازی \eqref{eq:SSD_L2Norm} نسبت به $\mathbf{p}$ انجام می‌شود. 
در شیوه‌ی لوکاس-کاناد فرض بر آن است که در ابتدا تخمینی از مدل دردست بوده و در یک فرآیند تکراری این تخمین بهبود داده می‌شود؛
در هر دور ابتدا عبارت زیر بر اساس $\triangle\mathbf{p}$ کمینه شده:
\begin{equation}\label{eq:SSD_L2Norm_deltap}
    \sum_x[I(\mathbf{W}(\mathbf{x;\mathbf{p+\triangle p}}))-T(\mathbf{x})]^2
\end{equation}
 و سپس پارامترها بروزرسانی می‌شوند:
\begin{equation}
    \mathbf{p}\leftarrow\mathbf{p+\triangle p}
\end{equation}
دو مرحله‌ی فوق تا مادامیکه الگوریتم همگرا نشده است تکرار خواهند شد. در فرآیند کمینه‌سازی، $\mathbf{\triangle p}$ به صورت زیر محاسبه می‌شود:
\begin{equation}\label{eq:deltap}
    \triangle\mathbf{p} = H^{-1} \sum_x[\nabla I\roundB{W}{p}]^T[T(\mathbf{x})-\IWarp]
\end{equation}
که در آن $H$، ماتریس هسین تقریبی\LTRfootnote{Approximate Hessian Matrix}، به صورت زیر بدست می‌آید:
\begin{equation}\label{eq:Hessian}
    H = \sum_x[\nabla I\roundB{W}{p}]^T[\nabla I\roundB{W}{p}]
\end{equation}
این مراحل در الگوریتم \ref{alg:LK-GN} نشان داده شده است \citep{Baker04lucas-kanade20part1}.
%گونه‌های مختلفی از این الگوریتم پیشنهاد شده‌اند.% 
\begin{algorithm}[t]
\caption{الگوریتم ثبت تصویر لوکاس-کاناد مبتنی بر بهینه‌سازی گوس-نیوتون \lr{(LK-GN)}.} \label{alg:LK-GN}
\begin{latin}
\begin{algorithmic}[1]
\REQUIRE The reference image $I$ and template image $T$.
\ENSURE Registration parameters $\mathbf{p}=(p_1,\dots,p_n)^T$ as the warp model $\warp$.
\REPEAT
  \STATE Warp $I$ with $\warp$ to compute $\IWarp$. 
  \STATE Compute the error image $T(x)-\IWarp$ 
  \STATE Warp the gradient $\nabla I$ with $\warp$. \STATE Evaluate the Jacobian
    $\roundB{W}{p}$ at $(\mathbf{x;p})$. 
  \STATE Compute the steepest descent images $\nabla I\roundB{W}{p}$. 
  \STATE \label{line:Hessian} Compute the Hessian matrix using Equation
    \ref{eq:Hessian}. 
  \STATE Compute $[\nabla I\roundB{W}{p}]^T$ and $[T(x)-\IWarp]$ 
  \STATE \label{alg:LK-GN:deltap} Compute $\triangle\mathbf{p}$ using Equation {\eqref{eq:deltap} }
  \STATE Update the parameters $\mathbf{p}\leftarrow\mathbf{p}+\triangle\mathbf{p}$ 
\UNTIL{$||\triangle\mathbf{p}||\leq\epsilon$ or Reaching to Maximum Iteration allowed}
\end{algorithmic}
\end{latin}
\end{algorithm}




\section{لحاظ کردن $SSIM$ در الگوریتم لوکاس-کاناد}
$MSSIM(X,Y)$ به نحوی تعریف شده است که هر چه دو تصویر به هم شبیه‌تر باشند این معیار به 1 نزدیک‌تر خواهد بود. اما ما در اینجا به معیاری نیاز داریم که میزان تفاوت دو تصویر را نشان دهد. به این منظور از $-SSIM$ استفاده نموده و آنرا $SDIS$\LTRfootnote{Structural DISsimilarity} می‌نامیم:
\begin{equation}\label{eq:SDISneg}
    SDIS(x,y) = -SSIM(x,y)
\end{equation}
بر اساس این تعریف، تفاوت بیشتر دو تصویر مقدار بزرگتری از $SDIS$ را نتیجه خواهد داد.
$SSIM$ بین پیکسلهای متناظر دو تصویر تعریف می‌شود؛ همانگونه که پیشتر گفته شد، تصویری که از مقایسه‌ی شباهت تک‌ تک پیکسلهای دو تصویر با این معیار حاصل می‌شود در \cite{Wang04image}، \lr{SSIM map image} نامیده شده است، به صورت متناظر در اینجا تصویری را که از مقایسه‌ی تفاوت دو تصویر بر اساس \eqref{eq:SDISneg} ایجاد می‌شود، «نقشهٔ تفاوت ساختاری»\LTRfootnote{Structural Dissimilarity (SDIS) map image} نامیدیم. از آنجا که در ادامه از این معیار به عنوان میزان خطا در ثبت تصویر استفاده خواهیم کرد آنرا با $E_{SDIS}$ نشان می‌دهیم.  با درنظر گرفتن این معیار به عنوان ضریبی از میانگین مربعات خطا، رابطه‌ی \eqref{eq:SSD_L2Norm} به صورت زیر در خواهد آمد:
\begin{equation}\label{eq:SSD_L2Norm_SDIS}
    \sum_x E_{SDIS}.[\IWarp-T(\mathbf{x})]^2
\end{equation}
که در آن منظور از نقطه، ضرب عناصر نظیر در دو ماتریس است. برای کمینه‌سازی \eqref{eq:SSD_L2Norm_SDIS}، با یک شیوه‌ی تکراری مشابه \eqref{eq:SSD_L2Norm_deltap} بایستی تابع زیر را کمینه نماییم:
\begin{equation}\label{eq:SSD_SDIS_deltap}
    \sum_x E_{SDIS}.[I(\mathbf{W}(\mathbf{x;\mathbf{p+\triangle p}}))-T(\mathbf{x})]^2
\end{equation}
که در آن $E_{SDIS}$ در $\warp$ ارزیابی می‌شود\footnote{اینکه چرا ارزیابی $E_{SDIS}$ در $\warp$ صورت گرفته است و نه در $\warpdp$ در ضمیمه آمده است.}. با انجام بسط تیلور مرتبه‌ی اول روی $I(\mathbf{W}(\mathbf{x;\mathbf{p+\triangle p}}))$ داریم:
\begin{align}
    SSD =\sum_x E_{SDIS}.[\IWarp+\nabla I\roundB{W}{p}\triangle \mathbf{p}-T(\mathbf{x})]^2 
	\label{eq:SSD_SDIS_Taylor} 
\end{align}
که در آن:
$\nabla I=(\round{I}{x},\round{I}{y})$ گرادیان تصویر $I$، ارزیابی شده در $\warp$ و $\roundB{W}{p}$ ژاکوبین مدل تبدیل می‌باشد.

پیدا کردن مقدار بهینه‌ی $\triangle \mathbf{p}$، با مشتق‌گیری از \eqref{eq:SSD_SDIS_Taylor}، برابر صفر قرار دادن نتیجه و حل آن انجام‌پذیر است:
\begin{eqnarray}
  \round{SSD}{\mathbf{\triangle p}} = 2\sum_x E_{SDIS}.[\nabla
  I\roundB{W}{p}]^T[\IWarp  
  +\nabla I\roundB{W}{p}\triangle
  \mathbf{p}-T(\mathbf{x})]
\end{eqnarray}
\begin{eqnarray}
  \nonumber \round{SSD}{\mathbf{\triangle p}} = 0 \Rightarrow
\end{eqnarray}
\begin{eqnarray}
   \sum_x E_{SDIS}.[\nabla I\roundB{W}{p}]^T\nabla I\roundB{W}{p}\triangle
  \mathbf{p} +
   \sum_xE_{SDIS}.[\nabla I\roundB{W}{p}]^T[\IWarp-T(\mathbf{x})]=0 
\end{eqnarray}
از حل معادله‌ی فوق خواهیم داشت:
\begin{align}
     \triangle\mathbf{p} = \label{eq:SDIS_deltap} 
	 H^{-1} \sum_xE_{SDIS}.[\nabla I\roundB{W}{p}]^T[T(\mathbf{x})-\IWarp] 
\end{align}
که در آن $H$، ماتریس هسین تقریبی به صورت زیر تعریف شده است:
\begin{equation}\label{eq:SDIS_Hessian}
    H = \sum_xE_{SDIS}.[\nabla I\roundB{W}{p}]^T[\nabla I\roundB{W}{p}]
\end{equation}

الگویتم ثبت تصویر لوکاس-کاناد در \ref{alg:LK-GN} ذکر گردید. در شیوهٔ مذکور $\triangle\mathbf{p}$ و ماتریس هسین از روابط \eqref{eq:deltap} و \eqref{eq:Hessian} حاصل می‌شدند؛ لیکن در شیوهٔ پیشنهادی آنها باید بر اساس \eqref{eq:SDIS_deltap} و  \eqref{eq:SDIS_Hessian} محاسبه گردند. 

از نحوهٔ محاسبهٔ  $\triangle\mathbf{p}$ و ماتریس هسین در روابط
\eqref{eq:SDIS_deltap} و \eqref{eq:SDIS_Hessian} مشخص است که شیوهٔ پیشنهادی هم از  اطلاعات $\nabla I\roundB{W}{p}$ که در روش لوکاس-کاناد هستند و هم از اطلاعات $SDIS$
از طریق $E_{SDIS}.\nabla I\roundB{W}{p}$ بهره می‌برد.

بر مبنای روابط فوق شیوه‌ی پیشنهادی ثبت تصویر مبتنی بر لحاظ کردن معیار $SSIM$ در روش لوکاس-کاناد در الگوریتم \ref{alg:LK-SSIM} آمده است. برای حفظ سازگاری الگوریتم پیشنهادی با الگوریتم اصلی لوکاس-کاناد، از ذکر مرحلهٔ محاسبهٔ $E_{SDIS}$  صرفنظر شده است.

\begin{algorithm}[t]
\caption{الگوریتم ثبت تصویر مبتنی بر لحاظ کردن معیار شباهت ساختاری $SSIM$ در روش لوکاس-کاناد\lr{(LK-SSIM)}} \label{alg:LK-SSIM}
\begin{latin}
\begin{algorithmic}[1]
\REQUIRE The reference image $I$ and template image $T$.\\
\ENSURE Registration parameters $\mathbf{p}=(p_1,\dots,p_n)^T$ as the warp model $\warp$.
\REPEAT
 \STATE Warp $I$ with $\warp$ to compute $\IWarp$. \STATE
Compute the error image $T(x)-\IWarp$ \STATE Warp the gradient
$\nabla I$ with $\warp$. \STATE Evaluate the Jacobian
$\roundB{W}{p}$ at $(\mathbf{x;p})$. \STATE Compute the steepest
descent images $\nabla I\roundB{W}{p}$. \STATE
\label{line:Hessian} Compute the Hessian matrix using Equation
\eqref{eq:SDIS_Hessian}. \STATE Compute $[\nabla I\roundB{W}{p}]^T$
and $[T(x)-\IWarp]$ \STATE \label{alg1:deltap} Compute
$\triangle\mathbf{p}$ using Equation \eqref{eq:SDIS_deltap} \STATE
Update the parameters $\mathbf{p}\leftarrow\mathbf{p}+
\triangle\mathbf{p}$ \UNTIL{$||\triangle\mathbf{p}||\leq\epsilon$
or Reaching to Maximum Iteration allowed}
\end{algorithmic}
\end{latin}
\end{algorithm}

\subsection{نتایج پیاده‌سازی}
در این بخش ابتدا  الگوریتم پیشنهادی و الگوریتم لوکاس-کاناد را از منظر ثبت تصویر بررسی خواهیم کرد و سپس نتایج آنرا در \SR خواهیم دید.

\subsubsection{نتایج مقایسه‌ای ثبت تصویر}
در این قسمت الگوریتم پیشنهادی \ref{alg:LK-SSIM} را با الگوریتم لوکاس-کاناد (الگوریتم \ref{alg:LK-GN}) و با روش مورد استفاده در \cite{Baker04lucas-kanade20part1} مقایسه خواهیم کرد. 
برای مقایسه از تصاویر مورد استفاده در همان مرجع استفاده شده است. از هر تصویر $I$، یک پنجره با ابعاد ۱۰۰ در ۱۰۰ پیکسل به صورت دستی به عنوان $T$ انتخاب می‌شود. برای تولید یک مدل نگاشت پروجکتیو تصادفی ($\warp$)، ۴ نقطهٔ گوشهٔ $T$ به عنوان نقاط کانونی انتخاب شده و با افزودن نویز گوسی با واریانس مشخص، این نقاط به صورت تصادفی اعوجاج داده می‌شوند. بر اساس مختصات ۴ نقطهٔ اصلی و چهار نقطهٔ اعوجاج یافته، و با استفاده از روش ارائه شده در  \citep[فصل ۴]{Hartley2004book} مدل نگاشت واقعی محاسبه می‌شود.  مدل بدست آمده بر روی $I$ اعمال می‌شود و هر دو الگوریتم با شروع از ماتریس همانی به عنوان مدل نگاشت برای انطباق $T$ بر روی این $I$ نگاشت یافته اجرا می‌شوند.

برای محاسبهٔ میزان خطای هر الگوریتم، مدل بدست آمده توسط هر الگوریتم روی ۴ نقطهٔ کانونی اعمال می‌شود. میانگین فاصلهٔ نقاط نگاشت شده با موقعیت اصلی دانستهٔ آنها میزان خطای \lr{RMS} روش خواهد بود.

به جز میزان خطای فوق، میانگین فرکانس همگرایی\LTRfootnote{Average frequency of convergence}،‌میانگین تعداد تکرار و متوسط زمان تا همگرایی\LTRfootnote{Average cycles needed and average time taken until convergence.} روی ۱۰۰۰ نمونه داده تولید شدهٔ تصادفی محاسبه شده‌ و نتایج در شکل \ref{fig:TakeoBars} آمده است. قبل از توضیح سه معیار اخیر، منظور از همگرایی را بیان خواهیم کرد.
%------------------------- Takeo Bars 1000 runs
\begin{figure}[t]
%\psfrag{FA}{LK}
\centering \subfigure[فرکانس همگرائی.]{\label{fig:TakeoBars:convergence_frequency}
\includegraphics*[width = .28\columnwidth]{Images_EURASIP/Takeo_convergence_frequency.eps}}\hspace{5mm}
\subfigure[میانگین تعداد تکرار تا همگرایی.]{\label{fig:TakeoBars:mean_conv_iter}
\includegraphics*[width = .28\columnwidth]{Images_EURASIP/Takeo_mean_conv_iter.eps}}\hspace{5mm}
\subfigure[متوسط زمان اجرا تا همگرایی.]{\label{fig:TakeoBars:mean_time}
\includegraphics*[width = .28\columnwidth]{Images_EURASIP/Takeo_mean_time.eps}}
 \caption{مقایسهٔ  همگرائی الگوریتم لوکاس-کاناد (\lr{ \textsf{LK}})  و روش پیشنهادی (\lr{ \textsf{LK-SSIM}}) . }
\label{fig:TakeoBars}
\end{figure}

گوییم یک الگوریتم \textbf{همگرا} شده است، هرگاه:
\begin{enumerate}
    \item خطای \lr{RMS} آن در آخرین دور کمتر از این خطا در آغاز باشد و 
    \item در آخرین دور، میزان خطای \lr{RMS} آن برای نقاط کانونی کمتر از یک پیکسل باشد.
\end{enumerate}
حداکثر تعداد تکرار مجاز حلقه در آزمایشات ۱۵ درنظر گرفته شده است. 
چه بسا الگوریتمی پس از پانزده تکرار همگرا نشده باشد ولی مثلاً با ۲۰ تکرار همگرا شود، لیکن در این آزمایشات به عنوان همگرا پذیرفته نخواهد شد. 
نتایج ارائه شده در اینجا بر روی تصویر \lr{`Takeo'} از مجموعه دادگان \cite{Baker04lucas-kanade20part1} می‌باشد.
واریانس انتخاب شده برای اعوجاج در نقاط کانونی ۴ پیکسل بوده است و لذا همیشه، خطای آغازین \lr{RMS} از یک پیکسل بیشتر است. 

\begin{description}
\item [فرکانس همگرائی،] درصدی از اجراها از بین هزار اجرا، که الگوریتم همگرا شده است.  همانگونه که در شکل \ref{fig:TakeoBars:convergence_frequency} دیده می‌شود، فرکانس همگرائیِ شیوهٔ پیشنهادی بیشتر از روش لوکاس-کاناد است. در تصاویر \textsf{LK} و  \textsf{LK-SSIM} به ترتیب بیانگر روش اصلی لوکاس-کاناد و شیوهٔ پیشنهادی می‌باشد.
\item [میانگین تعداد تکرار تا همگرایی،] شمارهٔ اولین دور از حلقه که در آن خطای \lr{RMS} به کمتر از یک پیکسل برسد، به عنوان تعداد تکرار مورد نیاز الگوریتم برای همگرائی در اجرای مربوطه درنظر گرفته شده است. میانگین این مقدار در بین هزار اجرا برای هر الگوریتم، میانگین تعداد تکرار تا همگرایی آن الگوریتم خواهد بود. همانگونه که از شکل \ref{fig:TakeoBars:mean_conv_iter} مشخص است، روش پیشنهادی به صورت میانگین در تعداد تکرار کمتری همگرا شده است. به منظور جلوگیری از بایاس شدن\LTRfootnote{biased} هنگامیکه یک الگوریتم همگرا نمی‌شود، در نتایج ارائه شده در این معیار و معیار بعدی،‌ فقط حالاتی در نظر گرفته شده‌اند که هر دو الگوریتم همگرا شده باشند.
\item [متوسط زمان تا همگرایی،] بالاسری مورد برای محاسبهٔ $E_{SDIS}$ در الگوریتم پیشنهادی باعث می‌شود که در زمان اجرا برای هر دور حلقه در الگوریتم پیشنهادی بیشتر از این زمان در الگوریتم لوکاس-کاناد باشد؛ لیکن کمتر بودن میانگین تعداد تکرار تا همگرائی روش پیشنهادی نسبت به روش لوکاس-کاناد به حدی است که باعث شده است که همانگونه که در شکل \ref{fig:TakeoBars:mean_time} دیده می‌شود، میانگین زمان موردنیاز تا همگرائی روش پیشنهادی کمتر از لوکاس-کاناد باشد.
\end{description}

میانگین خطای \lr{RMS} در هر دور برای دو الگوریتم در شکل \ref{fig:TakeoError} آورده شده است. از آنجا که که همهٔ اجراها روی یک تصویر خاص با اعوجاج تصادفی بوده است، میانگین‌گیری بر روی ۱۰۰۰ اجرا مشکلی ندارد. همانگونه که مشاهده می‌شود روش پیشنهادی عملکرد بهتری دارد. 
%------------------------- Takeo Errors 1000 runs
\begin{figure}[t]
\centering
\begin{minipage}[b]{.39\textwidth}
\centering
%\subfigure[Unbiased RMS Error.]{\label{fig:TakeoError:unbiasedRMS}
\includegraphics[height=60mm, width = 60mm]{Images_EURASIP/Takeo_mean_RMS_error.eps}
 \caption{میانگین خطای \lr{RMS} در هزار اجرا بر روی تصویر \lr{`Takeo'}} \label{fig:TakeoError}
\end{minipage}
\begin{minipage}[b]{.6\textwidth}
\centering \subfigure[تصویر ورودی با وضوح پایین و نویزبالا ($288\times196$).]{\label{fig:Afsaran:LR}
\includegraphics[height = 55mm]{Images_EURASIP/Kamandar_img.jpg}}%\hspace{5mm}
\subfigure[تصویر آموزشی ($288\times176$)]{\label{fig:Afsaran:HR}
\includegraphics[height = 55mm]{Images_EURASIP/Kamandar_tmplt.jpg}}
 \caption{تصاویر مورد استفاده در آزمایشات \SR} \label{fig:Afsaran}
\end{minipage}
\end{figure}

\subsubsection{نتایج مقایسه‌ای \SR }
کیفیت بصری تصویر نهائی تولید شده، لازمه‌ی اعتبارسنجی هر الگوریتم \SR است. 
در این قسمت با استفاده از تصاویر شکل \ref{fig:Afsaran} الگوریتم ثبت تصویر پیشنهادی و الگوریتم لوکاس-کاناد را در \SR بررسی خواهیم کرد. این دو الگوریتم در مرحلهٔ «دقیق‌تر نمودن مدل با استفاده از ثبت‌تصویر مبتنی بر ناحیه» در چارچوب مشخص شده در شکل  \ref{fig:OneLR_oneHR} بکار گرفته می‌شوند.
تصاویر شکل \ref{fig:Afsaran}  همان تصاویر شکل \ref{fig:Seamless_Katibeh} هستند، با این تفاوت که تصویر با وضوح پایین تحت تأثیر مقدار زیادی نویز قرار گرفته است. 


شکل \ref{fig:ExampleSimImages}  برخی نتایج میانی الگوریتم \ref{alg:LK-SSIM} را نشان می‌دهد. تصویر آموزشی و تصویر با وضوح پایین ورودی به ترتیب $T$ و $I$ در الگوریتم مذکور هستند. شکل \ref{fig:ExampleSimImages:IWxp}  وضعیت $\IWarp$ را در شروع الگوریتم نشان می‌دهد که $\warp$ حاصل مرحلهٔ ثبت تصویر مبتنی بر ویژگی است که در فصل \ref{Chap:CSICC2009} به تفصیل بیان شد. 
مقایسهٔ شکلهای \ref{fig:ExampleSimImages:rms_error_img1} و \ref{fig:ExampleSimImages:ssim_error_img1} نشان می‌دهد که $SDIS$ در عین حالیکه تفاوت‌های ساختاری دو تصویر را به خوبی نشان می‌دهد، نسبت به نویز تأثیر زیادی نپذیرفته است. دقت در تصاویر مذکور روشن می‌سازد  که ناحیهٔ بالا و سمت راست تصویر (قسمت بالایی نیزه) دقت کمتری در ثبت‌تصویر مبتنی بر ویژگی داشته است. همانگونه که مشاهده می‌شود نقشهٔ تفاوت ساختاری
(\ref{fig:ExampleSimImages:ssim_error_img1}) این موضوع را نسبت به تفاضل دو تصویر
(\ref{fig:ExampleSimImages:rms_error_img1}) بهتر نمایش می‌دهد. تصاویر
\ref{fig:ExampleSimImages:rms_error_img15} و
\ref{fig:ExampleSimImages:ssim_error_img15} خطاهای فوق‌الذکر را در آخرین دور حلقهٔ الگوریتم پیشنهادی نشان می‌دهند که میزان خطا کاهش یافته است.

%------------------------- rms error img, ssim error img, VIdwdp,...
\begin{figure}[t] \centering
\subfigure[$\IWarp$]{\label{fig:ExampleSimImages:IWxp}
\includegraphics[width = .23\columnwidth]{Images_EURASIP/IWxp.jpg}}\hspace{15mm}
\subfigure[تصویر آموزشی ($T$)]{\label{fig:ExampleSimImages:T}
\includegraphics[width = .23\columnwidth]{Images_EURASIP/tmplt.jpg}}\hspace{25mm}
\subfigure[خطای تفاضل تصویر، $\mathbf{T(x)}-\IWarp$ در شروع الگوریتم] {\label{fig:ExampleSimImages:rms_error_img1}
\includegraphics[width = .23\columnwidth]{Images_EURASIP/rms_error_img_1.jpg}}\hspace{1mm}
\subfigure[نقشهٔ تفاوت ساختاری دو تصویر در شروع الگوریتم]{\label{fig:ExampleSimImages:ssim_error_img1}
\includegraphics[width = .23\columnwidth]{Images_EURASIP/ssim_error_img_1.jpg}}\hspace{1mm}
\subfigure[خطای تفاضل تصویر، $\mathbf{T(x)}-\IWarp$ در پایان الگوریتم] {\label{fig:ExampleSimImages:rms_error_img15}
\includegraphics[width = .23\columnwidth]{Images_EURASIP/rms_error_img_15.jpg}}\hspace{1mm}
\subfigure[نقشهٔ تفاوت ساختاری دو تصویر در پایان الگوریتم]{\label{fig:ExampleSimImages:ssim_error_img15}
\includegraphics[width = .23\columnwidth]{Images_EURASIP/ssim_error_img_15.jpg}}
 \caption{برخی نتایج میانی الگوریتم پیشنهادی \lr{LK-SSIM}}
 \label{fig:ExampleSimImages}
\end{figure}

شکل \ref{fig:AfsaranSR} خروجی نهایی افزایش وضوح با استفاده از دو الگوریتم را نشان می‌دهد. گرچه که حداکثر تعداد مجاز تکرار ۱۵ درنظر گرفته شده بود، لیکن در نمایش نتایج، نتیجهٔ اجرای الگوریتم پیشنهادی در دور چهاردهم ذکر شده است تا هر دو الگوریتم زمان یکسانی برای اجرا داشته باشند. 
از آنجا که تفاوت خروجی‌ها در تصویر اخیر به روشنی دیده نمی‌شود، قسمتی از این دو تصویر بزرگ‌تر شده و در شکل 
\ref{fig:Katibeh_EURASIP} نشان داده شده است. خروجی بهتر شیوهٔ پیشنهادی با مقایسهٔ نواحیی که با کادر سفید مشخص شده‌اند نمایان‌تر است.

\begin{figure}[t]
\centering
\subfigure[\lr{LK} ]{ \label{fig:AfsaranSR:LK}
\includegraphics[width=55mm]{Images_EURASIP/Kamandar_blendXFus_FA.jpg}}
\hspace{2mm}
\subfigure[\lr{LK-SSIM}]{\label{fig:AfsaranSR:LK_SSIM}
\includegraphics[width=55mm]{Images_EURASIP/Kamandar_blendXFus_FA-SSIM.jpg}}
\caption[نتیجهٔ استفاده از الگوریتم‌های لوکاس-کاناد و الگوریتم پیشنهادی برای افزایش وضوح تصویر \ref{fig:Afsaran:LR} با استفاده از تصویر \ref{fig:Afsaran:HR}]{نتیجهٔ استفاده از الگوریتم‌های لوکاس-کاناد و الگوریتم پیشنهادی برای افزایش وضوح تصویر \ref{fig:Afsaran:LR} با استفاده از تصویر \ref{fig:Afsaran:HR}. بزرگ‌شدهٔ قسمتی از آنها برای مقایسهٔ بهتر در شکل 
\ref{fig:Katibeh_EURASIP} آمده است.}
\label{fig:AfsaranSR} %% label for entire figure
\end{figure}

\begin{figure}[h]
\centering
\subfigure[\lr{Replication}]{ \label{fig:Katibeh_EURASIP:Nearest}
\includegraphics[width=28mm]{Images_EURASIP/Kamandar_LR_Nearest_Cropped.jpg}}
%\hspace{2mm}
\subfigure[\lr{Bicubic}]{ \label{fig:Katibeh_EURASIP:Bicubic}
\includegraphics[width=28mm]{Images_EURASIP/Kamandar_LR_Cropped.jpg}}
%\hspace{2mm}
\subfigure[\lr{LK}]{ \label{fig:Katibeh_EURASIP:LK}
\includegraphics[width=28mm]{Images_EURASIP/Kamandar_XFus_FA_Cropped.jpg}}
%\hspace{2mm}
\subfigure[\lr{LK-SSIM}]{\label{fig:Katibeh_EURASIP:LK_SSIM}
\includegraphics[width=28mm]{Images_EURASIP/Kamandar_XFus_FA-SSIM_Cropped.jpg}}
\caption[بزرگ‌شدهٔ قسمتی از نتایج روشهای مختلف]{بزرگ‌شدهٔ قسمتی از روشهای \lr{replication}، \lr{bicubic} و روش ذکر شده در شکل \ref{fig:OneLR_oneHR}
که قسمت دقیق‌تر نمودن نگاشت آن با استفاده از الگوریتم‌های لوکاس-کاناد \lr{(LK)} یا الگوریتم پیشنهادی \lr{(LK-SSIM)} صورت پذیرفته است.}
\label{fig:Katibeh_EURASIP} %% labesl for entire figure
\end{figure}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% LM
\section{استفاده از بهینه‌سازی لونبرگ مارکورت}


در رابطهٔ \eqref{eq:SDIS_Hessian} بخش قبل، ماتریس $H$ در واقع تقریب مرتبه‌ی اول ماتریس هسین است. از آنجا که محاسبه‌ی ماتریس کامل هسین زمانبر است، معمولاً تقریب‌های مختلفی از آن در روشهای مختلف بهینه‌سازی استفاده می‌شود.
 در فرم لونبرگ-مارکورت\LTRfootnote{Levenberg-Marquardt} مورد نظر در این بخش از تقریب قطری زیر استفاده خواهیم کرد:
\begin{align}
H_{Diag}=
  \sum_x \left(%
\begin{array}{cccc}
  (\nabla I\roundB{W}{p_1})^2 & 0 & \cdots & 0 \\
  0 & (\nabla I\roundB{W}{p_2})^2 & \cdots & 0 \\
  \vdots & \vdots & \ddots & \vdots \\
  0 & 0 & \cdots & (\nabla I\roundB{W}{p_8})^2 \\
\end{array} \label{eq:HessianDiag}
\right)
\end{align}
با استفاده از \eqref{eq:SDIS_Hessian} و \eqref{eq:HessianDiag}، ماتریس هسین تقریبی برای بهینه‌سازی با روش لونبرگ-مارکورت را به صورت زیر خواهیم داشت:
\begin{equation}\label{eq:SDIS_HessianLM}
   H_{LM} = \sum_xE_{SDIS}.[\nabla I\roundB{W}{p}]^T[\nabla I\roundB{W}{p}] + \delta H_{Diag}%\nonumber
\end{equation}
%در بهینه‌سازی با روش ، ماتریس هسین که آنرا با $H_{LM}$ نشان خواهیم داد به صورت زیر تعریف می‌شود:
به این ترتیب ماتریس $H$ در رابطه‌ی \eqref{eq:SDIS_deltap} را با $H_{LM}$ در رابطه‌ی \eqref{eq:SDIS_HessianLM} جایگزین نموده و رابطه‌ی زیر را برای بروزرسانی پارامترهای مدل خواهیم داشت:
\begin{align}
     \triangle\mathbf{p}=\label{eq:SDIS_deltapLM} 
	 H_{LM}^{-1} \sum_xE_{SDIS}.[\nabla I\roundB{W}{p}]^T[T(\mathbf{x})-\IWarp] 
\end{align}
الگوریتم پیشنهادی شیوه‌ی ثبت تصویر مبتنی بر بهینه‌سازی لونبرگ-مارکورت و معیار $SSIM$ و روابط فوق در الگوریتم \ref{alg:LK-SSIM-LM} آمده است.

\begin{algorithm}[t]
\caption{الگوریتم ثبت تصویر پیشنهادی، مبتنی بر بهینه‌سازی لونبرگ-مارکورت و معیار شباهت ساختاری $SSIM$ \lr{(LK-SSIM-LM)}
} \label{alg:LK-SSIM-LM}
\begin{latin}
\begin{algorithmic}[1]
\REQUIRE The reference image $I$ and template image $T$.
\ENSURE Registration parameters $\mathbf{p}=(p_1,\dots,p_n)^T$ as the warp model $\warp$.
  \STATE  Initialize $\delta$ = 0.01.
  \STATE  Compute the gradient $\nabla I$ of $I(\mathbf{x})$.
  \STATE  Warp $I$ with $\warp$ to compute $\IWarp$.
  \STATE  Compute the error $e=\sum_x [T(x)-\IWarp]^2$
\REPEAT
  \STATE  Compute the $SDIS$ map error image of $T(x)$ and $\IWarp$, based on \eqref{eq:SSIM}, \eqref{eq:SDISneg}.
  \STATE  Warp the gradient $\nabla I$ with $\warp$. 
  \STATE  Evaluate the Jacobian $\roundB{W}{p}$ at $(\mathbf{x;p})$. 
  \STATE  Compute the steepest descent images $\nabla I\roundB{W}{p}$. 
  \STATE  Compute $H_{LM}$ matrix using Equation \eqref{eq:SDIS_HessianLM}. 
  \STATE  Compute $\triangle\mathbf{p}$ using Equation \eqref{eq:SDIS_deltapLM}.\label{alg:LK-SSIM-LM:deltap}
  \STATE  Update the parameters $\mathbf{p}\leftarrow\mathbf{p}+\triangle\mathbf{p}$ \label{line:updatep}
  \STATE  Re-compute $\IWarp$.
  \STATE  Compute the new error $e^*$:\\$e^*=\sum_x [T(x)-\IWarp]^2$ \label{line:computeNewError}
  \STATE  \textbf{If} $e<e^*$ then $\delta\leftarrow\delta\times10$, undo Steps \ref{line:updatep}--\ref{line:computeNewError}; \\
			\textbf{else} $\delta\leftarrow\delta/10$, $e\leftarrow e^*$.
\UNTIL{$||\triangle\mathbf{p}||\leq\epsilon$ or Reaching to Maximum Iteration allowed}
\end{algorithmic}
\end{latin}
\end{algorithm}


\subsection{نتایج پیاده‌سازی}
شیوه‌ی پیشنهادی  با شیوه‌ی اصلی %لوکاس-کاناد
\cite{Lucas81iterative} در الگوریتم \ref{alg:LK-GN} (\lr{LK-GN}) و شیوه‌ی لوکاس-کاناد با روش بهینه‌سازی لونبرگ-مارکورت\citep{Szeliski96video} (\lr{LK-LM})، از نظر میانگین تعداد تکرار تا همگرائی و میانگین خطا (\LTRfootnote{Root Mean Square}\lr{RMS}) و در مقادیر مختلف نویز مقایسه شده است. ماهیت تصادفی الگوریتم \lr{RANSAC} موجب می‌شود که در هر اجرا تخمینی متفاوت با اجرای دیگر داشته باشیم. لذا هر آزمایش را می‌توان جدا از دیگری دانست. 

\subsection{نتایج مقایسه‌ای ثبت تصویر}
هر سه شیوه‌ی فوق‌الذکر برای تصاویر شکل\ref{fig:Seamless_Katibeh} و در نرخ سیگنال به نویز\LTRfootnote{Signal to Noise Ratio (SNR)} برابر با 70،50،30،10 و 90 \lr{dB} از تصویر با وضوح پایین اجرا شده‌اند. هر الگوریتم در هر \lr{SNR} 20 مرتبه اجرا شده است. 

شکل \ref{fig:RMS} میانگین مربعات خطا را در هر دور از الگوریتم‌های 1و2 برای سه روش فوق‌الذکر در یک اجرای نمونه نشان می‌دهد. روش پیشنهادی با \lr{LKSSIM-LM} مشخص شده است. حداکثر تعداد تکرار 15 درنظر گرفته شده بوده است. همانگونه که دیده می‌شود روش پیشنهادی از همگرائی سریعتری نسبت به هر دو شیوه‌ی دیگر برخوردار است. 

شکل \ref{fig:Conv_Iter} میانگین تعداد تکرارها تا همگرا شدن را برای هر سه روش فوق و در مقادیر مختلف نویز نشان می‌دهد. در هیچ یک از آزمایشات روی این تصاویر، روش \lr{LK} واگرا نشده بود. 
%منظور ما از تعداد تکرار مورد نیاز تا همگرائی، تعداد تکرار مورد نیاز الگوریتم تا زمانی است که میزان کاهش \lr{RMS} به 85 درصد کاهش \lr{RMS} الگوریتم \lr{LK} در آخرین دورش برسد. 

%-------------------------  Bars 1000 runs
\begin{figure}[t]
\centering
\begin{minipage}[c]{.6\textwidth}
\centering 
\includegraphics[height=60mm]{Images_ICEE09_fa/Afsaran_rms_error_10_dB.eps}%height=50mm,
\caption{میانگین \lr{RMS} برای \lr{SNR}  برابر با 10 \lr{dB}}
\label{fig:RMS}
\end{minipage}
\begin{minipage}[c]{.39\textwidth}
\centering
\includegraphics[ width = 1\columnwidth]{Images_ICEE09_fa/Afsaran_mean_conv_iter.eps}%height=50mm,
\caption{ میانگین تعداد تکرار مورد نیاز تا همگرائی.}
\label{fig:Conv_Iter}
\end{minipage}
\end{figure}

\subsection{کاربرد در وضوح برتر}
 مقایسه‌ی تصاویر شکل \ref{fig:Katibeh} که بزرگ‌شدهٔ قسمتی از نتایج شیوه‌های مختلف هستند، کیفیت برتر شیوه‌ی پیشنهادی را به خوبی نشان می‌دهد. به عنوان روش \fusion در روش پیشنهادی در این بخش از روش ارائه شده در فصل \ref{Chap:fusion} استفاده شده است. ناپدید شدن درز در نواحی مرزی و دقیق‌تر بودن نگاشت در شیوه‌ی پیشنهادی مشخص است.
 
 همانگونه که مشاهده می‌شود ورودی و خروجی‌های ما تصاویر رنگی هستند. برخی از عملیات الزاماً روی فرم سطح خاکستری آنها انجام شده و نتیجه‌ی عملیات روی تمام باندهای \lr{RGB} تصویر اعمال شده یا در فضای رنگ \lr{HSV} عملیات تکمیل شده‌اند. 
\RTLfootnote{ تصاویر مورد استفاده در این فصل، نتایج نهایی و برخی از نتایج میانی از آدرس زیر قابل برداشت است:\\
\lr{http://webpages.iust.ac.ir/mamintoosi/DataSets/ICEE09.zip \hfill}}

هدف اصلی از انجام این آزمایشات نشان دادن کارائی شیوهٔ ثبت تصویر پیشنهادی در مقابل شیوهٔ معروف لوکاس-کاناد و استفاده از آن در \SR بود. مقایسهٔ دو الگوریتم پیشنهادیِ \lr{LK-SSIM} و \lr{LK-SSIM-LM} به صورت مفصل در فصل بعد و در کاربرد در ویدئو انجام خواهد شد.

\begin{figure}[t]
\centering 
%\subfigure[روش بزرگنمائی \lr{Replication}]{ \label{fig:Katibeh:Nearest}
%\includegraphics[width=.4\textwidth]{Images_ICEE09_fa/Kamandar_LR_Nearest_Cropped.jpg}}
%\hspace{2mm}
\subfigure[روش بزرگنمائی \lr{Bicubic}]{ \label{fig:Katibeh:Bicubic}
\includegraphics[width=.4\textwidth]{Images_ICEE09_fa/Kamandar_LR_Cropped.jpg}}
\hspace{2mm}
\subfigure[روش  ارائه شده در \cite{Freeman02example}]{ \label{fig:Katibeh:Freeman}
\includegraphics[width=.4\textwidth]{Images_ICEE09_fa/Kamandar_Freeman_Cropped.jpg}}
\hspace{2mm}
\subfigure[روش  ارائه شده در \cite{Amintoosi08reconstruction}]{ \label{fig:Katibeh:Fustruction}
\lr{\includegraphics[width=.4\textwidth]{Images_ICEE09_fa/Kamandar_Fustruction_Cropped.jpg}}}
\hspace{2mm}
\subfigure[روش  پیشنهادی در این بخش]{\label{fig:Katibeh:AreaBasedXFus}
\includegraphics[width=.4\textwidth]{Images_ICEE09_fa/Kamandar_blendXFus_Fa-LM-SSIM_Cropped.jpg}}

\caption[بزرگ شده‌ی قسمتی از نتیجه‌ی اجرای شیوه‌های مختلف]{بزرگ شده‌ی قسمتی از نتیجه‌ی اجرای شیوه‌های مختلف برای افزایش وضوح شکل \ref{fig:Seamless_Katibeh:LR}. دقیق‌تر بودن مدل در شیوه‌ی پیشنهادی نسبت به شیوه‌ی ذکر شده در \cite{Amintoosi08reconstruction} که فاقد ثبت تصویر مبتنی بر ناحیه است از مقایسه‌ی قسمت بالای نیزه در تصاویر مربوطه مشخص است.}
\label{fig:Katibeh} %% label for entire figure
\end{figure}

\section{جمع‌بندی}\label{Sec:Conclusion}
در فصل \ref{Chap:CSICC2009} شیوه‌ای جدید برای افزایش وضوح یک تصویر با استفاده از یک تصویر آموزشی ارائه شد که در فصل‌ حاضر به رفع مشکلاتی از آن پرداخته شد. استفاده از یک روش ثبت تصویر مبتنی بر ناحیه به منظور دقیق‌تر شدن مدل نگاشت تصاویر و حذف مرزهای تصاویر با یک روش همرنگ‌سازی بدون درز مراحلی هستند که در کار قبلی انجام نشده بودند. نوآوری اصلی این فصل لحاظ کردن معیار شباهت ساختاری دو تصویر در فرمولبندی شیوه‌ی معروف ثبت تصویر لوکاس-کاناد و استفاده از آن در وضوح برتر می‌باشد. نتایج پیاده‌سازی‌های انجام شده برتری شیوه‌ی ثبت تصویر پیشنهادی را در مقایسه با دو روش دیگر و همچنین کارائی آنرا در مسئله‌ی وضوح برتر در مقایسه با برخی از دیگر روشها نشان داده است.

%\end{comment}