\chapter{افزايش وضوح در ويدئو}\label{Chap:video}
\begin{comment}
در اين فصل بايد مقالات زير را توضيح دهم:
\begin{itemize}
\item \LRE{\lr{\citealp*{Amintoosi08reconstruction}}}
\item \LRE{\lr{\citealp*{Amintoosi09video}}}
\item \LRE{\lr{\citealp*{Amintoosi09videoSR}}}, \lr{Submitted}
\item \LRE{\lr{\citealp*{Amintoosi09recsynVideo}}}, \lr{Submitted}
\end{itemize}

\end{comment}

%\section{مقدمه}

%\textpook{باید ریاضیات نحوه استفاده از ماسکهای دستی را در جایی ذکر کنم.}

در این فصل نحوهٔ استفاده از شیوه‌های پیشنهادی فصول قبلی در ویدئو بیان خواهد شد \footnote{مطالب این فصل در مقالات \cite{Amintoosi08reconstruction,Amintoosi09video,Amintoosi09videoSR} و \cite{Amintoosi09recsynVideo} منتشر شده است.}.
روش پیشنهادی در قالب یک الگوریتم اولیه ارائه شده و به تدریج کامل‌تر خواهد شد. در هر مرحله، نتایج پیاده‌سازیها ذکر خواهد گردید.

به لحاظ مفروضات مسئلهٔ ما از جمله داشتن فیلم با وضوح پایین و تصاویر آموزشی با وضوح بالا از صحنه و همچنین نیاز به نسخهٔ با وضح بالای فیلم جهت مقایسات کمّی، داده‌های موجود در پایگاه داده‌های \SR مناسب نیستند.
  \cite{Farsiu05thesis} مثالهای متنوعی را روی وب سایت خود\LTRfootnote{\url{http://www.ee.ucsc.edu/\~milanfar} } قرار داده‌اند که فقط شامل فیلم‌های با وضوح پایین است. \cite{Pham06thesis} از برخی فیلم‌های معمول مورد استفاده در فشرده‌سازی استفاده نموده است که محدودیت وجود اشیاء بزرگ غیرصلب در ویدئو در روش پیشنهادی ما، مانع از استفاده از آنها می‌شود. 
\cite{Kondo07example}  از تصاویر آموزشی اینترنتی استفاده کرده است که امکان نگاشت پروجکتیو کل تصویر بر روی فریم را ندارند. \cite{Freeman02example} مبتنی بر تصویر و فاقد ویدئو می‌باشد. 
به علاوه از آنجا که در روشهای \SR حتماً باید مختصر جابجایی نسبت به هم داشته باشند، دادگان مورد استفاده در سایر مقوله‌های پردازش تصویر همچون شناسائی زمینه که عموماً دوربین ثابت است، قابل استفاده نمی‌باشند.

همچنین از آنجا که مقایسهٔ بصری خروجی روشهای مختلف امری معمول - و اگر نگوییم الزامی - در ادبیات \SR است، باید تصاویر و فیلم‌‌هایی مورد استفاده قرار گیرند که شامل مناطقی باشند که افزایش وضوح آنها قابل رؤیت باشد.
لذا فراهم نمودن پایگاه‌داده‌ای مخصوص لازمه انجام آزمایشات بود. چنین مشکلی در فصول قبل نیز وجود داشت که تصاویر مورد استفاده و خصوصیات آنها ذکر شد. در این فصل علاوه بر تصاویر آموزشی، نیاز به ذکر مشخصات ویدئوی اصلی، چگونگی تولید ویدئوی با وضوح پایین از روی آن نیز هست.

به لحاظ آنکه در قسمتهای مختلف این فصل از مجموعه دادگان فراهم شده در این رساله استفاده خواهد شد در ابتدا مشخصات این مجموعه دادگان (جدول \ref{tab:SequenceDescriptionTable}) را به اختصار بیان خواهیم کرد و پس از آن راهکارهای پیشنهادی ارائه خواهد شد.

%\begin{comment}
\begin{sidewaystable}
\centering
\begin{tabular}{|c|c|c|c|c|c|}
\hline
  		&	 \lr{LSMS Closing}	& 	\lr{Tehran Park}			&	\lr{LSMS Opening}		 	& 	\lr{Tokyo} 					&		 \lr{Shanghai Garden} 	\\ 
\hhline{|======|}
 فریم‌ها: 	&	4		&				60					&					150						&					60				&				86			\\
\rotatebox{90}{\mbox{اولین ‌فریم ویدئو}} &\includegraphics[width=.17\textwidth]{Images_Video_LM/Closing_LR.JPG}
									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Tehran_Park_0000.JPG}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/LSMS_Opening_0000.jpg}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Tokyo_0000.jpg}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Shanghai_Garden_0001.jpg}\\	
 	& 	1024$\times$768 	& 	720$\times$576 	&		 320$\times$240			& 	640$\times$480 	&		 160$\times$112		\\
		& \lr{Sony DSC-W30}	&\lr{Panasonic NV-GS75}&	\lr{Sony DSC-T100} 			& \lr{Sony	HDR-SR12E}				& \lr{Sony DSC-W30}\\
\hline 									
\rotatebox{90}{\mbox{‌فریم با وضوح‌پایین}}	&\includegraphics[width=.17\textwidth]{Images_Video_LM/Closing_LR_1.JPG}
									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Tehran_Park_0000_snr20.JPG}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/LSMS_Opening_0000_snr20.jpg}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Tokyo_0000_snr20.jpg}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Shanghai_Garden_0001_snr20.jpg}\\
& 	256$\times$192 	& 	360$\times$288 	&		 320$\times$240			& 	320$\times$240 	&		 160$\times$112		\\
نویزی 		& خیر					&بله					&					بله						&					بله				&		بله			\\
\hline
\rotatebox{90}{\mbox{تصویر آموزشی}}	&\includegraphics[width=.17\textwidth]{Images_Video_LM/Closing_HR.JPG}
				&\includegraphics[width=.17\textwidth]{Images_Video_LM/Tehran_Park_THR.JPG}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/LSMS_Opening_THR.jpg}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Tokyo_THR.jpg}
 									&\includegraphics[width=.17\textwidth]{Images_Video_LM/Shanghai_Garden_THR.jpg}\\	
 	& 	1024$\times$768 & 	720$\times$576 	&		 740$\times$380			& 	640$\times$480 	&		 816$\times$612		\\
		& \lr{Sony DSC-W30}				&\lr{Panasonic NV-GS75}&	\lr{Sony DSC-W30} 			& \lr{Sony HDR-SR12E}			& \lr{Sony DSC-W30}\\
م.د.و 	&				خیر	&			بله			&				خیر			&				خیر		&				خیر	\\ %\tnote{a}
\hline
\end{tabular} 
\caption{مشخصات ویدئوها و تصاویر مورد استفاده در این فصل} \label{tab:SequenceDescriptionTable}
\end{sidewaystable}

%\end{comment}

\section{مجموعه دادگان مورد استفاده}

 در جدول \ref{tab:SequenceDescriptionTable} خصوصیات دوربین و سایر مشخصات تصاویر و ویدئوهای مورد استفاده در پیاده‌سازیهای انجام شده در این فصل آمده است
\LTRfootnote{\url{http://webpages.iust.ac.ir/mamintoosi/Research/Video\_Enhancement/}}
 . اندازه هر تصویر یا فریم و دوربین مورد استفاده برای اخذ آن در ذیل هر یک ذکر آمده است. از آنجا که در نمودارهای مقایسه‌ای از عبارات لاتین برای نام هر مجموعه استفاده شده است، نام‌ها به صورت انگلیسی ذکر شده‌اند. کاهش ابعاد، فشرده‌سازی \lr{JPEG} و یا افزودن نویز عملیاتی هستند که در تولید ویدئوی با کیفیت یا وضوح پایین‌تر از روی دنباله تصاویر اصلی استفاده شده‌اند و با مراجعه به جدول مذکور نوع عملیات مشخص می‌گردد. 
آخرین سطر جدول که به صورت «م.د.و.» نشان داده شده و مخفف «موجود بودن در ویدئو» می‌باشد، بیانگر این مطلب است که آیا تصویر آموزشی در دنباله تصاویر ویدیوئی بوده است یا خیر.

همه فیلم‌ها در مجموعه تصاویر و فیلم‌های ذکر شده در جدول \ref{tab:SequenceDescriptionTable} واقعی هستند، به‌جز دنباله تصاویر ۴ فریمی \lr{LSMS Closing} که با عملیات کاهش اندازه، دوران و شیفت از روی یک تصویر با زاویه و زمان اخذ متفاوت از تصویر آموزشی حاصل شده است. برخلاف تصاویر مورد استفاده در فصول قبل در این مورد، به دلیل وجود اشیاء متحرک، تصویر آموزشی کل فریم ورودی را نمی‌پوشاند و  برای ترکیب نیازمند ماسکی هستیم که اشیاء متحرک را مورد لحاظ قرار دهد. ماسک مورد استفاده برای این مورد و \lr{Shangahi Garden} به صورت دستی و برای سایر مجموعه‌ها به صورت خودکار تولید شده است. 

در هر ویدئو -به جز ویدئوی ساختگی- دو نوع حرکت را داریم: حرکت ناشی از تکان دست در هنگام فیلمبرداری و حرکت اشیاء متحرک. مجموعه دادگان تهیه شده طیف مختلفی از صحنه‌‌ها شامل فضاهای بیرونی و داخلی، با و بدون نویز، در اندازه‌های مختلف و اخذ شده با دوربین‌های مختلف را شامل می‌شود.
ضریب افزایش وضوح، میزان افزودن نویز و برخی از دیگر پارامترها ممکن است در آزمایشات مختلف متفاوت باشند که در هر آزمایشی پارامترهای مورد استفاده ذکر خواهد شد.


\section{افزایش هر وضوح تک فریمی با وجود اشیاء متحرک}
در این بخش روش ارائه شده در فصل \ref{Chap:CSICC2009} روی هر فریم به صورت مجزا اعمال شده، مشکلات اولیهٔ بکارگیری این شیوه در ویدئو بیان خواهد شد. 

روشهای مختلف افزایش وضوح می‌توانند با استفاده از یک ''پنجرهٔ لغزان\LTRfootnote{Sliding Window}`` در ویدئو بکارگرفته شوند (شکل \ref{fig:sliding_window}). تعداد فریم‌ها در هر پنجره متناسب با روش مورد استفاده و ضریب بزرگنمایی انتخاب می‌شود. به عنوان مثال برای ضریب بزرگنمایی ۲ و روش بازسازیِ درونیابی یا \lr{IBP}، اندازه پنجره ۴ انتخاب می‌شود. 
\begin{figure}[t]
\centering
\includegraphics[width=.8\textwidth]{D:/Thesis/Amintoosi_thesis/fig/Video_SR_Model1.pdf}
\caption[شیوهٔ ''پنجرهٔ لغزان`` برای وضوح برتر در ویدئو]{شیوهٔ ''پنجرهٔ لغزان`` برای وضوح برتر در ویدئو \citep{Borman04thesis}.}\label{fig:sliding_window}
\end{figure}

در این بخش اندازه پنجرهٔ لغزان یک درنظر گرفته ‌شده است.  کلیات نحوهٔ اعمال شیوهٔ مذکور برای ویدئو در الگوریتم \ref{alg:IPCV09_VideoEnhacement}  آمده است، که برای سنتز تصویر از روش ارائه شده در فصل \ref{Chap:CSICC2009} استفاده شده است. در چارچوب نشان داده شده در شکل \ref{fig:CSICC2009_OneLR_manyHR} از چند تصویر آموزشی استفاده شده است که در اینجا برای سادگی فقط از یک تصویر آموزشی استفاده خواهد شد.

در روش ارائه شده در فصول قبل، تصاویر آموزشی بیانگر ناحیه‌ای از تصویر با وضوح پایین بودند و به جز تفاوتهایی به لحاظ زاویه دید، رنگ، وضوح و شدت روشنایی اختلافی دیگری بین آنها نبود. وضعیتی مانند وجود یک شیئ  در تصویر ورودی، که در تصویر آموزشی نباشد را شاهد نبودیم. لیکن چنین حالتی در یک ویدئو بسیار محتمل است. در الگوریتم ارائه شده این مسئله مورد لحاظ قرار گرفته است. 

ماسک $M1$ در خط \ref{line:IPCV09_maskM1}  الگوریتم \ref{alg:IPCV09_VideoEnhacement} بیانگر نواحی حاوی اشیاء متحرک $i$امین فریم است. ماسک $M2$ بیانگر آن نواحی از تصویر ورودی است که توسط تصویر آموزشی پوشانده نمی‌شوند. در آخرین مرحله برای سنتز هر فریم، تصویر آموزشی نگاشت شده و تصویر بزرگ شدهٔ ورودی با الگوریتم \ref{alg:the_proposed_fusion_method}  با هم ترکیب می‌شوند. ماسک $R$ از نتیجه تلفیق دو ماسک $M1$ و $M2$ بدست آمده است.

به منظور شناسائی اشیاء متحرک، دو روش مورد استفاده قرار گرفته است:
\begin{enumerate}
\item ایجاد ماسک به صورت دستی، اگر یک ناحیهٔ خاص از فریم‌های ورودی، شامل اشیاء متحرک باشند، می‌توان این منطقه را به صورت دستی در اولین فریم مشخص نمود. اگر پارامترهای ثبت‌تصویر بین تصاویر $(i-1)$ام و $i$ام مشخص باشد (وضعیتی که در الگوریتم بعد خواهیم داشت)، ماسک مربوط به فریم $i$ام با نگاشت ماسک مربوط به فریم $i-1$ام و با استفاده از پارامترهای مذکور و با لحاظ کردن ضریب بزرگ‌نمایی قابل حصول خواهد بود. 
\item روش معمول تفاضل و آستانه‌گیری، که مابین تصویر ورودیِ $g^{(i)}$ و نگاشت شدهٔ تصویر آموزشی $T$ بر روی مختصات فریم ورودی، ($T(\warp)$) بوده است. 
\end{enumerate}

%نمونه‌هایی از ماسک‌های مورد استفاده را در ادامه شاهد خواهیم بود.

\begin{algorithm}[t]
\caption{الگوریتم بهبود وضوح هر فریم ویدیوئی با وجود اشیاء متحرک در صحنه.} \label{alg:IPCV09_VideoEnhacement}
\begin{latin}
\begin{algorithmic}[1]
\REQUIRE LR video frames $g^{(1)},\dots,g^{(n)}$, HR training image $T$, magnification factor $r$.\\
\ENSURE HR video frames $f^{(1)},\dots,f^{(n)}$.
  %\STATE Resize the HR image with factor $1/scale$, based on the proposed algorithm in \cite{Amintoosi09regional}.
  \STATE Find the SIFT key-points of HR training image.
  \FOR{$i=1$ to $n$}
  \STATE Select the next LR frame $g^{(i)}$,
  \STATE Resize $g^{(i)}$, with magnification factor $r$, for producing an image with desired number of pixels
  \STATE Find SIFT key-points of this resized LR image,
  \STATE Remove outliers and estimate the transformation model $(\warp)$,
  \STATE Tune the warp model by Lucas-Kanade registration algorithm,% \cite{Baker04lucas-kanade20part1}.
  \STATE Warp $T$ based on $\warp$ onto coordinate frame of $g^{(i)}$, $(T(\warp))$,
  \STATE Create mask $M1$ for detecting moving objects. \label{line:IPCV09_maskM1} %by thresholding of subtraction of $g^{(i)}$ and $T(\warp)$
  \STATE Create mask $M2$ by indicating those regions of $g^{(i)}$ which are not mapped by $T(\warp)$, \label{line:IPCV09_maskM2}
  \STATE $R = M1 \& M2$,
  \STATE Produce $f^{(i)}$ by fusion of $g^{(i)}$ and $T(\warp)$ according to mask $R$
        with the seamless blending approach (Algorithm \ref{alg:the_proposed_fusion_method}) proposed in Chapter \ref{Chap:fusion}.\label{line:IPCV09_fusion} %\cite{Burt83multiresolution}.
  \ENDFOR
\end{algorithmic}
\end{latin}
\end{algorithm}

\subsection{نتایج پیاده‌سازی‌ها}

شکل \ref{fig:IPCV09_testImages} اولین فریم ورودی و تصویر آموزشی از تصاویر مربوط به پارک جمشیدیهٔ تهران را نشان می‌دهد ( خصوصیات دوربین و سایر مشخصات تصاویر و ویدئوی مربوطه به نام \lr{Tehran Park} در جدول \ref{tab:SequenceDescriptionTable} آمده است). شکل  \ref{fig:IPCV09_intermediateImages:im1Transformed} نگاشت شدهٔ  تصویر آموزشی بر روی مختصات اولین فریم ورودی و شکل  \ref{fig:IPCV09_intermediateImages:mask} ماسک مورد استفاده در ترکیب دو تصویر را نشان می‌دهد. مناطق سیاه در ترکیب لحاظ نمی‌شوند:
\begin{itemize}
\item نوارهای سیاه سمت راست و پایین ماسک به خاطر حرکت دست و شیفت تصویر آموزشی نسبت به فریم ویدیوئی ایجاد شده‌اند (مربوط به ماسک $M2$)،
\item ناحیهٔ سیاه پایین سمت چپ، مربوط به حرکت آب در آبشار است، 
\item ناحیه بالا سمت چپ، نوک شاخه‌های درختان و
\item ناحیهٔ میانی و سمت راست اثر حرکت بچه‌ها می‌باشد.
\item ناحیهٔ پایین سمت راست، اثر پدیده پارالاکس است.
\end{itemize}


\begin{figure}%[t]
\centering
\subfigure[ بزرگ شدهٔ اولین فریم ورودی($g^{(1)}$)]{ \label{fig:IPCV09_testImages:LR}
\includegraphics[width=.47\columnwidth]{Images_IPCV09/001.jpg}}
%\hspace{2mm}
\subfigure[تصویر آموزشی ($T$)]{ \label{fig:IPCV09_testImages:HR}
\includegraphics[width=.47\columnwidth]{Images_IPCV09/22.jpg}}
%\hspace{2mm}
\caption{اولین فریم ورودی و تصویر آموزشی.}\label{fig:IPCV09_testImages}
\end{figure}

\begin{figure}
\centering
\subfigure[$T(\warp)$]{ \label{fig:IPCV09_intermediateImages:im1Transformed}
\includegraphics[width=.47\columnwidth]{E:/Data/My_SR_Data/Tehran_Park/temp/Im1Transformed.jpg}}
%\hspace{2mm}
\subfigure[ماسک $R$]{ \label{fig:IPCV09_intermediateImages:mask}
\includegraphics[width=.47\columnwidth]{E:/Data/My_SR_Data/Tehran_Park/temp/maskForMovingObjects.jpg}}
%\hspace{2mm}
\caption{برخی تصاویر میانی، (الف):نگاشت تصویر آموزشی $T$ بر روی مختصات فریم $g^{(1)}$.
(ب): ماسک تولید شده با روش تفاضل‌گیری}  \label{fig:IPCV09_intermediateImages}
\end{figure}

 شکل \ref{fig:IPCV09_Jamshidiyeh} بزرگ شدهٔ قسمتی از نتایج روشهای مختلف را برای مقایسه نشان می‌دهد. همانگونه که دیده می‌شود روش پیشنهادی خروجی بهتری دارد. مقایسات کمی در روش اصلاح شده بعدی انجام پذیرفته است.
 
 
\begin{figure}%[t]
\centering \subfigure[\lr{Nearest}]{\label{fig:IPCV09_Jamshidiyeh:Nearest}\includegraphics[height=73mm]{Images_IPCV09/22_ARim2Nearest_Cropped.jpg}}
\hspace{3mm}
\centering \subfigure[\lr{Bicubic}]{\label{fig:IPCV09_Jamshidiyeh:Bicubic}\includegraphics[height=73mm]{Images_IPCV09/22_ARim2Bicubic_Cropped.jpg}}
\hspace{3mm}
\subfigure[\cite{Freeman02example}]{\label{fig:IPCV09_Jamshidiyeh:Freeman}\includegraphics[height=73mm]{Images_IPCV09/22_ARFreeman_Cropped.jpg}}
\hspace{3mm}
\subfigure[روش ارائه شده در الگوریتم \ref{alg:IPCV09_VideoEnhacement}]{\label{fig:IPCV09_Jamshidiyeh:AreaBased_XFus} \includegraphics[height=73mm]{Images_IPCV09/AreaBased_XFus_Cropped.jpg}}
\caption{بزرگ شدهٔ قسمتی از نتایج روشهای مختلف %\ref{fig:IPCV09_testImages:LR} using training HR image \ref{fig:IPCV09_testImages:HR}
.} \label{fig:IPCV09_Jamshidiyeh}
\end{figure}

\section{سنتز هر فریم پس از بازسازی}
در الگوریتم ارائه شده در بخش قبل، فقط از اطلاعات تصویر با وضوح بالای آموزشی استفاده شد. آن نواحی از فریم ورودی که توسط تصویر آموزشی پوشانیده نمی‌شوند بدون تغییر باقی می‌مانند. راه حل پیشنهادی در این بخش برای این نواحی،  اتخاذ شیوهٔ «پنجرهٔ لغزان»، استفاده از یک روش معمول بازسازی در وضوح برتر برای هر پنجره، و سپس نگاشت تصویر آموزشی بر روی خروجی مرحلهٔ بازسازی می‌باشد. از آنجا که در این شیوه ابتدا بازسازی و سپس سنتز را داریم، آنرا «بازسازی+سنتز» خواهیم نامید.
 
 شیوهٔ پیشنهادی که مبتنی بر روش بخش قبل است در الگوریتم \ref{alg:RecSyn_VideoEnhacement} آمده است.
روابط مربوط به بازسازی تصویر که در مقدمه اشاره شد را برای یادآوری ذکر می‌کنیم.
فرض کنید:
\begin{itemize}
\item $\underline{X}$ با اندازه‌ی $[r^2M^2\times 1]$)، تصویرِ با \HR ی نهایی،
\item $\underline{Y}_k$،  $k^{th}$ تصویرِ با\LoR ورودی،
\item $r$ ضریب افزایشِ \res
\item ماتریس $F_k$ با اندازه‌ی $[r^2M^2\times r^2M^2]$ بیانگر عملگر حرکت هندسیِ بین تصویرِ با\HR ی   $\underline{X}$ 
 و $k^{th}$ تصویر با\LoR  ورودی $\underline{Y}_k$ ،
\item $H$ با اندازه‌ی $[r^2M^2\times r^2M^2]$ بیانگر تابع پخش نقطه‌ایِ دوربین\LTRfootnote{The camera's point spread function (PSF)}،
\item $D$ با اندازه‌ی $[M^2\times r^2M^2]$ عملگر نمونه‌بردار\LTRfootnote{Decimation Operator}،
\item $V$ با اندازه‌ی $[M^2\times 1]$ نمایشگر نویز سیستم و 
\item $N$ تعداد تصاویر با\LoR ورودی 
\end{itemize}
باشند. %\RTLfootnote{ متغیرهای زیرخط دار فرم ستونی شده‌ی ماتریس تصویر می‌باشند.} 

مدل مشاهده را می‌توان به صورت زیر داشت:
%{rearranged in lexicographic order}.

\begin{equation}
 \underline{Y}_k = DHF_k \underline{X}+ \underline{V}_k ,\quad
    k=1,\ldots,N
\end{equation}

فرض بر آن است که عملگرهای $D,H$ برای تمام تصاویر ورودی یکسان هستند. 
 در مدل فوق، تصویر نهایی $\underline{X}$، و عملگرهای $H$ و $D$ و نویز سیستم مجهول هستند.
همچون \citet{Farsiu03robust} برای ساده‌تر شدن مسئله  $\underline{Z}$ را به صورت $\underline{Z}=H\underline{X}$ تعریف می‌کنیم؛ لذا  $\underline{Z}$ نسخهٔ مات  $\underline{X}$ است و مسئلهٔ وضوح برتر به دو زیر مسئله شکسته می‌شود:
\begin{enumerate}
\item پیدا کردن یک نسخه مات و با وضوح بالا از روی مشاهدات ($\underline{\hat{Z}}$)،
\item تخمین تصویر با وضوح بالای  $\underline{\hat{X}}$  از روی $\underline{\hat{Z}}$.
\end{enumerate}

در \SR تمرکز اصلی روی مرحلهٔ ۱ است. حال می توان فرمولبندی مسئله‌ی \SR را به  صورت  زیر نوشت:
\begin{equation}
\underline{\hat{Z}}=\mathop{\textrm{Arg\,Min}}_{\underline{Z}}
\Big[\sum_{k=1}^N|| DF_k \underline{Z}-\underline{Y}_k ||_p^p
\Big] \label{eq:RecSyn_SR_formulation}
\end{equation}

همانگونه که در الگوریتم  \ref{alg:RecSyn_VideoEnhacement} دیده می‌شود، در هر پنجره شامل $N$ فریم، با استفاده از رابطهٔ \eqref{eq:RecSyn_SR_formulation}  تصویر با وضوح بالای $\underline{\hat{Z}}$ بازسازی شده و سپس عمل نگاشت تصویر آموزشی بر روی آن انجام می‌شود.


\begin{algorithm}[t]
\caption{الگوریتم بهبود وضوح هر فریم ویدیوئی (بازسازی+سنتز).} \label{alg:RecSyn_VideoEnhacement}
\begin{latin}
\begin{algorithmic}[1]
\REQUIRE LR video frames $g^{(1)},\dots,g^{(n)}$, HR training image $T$, magnification factor $r$, window size $N$.\\
\ENSURE HR video frames $f^{(1)},\dots,f^{(n)}$.
  \STATE Find the SIFT key-points of HR training image.
  \FOR{$i=1$ to $n$-$N$+1}
  \STATE Select the next LR frames $\{g^{(i)},\dots,g^{(i+N-1)}\}$, as $\{Y_1,\dots,Y_N\}$,
  \STATE Run a multiframe reconstruction method on $\{Y_1,\dots,Y_N\}$ for achieving $\hat{Z}$ in eq \eqref{eq:RecSyn_SR_formulation}.
  \STATE Find SIFT key-points of  $\hat{Z}$,
  \STATE Remove outliers and estimate the transformation model, $\warp$ for mapping $T$ onto coordinate frame of $\hat{Z}$,
  \STATE Tune the warp model by Lucas-Kanade Algorithm,% \citep{Lucas81iterative},
  \STATE Warp $T$ based on $\warp$ onto coordinate frame of $\hat{Z}$, $(T(\warp))$,
  \STATE Create mask $M1$ for detecting moving objects.
  \STATE Create mask $M2$ by indicating those regions of $\hat{Z}$ which are not mapped by $T(\warp)$, 
  \STATE $R = M1 \& M2$,
  \STATE Produce $f^{(i)}$ by fusion of $g^{(i)}$ and $T(\warp)$ according to mask $R$
        with the seamless blending approach (Algorithm \ref{alg:the_proposed_fusion_method}) proposed in Chapter \ref{Chap:fusion}.
  \ENDFOR
\end{algorithmic}
\end{latin}
\end{algorithm}

محدودیتی که این شیوهٔ شناسائی اشیاء متحرک و حذف آنها در فرآیند افزایش وضوح در روش پیشنهادی ما به دنبال دارد آن است که وضوح این اشیاء متحرک در خروجی نهایی اضافه نخواهد شد. یک روش رفع این مشکل اعمال روش بازسازی بر روی دنباله تصاویر هر شیئ است که حتی این روش نیز در مواجهه با اشیاء غیر صلب کارائی خوبی نخواهد داشت. 


\subsection{نتایج پیاده‌سازی‌ها}
\subsubsection{مقایسهٔ بصری}
نتایج مقایسه‌ای اعمال روشهای مختلف روی مجموعهٔ \lr{LSMS Closing} در شکل \ref{fig:RecSyn_Results} نشان داده شده است. ضریب افزایش وضوح ۴ بوده است. قسمتی از خروجی این روشها برای مقایسهٔ بهتر آنها نشان داده شده است. 

\begin{figure}%[tph]
\centering 
\subfigure[روش بزرگنمایی \lr{Nearest}]{\label{fig:RecSyn_Results:LR} %% label for first subfigure
\includegraphics[width=.47\textwidth]{Images_RecSyn/Closing_HR4x_LR_SIFT_im2Color_cropped.jpg}}
\hspace{1mm}
\subfigure[روش بزرگنمایی \lr{Bicubic}]{\label{fig:RecSyn_Results:LR_bicubic}
\includegraphics[width=.47\textwidth]{Images_RecSyn/Closing_LR1_bicubic_cropped.JPG}}
\hspace{1mm}
\subfigure[روش ارائه شده در فصل \ref{Chap:CSICC2009} \citep{Amintoosi09regional}]{\label{fig:RecSyn_Results:XFus} 
\includegraphics[width=.47\textwidth]{Images_RecSyn/Closing_HR4x_LR_SIFT_XFus_cropped.jpg}}
\hspace{1mm}
\subfigure[روش بازسازی مبتنی بر درونیابی]{\label{fig:RecSyn_Results:SR_KE_IN} 
\includegraphics[width=.47\textwidth]{Images_RecSyn/Closing_4x_KE_IN_1_cropped.JPG}}
\hspace{1mm}
\subfigure[روش ارائه شده در الگوریتم \ref{alg:IPCV09_VideoEnhacement} \citep{Amintoosi09video}]{\label{fig:RecSyn_Results:IPCV09}
\includegraphics[width=.47\textwidth]{Images_RecSyn/Closing_IPCV09_cropped.JPG}}
\hspace{1mm}
\subfigure[روش ارائه شده در الگوریتم \ref{alg:RecSyn_VideoEnhacement} \citep{Amintoosi09recsynVideo}]{\label{fig:RecSyn_Results:RecSyn} 
\includegraphics[width=.47\textwidth]{Images_RecSyn/Syn_of_SRRecIN_Syn_cropped.JPG}}

\caption{مقایسهٔ بصری نتایج اجرای روشهای مختلف روی مجموعهٔ \lr{LSMS Closing}.}
\label{fig:RecSyn_Results} %% label for entire figure
\end{figure}

شکل‌های \ref{fig:RecSyn_Results:LR} و \ref{fig:RecSyn_Results:LR_bicubic} بزرگ شدهٔ اولین فریم با روش‌های \lr{Replication} و \lr{Bicubic} را نشان می‌دهند.
شکل \ref{fig:RecSyn_Results:XFus}  روش ارائه شده در فصل \ref{Chap:CSICC2009} را نشان می‌دهد. از آنجا که در فصل مذکور روشی برای مواجهه با  نواحیی که در یک تصویر باشند و در دیگری نباشند یا اشیائی که جابجا شده باشند، نداشتیم، اطلاعات با فرکانس بالای افراد ایستاده به صورت نادرستی با فریم ورودی تلفیق شده است. افزایش وضوح در قسمت زمینهٔ شامل متن کاملاً مشهود است.
روش بازسازی مبتنی بر درونیابی در شکل \ref{fig:RecSyn_Results:SR_KE_IN} نشان داده شده است. افزایش وضوح نسبت به تصویر اولیه کاملاً مشخص است.
روش ارائه شده در الگوریتم\ref{alg:IPCV09_VideoEnhacement}  در شکل \ref{fig:RecSyn_Results:IPCV09} نمایش داده شده است. افزایش وضوح در ناحیهٔ ایستای زمینهٔ تصویر همانند شکل  \ref{fig:RecSyn_Results:XFus} است. از آنجا که در مرحلهٔ اولیهٔ تغییر اندازهٔ فریم ورودی، از روش \lr{bicubic} استفاده شده و ناحیهٔ شامل افراد از این تصویر اخذ شده است، وضوح ناحیهٔ افراد همانند وضوح آنها در روش بزرگنمایی \lr{bicubic} و کمتر از وضوح آنها در روش مبتنی بر بازسازی است.
در الگوریتم \ref{alg:RecSyn_VideoEnhacement} که حاصل ترکیب دو روش اخیر است و در 
شکل \ref{fig:RecSyn_Results:RecSyn} نشان داده شده، از مزایای هر دو روش استفاده شده است. 

\subsubsection{مقایسات کمّی}
برای انجام مقایسات کمّی از معیارهای \lr{MAE}\LTRfootnote{Mean Absolute Error} و \lr{PSNR}\LTRfootnote{Power Signal to Noise Ratio} و محک مقایسهٔ ساختاری \lr{SSIM} استفاده شده است، که به صورت زیر تعریف می‌شوند:
\begin{equation}
MAE = \frac{\Sigma_{i=1}^N\Sigma_{j=1}^M\Sigma_{q=1}^Q|F^q(i, j)-\hat{F}^q(i,j)|}{N.M.Q}
\end{equation}
و
\begin{equation}
PSNR = 10\times log \Big( \frac{255^2}{\frac{1}{N.M.Q}\Sigma_{i=1}^N\Sigma_{j=1}^M\Sigma_{q=1}^Q\big(F^q(i, j)-\hat{F}^q(i,j)\big)^2}\Big) 
\end{equation}
که در آن $M$ و$N$، ابعاد تصویر، $Q$ تعداد کانالهای تصویر، $F^q(i, j)$ و $\hat{F}^q(i,j)$، مقدار پیکسل در موقعیت $(i, j)$ و سطح رنگ $q$ از تصاویر اصلی و تصویر اعوجاج یافته (در اینجا خروجی یک روش افزایش وضوح) هستند.
در مورد \lr{SSIM} در فصل قبل  و در مورد استفاده از آن در مقایسهٔ کیفیت ویدئو در ضمیمهٔ \ref{Chap:VideoQuality} توضیحاتی ذکر شده است. مقایسه بین ویدئوی خروجی و ویدئوی اصلی صورت پذیرفته است. در مواردی مانند \lr{Shanghai Garden} که ویدئوی با وضوح پایین صرفاً با اضافه کردن نویز به ویدئوی اصلی بدست آمده است، از بزرگ شدهٔ ویدئوی بدون نویز اصلی با روش \lr{Bicubic} استفاده شده است.

جدول \ref{tab:RecSyn_video_MAE_PSNR_SSIM} میانگین سه معیار فوق‌الذکر بر روی فریم‌های سه دسته از مجموعه دادگان جدول  \ref{tab:SequenceDescriptionTable} را نشان می‌دهد. 
\begin{table}
\centering
\caption{نتایج مقایسه‌ای میانگین \lr{MAE}، \lr{PSNR}  و \lr{SSIM} بر روی برخی دنباله تصاویر نشان داده شده در جدول \ref{tab:SequenceDescriptionTable}. اعداد با حروف 
 \textbf{توپر} و \textit{ایتالیک} در هر سطر نشان دهندهٔ اولین و دومین بهترین امتیاز در هر سطر هستند.} \label{tab:RecSyn_video_MAE_PSNR_SSIM}
\begin{latin}
\begin{tabular}{|c|c|c|c|c|}
\hline Method: & RecSyn(Algorithm \ref{alg:RecSyn_VideoEnhacement}) & BP & IN & RS\\ 
\hline
\hhline{|=====|}
\multicolumn{5}{|c|}{MAE($\times10^{-3}$)}\\
\hline Tehran Park & \textit{56.93} & 102.46 & \textbf{54.16} & 82.57 \\ 
%\hline LSMS Opening & \textit{36.10} & 61.99 & \textbf{34.90} & 52.02 \\
\hline Tokyo & \textbf{50.90} & 133.43 & \textit{55.94} & 96.70 \\ 
\hline Shanghai Garden & \textbf{43.08} & 84.63 & \textit{47.46} & 67.99 \\ 
\hhline{|=====|}

\multicolumn{5}{|c|}{PSNR}\\
\hline Tehran Park & \textit{21.51} & 17.58 & \textbf{22.44} & 19.30 \\ 
%\hline LSMS Opening & \textit{25.29} & 22.21 & \textbf{25.99} & 23.09 \\ 
\hline Tokyo & \textbf{22.12} & 15.44 & \textit{22.10} & 17.97 \\ 
\hline Shanghai Garden & \textit{22.69} & 19.59 & \textbf{23.72} & 21.25 \\ 
\hhline{|=====|}

\multicolumn{5}{|c|}{SSIM}\\
\hline Tehran Park &  \textit{0.49} &  0.24 & \textbf{ 0.50} &  0.31 \\ 
%\hline LSMS Opening &  \textit{0.62} &  0.45 & \textbf{ 0.62} &  0.47 \\ 
\hline Tokyo & \textbf{ 0.47} &  0.13 &  \textit{0.39} &  0.20 \\ 
\hline Shanghai Garden & \textbf{ 0.61} &  0.31 &  \textit{0.45} &  0.36 \\ 
\hline

\end{tabular}
\end{latin} 
\end{table}

الگوریتم پیشنهادی «بازسازی+سنتز» (الگوریتم\ref{alg:RecSyn_VideoEnhacement}) در جداول و نمودارها با \lr{RecSyn}نمایانده شده است.
\lr{BP}،\lr{IN}و \lr{RS}به ترتیب نمایانگر روشهای بازسازی \lr{Iterated Back Projection}\citep{Irani91improving}، درونیابی و \lr{Robust Superresolution}\citep{Zomet01robust} هستند.
هر عدد در جدول میانگین معیار موردنظر در بین تمام فریمهای آن مجموعه است.

مقایسهٔ فریم به فریم یک روش معمول در ارزیابی کیفیت ویدئو است که بر اساس معیارهای مختلفی صورت می‌گیرد. برنامهٔ \lr{MSU Video Quality Measurement Tool}یک نمونه از ابزارهای مقایسهٔ کیفیت ویدئوهاست که به همین‌گونه عمل می‌کند.
چنین مقایسه‌ای مبتنی بر معیارهای فوق‌الذکر برای مجموعه دادهٔ \lr{Tokyo}در شکل  \ref{fig:RecSyn_Tokyo_MAE_PSNR_SSIM} آورده شده است. میانگین هر معیار برای هر روش در کنار \lr{legend}آن روش ذکر شده است.  همانگونه که دیده می‌شود برای این مجموعه داده، روش پیشنهادی بهترین کارائی را داشته‌ است.

\begin{figure}%[t]
\centering \includegraphics[width=.93\columnwidth]{Images_RecSyn/Tokyo_SR_MAE.eps}\vspace{5mm}
\centering \includegraphics[width=.93\columnwidth]{Images_RecSyn/Tokyo_SR_PSNR.eps}\vspace{5mm}
\centering \includegraphics[width=.93\columnwidth]{Images_RecSyn/Tokyo_SR_SSIM.eps}\vspace{5mm}
\caption{مقایسهٔ فریم به فریم معیارهای فوق‌الذکر برای مجموعه دادهٔ \lr{Tokyo} با استفاده از الگوریتم \ref{alg:RecSyn_VideoEnhacement}).}\label{fig:RecSyn_Tokyo_MAE_PSNR_SSIM}
\end{figure}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{نگاشت دقیق‌تر برای سنتز بهتر}
دقیق بودن نگاشت تصویر آموزشی بر روی فریم ورودی لازمهٔ بکارگیری شیوهٔ پیشنهادی در ویدئو می‌باشد. 
در فصل  \ref{Chap:EURASIP} الگوریتم‌هایی برای  نگاشت دقیق‌تر ارائه گردید. در دو الگوریتم‌ اخیر برای دقیق‌تر نمودن ثبت تصویر انجام شده مبتنی بر ویژگی، از روش لوکاس-کاناد استفاده شد. از سایر نسخه‌های این الگوریتم مانند روش  \cite{Szeliski96video} که مبتنی بر بهینه‌سازی لونبرگ-مارکورت است و یا نسخه‌های پیشنهادی در فصل \ref{Chap:EURASIP} نیز می‌توان استفاده نمود. الگوریتم \ref{alg:VideoEnhancementـLK} بازنویسی شدهٔ الگوریتم پیشنهادی \ref{alg:IPCV09_VideoEnhacement} است که در خط \ref{line:LK-tuneup} به جای الگوریتم لوکاس-کاناد، می‌توان هر نسخه از آنرا بکار برد.
در ادامه این الگوریتم را بسته به اینکه از هر یک از الگوریتم‌های لوکاس-کاناد (\ref{alg:LK-GN})، لوکاس-کاناد با بهینه‌سازی لونبرگ-مارکورت \citep{Szeliski96video} یا الگوریتم‌های \ref{alg:LK-SSIM} و \ref{alg:LK-SSIM-LM} (فصل  \ref{Chap:EURASIP}) استفاده کنیم، به ترتیب با نمادهای \textsf{LK-SSIM-LM}، \textsf{LK-LM}، \textsf{LK-SSIM} و \textsf{LK-SSIM-LM}
نشان خواهیم داد.
با توجه به بیان تفصیلی الگوریتم‌های فوق‌الذکر در فصول و بخش‌های پیشین به همین مقدار بسنده شده  و نتایج پیاده‌سازیها ذکر خواهد شد.

\begin{algorithm}[t]
\caption[الگوریتم بهبود وضوح هر فریم ویدیوئی]{الگوریتم بهبود وضوح هر فریم ویدیوئی. (بسته به اینکه در خط \ref{line:LK-tuneup} این الگوریتم، از کدام یک از الگوریتم‌های\ref{alg:LK-GN}، \cite{Szeliski96video}، \ref{alg:LK-SSIM} و یا \ref{alg:LK-SSIM-LM}  استفاده شود، آنرا به ترتیب با نمادهای \textsf{LK}، \textsf{LK-LM}، \textsf{LK-SSIM} و \textsf{LK-SSIM-LM} نشان خواهیم داد.)} \label{alg:VideoEnhancementـLK}
\begin{latin}
\begin{algorithmic}[1]
\REQUIRE LR video frames $g^{(1)},\dots,g^{(n)}$, HR training image $T$, magnification factor $r$.\\
\ENSURE HR video frames $f^{(1)},\dots,f^{(n)}$.
  %\STATE Resize the HR image with factor $1/scale$, based on the proposed algorithm in \cite{Amintoosi09regional}.
  \STATE Find the SIFT key-points of HR training image.
  \FOR{$i=1$ to $n$}
  \STATE Select the next LR frame $g^{(i)}$,
  \STATE Resize $g^{(i)}$, with magnification factor $r$, for producing an image with desired number of pixels
  \STATE Find SIFT key-points of this resized LR image,
  \STATE Remove outliers and estimate the transformation model $(\warp)$,
  \STATE Tune the warp model by a variation of Lucas-Kanade algorithm, (\textsf{LK,LK-LM,LK-SSIM} or \textsf{LK-SSIM-LM}), \label{line:LK-tuneup}
  \STATE Warp $T$ based on $\warp$ onto coordinate frame of $g^{(i)}$, $(T(\warp))$,
  \STATE Create mask $M1$ for detecting moving objects. \label{line:IPCV09_maskM1} %by thresholding of subtraction of $g^{(i)}$ and $T(\warp)$
  \STATE Create mask $M2$ by indicating those regions of $g^{(i)}$ which are not mapped by $T(\warp)$, \label{line:IPCV09_maskM2}
  \STATE $R = M1 \& M2$,
  \STATE Produce $f^{(i)}$ by fusion of $g^{(i)}$ and $T(\warp)$ according to mask $R$
        with the seamless blending approach (Algorithm \ref{alg:the_proposed_fusion_method}) proposed in Chapter \ref{Chap:fusion}.
  \ENDFOR
\end{algorithmic}
\end{latin}
\end{algorithm}

\subsection{نتایج پیاده‌سازیها}

میانگین مربعات خطا (\lr{MSE}) برای ۶۰ فریم سنتز شدهٔ مثال \lr{Tokyo} با استفاده از الگوریتم \ref{alg:VideoEnhancementـLK} و با چهار نسخهٔ مختلف الگوریتم لوکاس-کاناد (که در بالا ذکر شد) در شکل \ref{fig:Video_LM_MSE_Tokyo} آمده است. 
میانگین هر معیار برای هر روش در کنار \lr{legend}آن روش ذکر شده است.  همانگونه که دیده می‌شود برای این مجموعه داده، روش پیشنهادی کمترین خطا را داشته‌ است.

\begin{figure}%[t]
\centering
\includegraphics[width=.93\columnwidth]{Images_Video_LM/MSE_Tokyo.eps}
\caption{میانگین مربعات خطا (\lr{MSE}) برای ۶۰ فریم سنتز شدهٔ مثال \lr{Tokyo} با استفاده از الگوریتم \ref{alg:VideoEnhancementـLK} و با چهار نسخهٔ مختلف الگوریتم لوکاس-کاناد.}\label{fig:Video_LM_MSE_Tokyo}
\end{figure}

جدول \ref{tab:Video_LM_reg_MSE_Table} میانگین \lr{MSE} را برای فریم‌های مجموعه دادگان \lr{Tehran Park}،\lr{LSMS Opening} ،\lr{Tokyo} و \lr{Shanghai Garden} نشان می‌دهد. ملاحظهٔ نتایج نشان می‌دهد که الگوریتم \ref{alg:VideoEnhancementـLK} با شیوهٔ ثبت‌تصویر \textsf{LK-SSIM-LM} (الگوریتم \ref{alg:LK-SSIM-LM}) 
با کسب دو امتیاز اول و یک امتیاز دوم،‌ بالاترین کارائی و روش \textsf{LK-SSIM} با کسب دو امتیاز اول در رتبهٔ دوم قرار می‌گیرد.

\begin{table}[t]
\centering
\caption{میانگین \lr{MSE} را برای فریم‌های چند نمونمه از مجموعه دادگان. اعداد با حروف 
 \textbf{توپر} و \textit{ایتالیک} در هر سطر نشان دهندهٔ اولین و دومین بهترین امتیاز در هر سطر هستند.} \label{tab:Video_LM_reg_MSE_Table}
\begin{latin}
\begin{tabular}{|c|c|c|c|c|}
\hline MSE($10^{-6}$) & LK & LK-LM & LK-SSIM & LK-SSIM-LM \\ 
\hline Tehran Park & 108.31 & \textit{108.23} & 108.35 & \textbf{107.96} \\ 
\hline LSMS Opening & 70.86 & 70.86 & \textbf{70.65} & \textit{70.77} \\ 
\hline Tokyo & 101.51 & 101.29 & 101.16 & \textbf{100.24} \\ 
\hline Shanghai Garden & \textit{203.17} & 203.67 & \textbf{202.87} & 204.76 \\ %& 177.38 & 179.15 & \textbf{176.96} & \textit{177.13} \\ 
\hline
\end{tabular} 
\end{latin}
\end{table}

با توجه به نتایج فوق در ادامه و برای مقایسه با سایر روشهای \SR تنها الگوریتم  \ref{alg:VideoEnhancementـLK} با شیوهٔ ثبت‌تصویر \textsf{LK-SSIM-LM} را لحاظ خواهیم کرد.

\subsubsection{مقایسات کمّی}
همانند بخش قبل برای مقایسهٔ کمّی، از معیارهای \lr{MAE} و \lr{PSNR} و محک مقایسهٔ ساختاری \lr{SSIM} بر روی برخی از دادگان جدول \ref{tab:SequenceDescriptionTable} استفاده شده است. جدول \ref{tab:video_MAE_PSNR_SSIM} نتایج مقایسه‌ای را برای میانگین این معیارها در بین تمام فریم‌های هر مجموعه نشان می‌دهد.

\begin{table}
\centering
\caption{نتایج مقایسه‌ای میانگین \lr{MAE}، \lr{PSNR}  و \lr{SSIM} بر روی برخی دنباله تصاویر نشان داده شده در جدول \ref{tab:SequenceDescriptionTable}. اعداد با حروف 
 \textbf{توپر} و \textit{ایتالیک} در هر سطر نشان دهندهٔ اولین و دومین بهترین امتیاز در هر سطر هستند.} \label{tab:video_MAE_PSNR_SSIM}
\begin{latin}
\begin{tabular}{|c|c|c|c|c|}
\hline Method: & BP & IN & RS & \textsf{LK-SSIM-LM}\\ 
\hline
\hhline{|=====|}
\multicolumn{5}{|c|}{MAE($\times10^{-3}$)}\\
\hline Tehran Park & 102.46 & 54.16 & 82.57 & \textbf{47.53} \\ 
\hline LSMS Opening &61.99 & 34.90 & 52.02 & \textbf{28.48} \\ 
\hline Tokyo & 133.43 & 55.94 & 96.70 & \textbf{38.46} \\ 
\hline Shanghai Garden & 84.92 & 47.46 & 67.90 & \textbf{35.08} \\ 
\hhline{|=====|}

\multicolumn{5}{|c|}{PSNR}\\
\hline Tehran Park & 17.58 & 22.44 & 19.30 & \textbf{23.19} \\ 
\hline LSMS Opening & 22.21 & 25.99 & 23.09 & \textbf{28.15} \\ 
\hline Tokyo & 15.44 & 22.10 & 17.97 & \textbf{25.14} \\ 
\hline Shanghai Garden & 19.56 & 23.73 & 21.26 & \textbf{25.28} \\ 
\hhline{|=====|}

\multicolumn{5}{|c|}{SSIM}\\
\hline Tehran Park &  0.24 &  0.50 &  0.31 & \textbf{ 0.63} \\ 
\hline LSMS Opening & 0.45 &  0.62 &  0.47 & \textbf{ 0.69} \\ 
\hline Tokyo &  0.13 &  0.39 &  0.20 & \textbf{ 0.60} \\ 
\hline Shanghai Garden &  0.31 &  0.45 &  0.36 & \textbf{ 0.70} \\ 
\hline

\end{tabular} 
\end{latin}
\end{table}

مقایسه‌ٔ فریم به فریم مبتنی بر معیارهای فوق‌الذکر برای مجموعه دادهٔ \lr{Tokyo}در شکل  \ref{fig:Video_LM_Tokyo_MAE_PSNR_SSIM} آورده شده است. میانگین هر معیار برای هر روش در کنار \lr{legend}آن روش ذکر شده است.  همانگونه که دیده می‌شود روش پیشنهادی بهترین کارائی را دارا می‌باشد.

\begin{figure}%[t]
\centering \includegraphics[width=.93\columnwidth]{Images_Video_LM/Tokyo_SR_MAE.eps}
\centering \includegraphics[width=.93\columnwidth]{Images_Video_LM/Tokyo_SR_PSNR.eps}
\centering \includegraphics[width=.93\columnwidth]{Images_Video_LM/Tokyo_SR_SSIM.eps}
\caption{مقایسهٔ فریم به فریم معیارهای فوق‌الذکر برای مجموعه دادهٔ \lr{Tokyo} با استفاده از الگوریتم \ref{alg:VideoEnhancementـLK}).}\label{fig:Video_LM_Tokyo_MAE_PSNR_SSIM}
\end{figure}

\subsubsection{مقایسات بصری}
شکل \ref{fig:Tokyo_closeup} بزرگ‌شدهٔ قسمتی از یک فریم از دنباله تصاویر \lr{Tokyo} را نشان می‌دهد. 
نسخهٔ با وضوح بالای اصلی فریم موردنظر، بزرگ‌شدهٔ ان با روشهای \lr{Nearest} و \lr{Bicubic} به همراه چند روش بازسازی برای مقایسه نشان داده شده‌اند.  پنجره‌های کوچک ساختمان پشتی به جز در فریم اصلی و روش پیشنهادی \lr{(LK-SSIM-LM)} قابل تشخیص نیستند. افزایش بهتر وضوح در روش پیشنهادی کاملاً مشخص است.

\begin{figure}[h]
\centering 
\subfigure[فریم با وضوح بالای اصلی]{\label{fig:Tokyo_closeup:HR}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_HR.jpg}}
\centering 
\subfigure[بزرگ شدهٔ فریم با وضوح پایین  (\lr{Nearest})]{\label{fig:Tokyo_closeup:Nearest}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_LR_nearest.jpg}}
\centering 
\subfigure[بزرگ شدهٔ فریم با وضوح پایین  (\lr{Bicubic})]{\label{fig:Tokyo_closeup:Bicubic}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_LR_bicubic.jpg}}\\
\centering \subfigure[روش بازسازی مبتنی بر درونیابی (\lr{IN})]{\label{fig:Tokyo_closeup:IN}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_IN.jpg}}
\centering 
\subfigure[\citep{Irani91improving}(\lr{IBP})]{\label{fig:Tokyo_closeup:BP}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_BP.jpg}}
\centering 
\subfigure[\citep{Zomet01robust}(\lr{RS})]{\label{fig:Tokyo_closeup:RS}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_RS.jpg}}
\centering 
\subfigure[الگوریتم پیشنهادی \ref{alg:VideoEnhancementـLK} با روش ثبت تصویر \lr{LK-SSIM-LM}]{\label{fig:Tokyo_closeup:LK-SSIM-LM} \includegraphics[width=.2\textwidth]{Images_Video_LM/0245_LK-SSIM-LM.jpg}}
%\centering \subfigure[RecSyn \citep{Amintoosi08reconstruction}]{\label{fig:Tokyo:RecSyn}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_None.jpg}}
\caption{مقایسهٔ بصری خروجی روشهای مختلف روی دنباله تصاویر \lr{Tokyo}.} \label{fig:Tokyo_closeup}
\end{figure}

شکل  \ref{fig:Tokyo_sdisMap} نقشهٔ تفاوت ساختاری بین تصاویر   \ref{fig:Tokyo_closeup:IN}-\ref{fig:Tokyo_closeup:LK-SSIM-LM} 
با تصویر اصلی (\ref{fig:Tokyo_closeup:HR}) را نشان می‌دهد.
روشنایی بیشتر هر پیکسل به معنی تفاوت ساختاری بیشتر  بین تصویر اصلی و تصویر تولید شده است. همانگونه که مشاهده می‌شود روش پیشنهادی کمترین خطا را دارد.

\begin{figure}[t]
\centering \subfigure[درونیابی]{\label{fig:Tokyo_sdisMap:IN}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_IN_sdisMap.jpg}}
\centering \subfigure[\lr{IBP}]{\label{fig:Tokyo_sdisMap:BP}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_BP_sdisMap.jpg}}
\centering \subfigure[\lr{RS}]{\label{fig:Tokyo_sdisMap:RS}\includegraphics[width=.2\textwidth]{Images_Video_LM/0245_RS_sdisMap.jpg}}
\centering \subfigure[شیوهٔ پیشنهادی]{\label{fig:Tokyo_sdisMap:LK-SSIM-LM} \includegraphics[width=.2\textwidth]{Images_Video_LM/0245_LK-SSIM-LM_sdisMap.jpg}}
\caption{نقشهٔ تفاوت ساختاری بین تصاویر   \ref{fig:Tokyo_closeup:IN}-\ref{fig:Tokyo_closeup:LK-SSIM-LM} 
با تصویر اصلی (\ref{fig:Tokyo_closeup:HR})، روشنایی بیشتر به منزلهٔ اختلاف بیشتر با تصویر اصلی است.} \label{fig:Tokyo_sdisMap}
\end{figure}

