
% محمود امین طوسی - دانشگاه علم و صنعت ایران - فصل آماده شده برای بخش فارسی کنفرانس کامپیوتر
% فایلهایی که در تهیه گزارشات این فصل مورد استفاده قرار گرفته اند به قرار زیرند:
% Directory: D:\PhDCourses\SuperResolution\Regional SR
%		OneLR_Many_HR_02.m
%		Freeman_ExampleBased.m
%		findResizeFactors.m
%		LK_registration.m
%		mapHRtoLR_02.m
%		Im1Transform.m
%		MAT_homog.m
\part{پیشنهادات رساله}


\begin{comment}
\textpook{\huge جناب آقای دکتر فتحی، مطالبی که با این قلم توخالی  نوشته شده‌اند هنوز نیاز به اصلاح دارند.}‎

کارهای انجام شده:
مطابق دستورالعمل دانشگاه برای آماده‌سازی پایان‌نامه‌ها باید «جهت ارجاع منابع انگلیسی در متن، نام خانوادگی نویسنده و سال به فارسی ارائه و معادل انگلیسی نام خانوادگی در زیر مشخص گردد»
فارسی کردن نام تمام مؤلفین و قالبی برای مراجع به صورتی که در متن بتوان به آنها با نام مؤلفین ارجاع داد و برای داوری راحت‌تر باشد. (این شیوه یکی از دو شیوهٔ مورد قبول دانشگاه برای مراجع می‌باشد)
اضافه کردن توضیح مختصر برای تصاویر با توضیح طولانی برای شکیل بودن لیست تصاویر
انجام کارهای بسیار برای درست بودن ارجاعات به فصل‌ها، بخش‌ها، مراجع، شکلها، جداول، الگوریتم‌ها و فرمولها
اصلاح زیر‌نویس‌ها، راست‌چین کردن فارسی‌ها و چپ‌چین کردن انگلیسی‌ها  و سعی در ذکر پانویس لغات لاتین فقط برای اولین بار 
تغییر اندازهٔ حاشیه‌های صفحه مطابق با استاندارد دانشگاه
تغییر اندازه تصاویر و برخی فرمولها
اصلاح عنوان بالای پیوست‌ها
اصلاح الگوریتم‌های بخش ثبت تصویر
پیدا کردن روشی برای درج جداول لاتین با عنوان فارسی 
اصلاح بسیاری از عبارات انگلیسی که به صورت برعکس نمایش داده می‌شدند.

10/10
قرار دادن تصاویر و الگوریتم‌ها
در برخی موارد استفاده از 
MATLAB
برای تصاویری که با روشهای خاصی خروجی نداشتم.
کاهش حجم رساله (مثلاً تبدیل ۵ مگایابت به ۷۰۰ کیلوبایت) 

\end{comment}

%\textpook
{در این قسمت به بیان نوآوری‌های رساله در قالب فصل‌های جداگانه پرداخته خواهد شد. در فصل بعد روش ارائه شده مبتنی بر نگاشت کل تصویر آموزشی بر روی مختصات تصویر، برای یک فریم را خواهیم دید. مشکل مربوط به ترکیب بدون درز تصاویر را در فصلی جداگانه بررسی خواهیم کرد. 
سپس روش پیشنهادی در ویدئو بیان خواهد شد و در ادامه روش مبتنی بر استفاده از تجزیه ماتریس‌ها در مواجهه با اشیاء متحرک در ویدئو را خواهیم دید.}




\begin{comment}
 کلیات شیوه‌ی پیشنهادی در \cite{Amintoosi08reconstruction} توسط نگارندگان به عنوان مکملی برای شیوه‌های مبتنی بر بازسازی ارائه شده است؛
 لیکن فصل‌ی مذکور مواردی را مورد لحاظ قرار نداده است که در این فصل به موارد زیر پرداخته خواهد شد:
 \begin{enumerate}
 \item  در \cite{Amintoosi08reconstruction}  ضریب بزرگنمایی به صورت دستی تعیین می‌شده‌است، که در این فصل روشی خودکار برای این مسئله پیشنهاد شده است؛
 \item در \cite{Amintoosi08reconstruction} برای ثبت تصویر فقط از یک شیوه‌ی مبتنی بر ویژگی استفاده شده است، در حالیکه این شیوه همیشه نتایج دقیقی تولید نمی‌کند، در این فصل با استفاده از یک متد ثبت تصویر مبتنی بر ناحیه نتیجه‌ی شیوه‌ی مبتنی بر ویژگی بهبود داده شده است،
 \item در \cite{Amintoosi08reconstruction} فقط از یک تصویر آموزشی استفاده شده است و در اینجا چارچوبی برای لحاظ نمودن بیش از یک تصویر آموزشی ارائه شده است.
  \end{enumerate}
 ضمن آنکه در فصل‌ی مذکور شیوه‌ی نگاشت به صورت مختصر ذکر شده بود که در اینجا به تفصیل بیان شده است.
 \end{comment}


\chapter{افزایش وضوح مبتنی بر نگاشت کل تصویر آموزشی}\label{Chap:CSICC2009}
 %\section{مقدمه}
اساس بسیاری از روشهای \SR در ویدئو بر بهبود هر فریم --با استفاده از اطلاعات فریم‌های دیگر یا داده‌های آموزشی-- استوار است. 
در این فصل شیوه‌ای برای افزایش وضوح یک تصویر با وضوح پایین به عنوان یک فریم ویدیوئی،  با استفاده از یک یا چند تصویر با وضوح بالا ارائه شده است \footnote{مطالب این فصل در قالب 	مقاله‌های \cite{Amintoosi87afzayesh,Amintoosi08reconstruction,Amintoosi09regional} ارائه شده است}. هر یک از تصاویر باوضوح بالا، به عنوان تصویر آموزشی، متناظر با قسمتی از تصویرِ باوضوح پایین هستند. روش ارائه شده مبتنی بر نگاشت کل تصویر آموزشی بر روی مختصات فریم ویدیوئی است.

 تصاویر آموزشی می‌توانند تفاوتهایی با تصویر اصلی از نقطه نظر شدت روشنائی یا زاویه‌ی اخذ داشته باشند. 
 این تفاوتها می‌تواند ناشی از برداشت عکسها در زمانهای متفاوت و یا با دوربینهای متفاوت و از زوایای مختلف باشد.
 \section{افزایش وضوح مبتنی بر نگاشت کل تصویر آموزشی}
 در شیوه‌ی پیشنهادی ابتدا تصاویر به اندازه‌ی مطلوب بزرگ شده و سپس 
 تبدیل مناسبی برای نگاشت هر یک از تصاویر آموزشی بر روی تصویر مورد نظر با استفاده از 
 نقاط کلیدی \lr{SIFT} و الگوریتم \lr{RANSAC} در قالب ماتریس هوموگرافی
\LTRfootnote{Homography matrix} پیدا می‌شود. 
تخمین بدست آمده با استفاده از یک شیوه‌ی ثبت تصویر مبتنی بر ناحیه اصلاح شده و در انتها تصویرِِ باوضوح بالای نگاشت شده، با تصویر باوضوح پایین ورودی \fused\LTRfootnote{Fused} می‌شود.
  نتایج آزمایشات انجام شده برتری شیوه‌ی پیشنهادی را نسبت به چند روش دیگر نشان می‌دهد. 

 در بخش \ref{Sec:CSICC2009_TheProposedMethod} شیوه‌ی پیشنهادی و در بخش \ref{Sec:CSICC2009_ExperimentalResults} نتایج پیاده‌سازی‌ها آمده است. بخش \ref{Sec:CSICC2009_Discussion} به بحث در مورد مشکلات و راهکارهای آتی شیوه‌ی پیشنهادی اختصاص یافته و در انتها جمع‌بندی آورده شده است.


%\begin{comment}
\begin{figure}[t]
\centering 
\subfigure[تصویر ورودی با وضوح پایین(558×331)]{\label{fig:CSICC2009_InputImages:LR}
\includegraphics[height=35mm]{Images_CSICC2009/Katibeh_Darius.jpg}}\\
%\hspace{2mm} 
\subfigure[362×322]{\label{fig:CSICC2009_InputImages:HR1}
{\includegraphics[height=32mm]{Images_CSICC2009/Darius_img_3229.jpg}}}
%\hspace{2mm} 
\subfigure[\rl{249×388}]{\label{fig:CSICC2009_InputImages:HR2}
{\includegraphics[height=45mm]{Images_CSICC2009/Afrade_3_5.jpg}}}
%\hspace{2mm} 
\subfigure[\rl{180×364}]{\label{fig:CSICC2009_InputImages:HR3}
{\includegraphics[height=40mm]{Images_CSICC2009/Skunkha.jpg}}}
\caption[تصویر با وضوح پایین ورودی و تصاویر با وضوح بالای آموزشی]{تصویر با وضوح پایین ورودی(الف) و تصاویر با وضوح بالای آموزشی (ب-د) فراهم شده از منابع متفاوت از نقش برجسته‌ی داریوش. ابعاد هر تصویر در زیر هر یک نوشته شده است. تفاوت رنگ، وضوح و زاویه‌ی اخذ عکس‌ها مشهود است.} \label{fig:CSICC2009_InputImages}
\end{figure}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \section{شیوه‌ی پیشنهادی و نتایج}
\section{شیوه‌ی پیشنهادی}\label{Sec:CSICC2009_TheProposedMethod}
همانگونه که در بخش قبل ذکر شد شیوه‌ی پیشنهادی مبتنی بر استفاده از تصاویر با وضوح بالائی است که مبین قسمتی از تصویر باوضوح پایین ورودی هستند. هر تصویر آموزشی می‌تواند در افزایش وضوح یک ناحیه از تصویر ورودی دخیل باشد. میزان افزایش وضوح در همه جای تصویر ورودی یکسان نبوده و وابسته به وضوح تصویر آموزشی مربوطه است. 
به همین دلیل شیوه پیشنهادی \femph{افزایش وضوح ناحیه‌ای} نامیده شده است.

نکته اصلی در شیوه‌ی پیشنهادی نگاشت دقیق تصویر با وضوح بالا بر روی تصویر ورودی و \fusion مناسب نتیجه‌ی نگاشت با تصویر ورودی است. به منظور نمایش بهتر مراحل کار، برخی از نتایج میانی در همین بخش آورده خواهد شد.
شکل \ref{fig:CSICC2009_InputImages}  تصویر با وضوح پایین ورودی و چند تصاویر با وضوح بالا از نقش برجسته‌ی داریوش در بیستون را نشان می‌دهد. هدف ما افزایش وضوح  تصویر \ref{fig:CSICC2009_InputImages:LR} با استفاده از تصاویر \ref{fig:CSICC2009_InputImages:HR1}-\ref{fig:CSICC2009_InputImages:HR3} می‌باشد.   تصویر \ref{fig:CSICC2009_InputImages:LR} توسط نگارنده با دوربین \lr{Panasonic NV-GS75}  گرفته شده است.  به خاطر دوری فاصله و محدودیت میدان دید، وضوح تصویر پایین می‌باشد. تصاویر با وضوح بالا از منابع مختلف گردآوری شده‌اند. تصاویر \ref{fig:CSICC2009_InputImages:HR1} و \ref{fig:CSICC2009_InputImages:HR3} با جستجو در اینترنت پیدا شده‌اند و تصویر \ref{fig:CSICC2009_InputImages:HR2} از روی
 یکی از بروشورهای سازمان میراث فرهنگی اسکن شده است. همانگونه که مشاهده می‌شود تصاویر آموزشی از منظر زاویه دید، رنگ و شدت روشنائی با تصویر ورودی متفاوت هستند. 

 چارچوب کلی شیوه‌ی پیشنهادی در شکل \ref{fig:CSICC2009_OneLR_manyHR} نشان داده شده است.
 
\begin{figure}[th]
\centering\includegraphics[ height= 15cm]{Images_CSICC2009/OneLR_manyHR.pdf}
\caption{چارچوب کلی شیوه‌ی پیشنهادی}\label{fig:CSICC2009_OneLR_manyHR}
\end{figure}

 از آنجا که نحوه‌ی اعمال شیوه پیشنهادی بر روی هر تصویر آموزشی یکسان است، به منظور اختصار، مراحل را فقط برای یک تصویر دنبال خواهیم کرد. مطابق چارچوب شکل \ref{fig:CSICC2009_OneLR_manyHR} این مراحل برای هر تصویر دیگر روی خروجی مربوط به تصویر قبل اعمال خواهد شد.  این مراحل اصلی را می‌توان به صورت زیر برشمرد:
 
%{\setlength{\baselineskip}{.5\baselineskip}
 \begin{enumerate}
    \item تغییر اندازه تصویر ورودی برای تولید تصویری با ابعاد مطلوب، وابسته به تصویر آموزشی؛
    \item پیدا کردن نقاط کلیدی در دو تصویر؛
    \item حذف نقاط برون هشته\LTRfootnote{Outlier} از مجموعه نقاط کلیدی متناظر و پیدا کردن ماتریس تبدیل مناسب برای نگاشت تصویر وضوح بالا؛
	\item دقیق‌تر نمودن پارامترهای تبدیل بدست آمده در مرحله‌ی قبل توسط یک الگوریتم ثبت تصویر مبتنی بر ناحیه؛
    \item نگاشت تصویر آموزشی بر روی مختصات تصویر ورودی؛
    \item \fusion تصویر نگاشت شده و تصویر ورودی.
\end{enumerate}
%\par}
در بخش‌های ذیل هر یک از مراحل فوق به صورت کامل‌تری بیان خواهد شد.
\subsection{تغییر اندازه‌ی تصویر ورودی}\label{Sec:CSICC2009_Resizing}
 برای افزایش وضوح تصویر ورودی با استفاده از اطلاعات تصویر دیگر بایستی ابعاد آن به اندازه‌ی لازم بزرگ شوند. به میزان افزایش ابعاد تصویر ورودی،
 در منابع \SR ضریب بزرگنمائی گفته می‌شود. در روشهای مبتنی بر بازسازی معمولاً این ضریب 2 درنظر گرفته می‌شود. 
همانند \cite{Freeman02example} برای بزرگنمائی اولیه می‌توان از یکی از روشهای مرسوم مانند: تکرار\LTRfootnote{Replication} یا درونیابی  
اسپلاین مکعبی\LTRfootnote{Cubic spline interpolation} بهره برد. از این شیوه‌ها می‌توان به عنوان روشهای کلاسیک بزرگنمائی تصویر نام برد.
نتیجه‌ی این مرحله تصویری با تعداد پیکسل بیشتر است که فاقد جزئیات با وضوح بالاست.
%تخمینی نادقیق از ضریب بزرگنمائی را می‌توان با مقایسه بصری اشیاء مشترک دو تصویر داشت. 
ضریب بزرگنمائی در مقالات \SR و منجمله در مقالات اخیر مؤلفین \citep{Amintoosi08reconstruction,Amintoosi87estefadeh,Fathy08outlier}
یک عدد ثابت درنظر گرفته می‌شده است؛ لیکن هنگامی که تصاویر آموزشی ما از وضوح‌های متفاوتی برخوردار هستند این شیوه کارا نخواهد بود. 
در این بخش روشی برای تخمین ضریب بزرگنمائی وابسته به تصویر آموزشی و بر اساس نسبت فواصل نقاط یکسان از دو تصویر ارائه خواهد شد. 

فرض کنید $\{(P_1,Q_1),\dots,(P_N,Q_N)\}$، $N$ زوج نقطه‌ی متناظر در دو تصویر هستند که $P_i=(x_i,y_i)^T$ مختصات $i$امین نقطه  
در تصویر با وضوح بالا و $Q_i$ متناظر این نقطه در تصویر ورودی با وضوح پایین است.  
%به نوع این نقاط متناظر در دو تصویر در بخش بعد پرداخته خواهد شد ولی 
به فرض $\{r_1,\dots,r_n\}$ و $\{s_1,\dots,s_n\}$، دو مجموعه‌ی $n\leq N$ عضوی از اندیس‌های تصادفی $r_i$ و $s_i$ باشند ($1\leq r_i,s_i\leq N$)؛
فاصله‌ی اقلیدسی بین دو نقطه‌ی $P_{r_i}$ و $P_{s_i}$ در تصویر آموزشی را با $d^{HR}_i = norm(P_{r_i}-P_{s_i})$ و فاصله‌ی نقاط نظیر آنها
در تصویر ورودی را با $d^{LR}_i = norm(Q_{r_i}-Q_{s_i})$ نشان می‌دهیم. نسبت مقیاس دو تصویر می‌تواند به صورت زیر تخمین زده شود:
\begin{equation}
\frac{1}{n}\sum_{i=1}^n d^{HR}_i/d^{LR}_i
\end{equation}
به منظور مقاومت روش نسبت به برون‌هشته‌ها، به جای میانگین‌گیری از میانه‌ی نسبت فواصل به صورت زیر استفاده می‌نماییم:
\begin{equation}\label{eq:CSICC2009_scale}
scale = Median\{d^{HR}_1/d^{LR}_1,\dots,d^{HR}_n/d^{LR}_n\}
\end{equation}
در صورتی که $scale>1$ باشد، تصویر ورودی با ضریب $scale$ بزرگ خواهد شد. در غیر این‌صورت، تصویر 
آموزشی را به نسبت $1/scale$ بزرگ می‌نماییم.

به این ترتیب میزان بزرگنمائی تصویر ورودی به صورت خودکار و براساس نسبت اندازه‌ی موارد مشترک دو تصویر بدست خواهد آمد.
%آزمایشات ما نشان داد که استفاده از این شیوه منجر به پیدا شدن تطابقات درست بیشتر در مراحل بعد می‌شود.
%از آنجا که در تصاویر \ref{fig:CSICC2009_Matches} و \ref{fig:CSICC2009_Dots}، این ضریب روی تصویر با وضوح پایین شکل \ref{fig:CSICC2009_InputImages:LR}،
%اعمال شده است، این تصویر بزرگتر دیده می‌شود.

\subsection{پیدا کردن نقاط کلیدی}
هدف اصلی ما جز با پیدا کردن یک ماتریس تبدیل خوب که در بخش بعد به آن پرداخته خواهد شد محقق نخواهد گشت. این مسئله به عبارتی 
همان مسئله‌ی ثبت تصویر است که در مقدمه به آن اشاره شد. 
در این بخش از روش مبتنی بر ویژگی استفاده شده و مدل بدست آمده در بخش بعد توسط یک روش مبتنی بر ویژگی بهبود داده خواهد شد. در این روشها ابتدا بایستی یک مجموعه از نقاط متناظر بین دو تصویر را که به آنها نقاط کلیدی گفته می‌شود پیدا نموده و سپس ماتریس انتقال را بر اساس آنها برآورد نمود. از بین ویژگیهای مختلف معمول در پردازش تصویر، گوشه‌های هریس \citep{Harris88acombined} و نقاط کلیدی\lr{SIFT}انتخاب و بررسی شدند. 
نتایج آزمایشات ما نشان داد که نقاط کلیدی \lr{SIFT} منجر به مدل تبدیل بهتری شده و نسبت به گوشه‌ها مناسب‌تر هستند. 
بر اساس پیشنهاد  \cite{Lowe04distinctive}، مبتنی بر یک شیوه‌ی آستانه‌ای، از بین حجم زیاد نقاط کلیدی،
یک دسته از نقاط متناظر در دو تصویر به عنوان تطابقاتی که به احتمال زیاد صحیح هستند انتخاب می‌شوند.  با اینحال زوج نقاط انتخاب شده کاملاً درست نبوده و حاوی تطابقات نادرست\LTRfootnote{False matches} نیز می‌باشد. لذا نیازمند شیوه‌ای برای حذف این موارد نادرست به عنوان مقادیر 
 برون هشته هستیم تا برآورد قابل اطمینانی از مدل تبدیل بدست آوریم.

\subsection{حدف برون هشته‌ها و تخمین ماتریس تبدیل}
الگوریتم معروف \lr{RANSAC}\citep{Fischler81random}، مجموعه دادگان را به دو مجموعه‌ی \femph{درون هشته‌ها} \LTRfootnote{Inliers (The largest consensus set)} و \femph{برون هشته‌ها}\LTRfootnote{Outliers (The rest of the data set)} افراز نموده و همزمان تخمینی از مدل بر اساس مجموعه‌ی حداقل با بیشترین تصدیق\LTRfootnote{The minimal set with greatest support } را بدست می‌دهد \citep{Hartley2004book}. 
از آنجا که در این فصل مدل هوموگرافی مسطح\LTRfootnote{Planar homography} مفروض بوده و مجموعه دادگان ما زوج نقاطی از فضای دوبعدی هستند، مجموعه‌ی حداقل، بایستی 4 عضو داشته باشد. بعلاوه ماتریس تبدیل پروجکتیو مسطح\LTRfootnote{Planar projective transformation} نیز توسط این الگوریتم برآورد می‌شود. تبدیل پروجکتیو مسطح عبارت است از یک تبدیل خطی روی بردارهای 3تائی 
همگن\LTRfootnote{Homogeneous 3-vectors} که توسط ماتریس 3×3 نامنفردِ\LTRfootnote{Non-singular} $\mathbf{p}$ زیر نمایش داده می‌شود \citep{Hartley2004book}:
\begin{equation*}\label{eq:CSICC2009_homography}
 \left[
\begin{array}{ccc}
  p_{1} & p_{2} & p_{3} \\
  p_{4} & p_{5} & p_{6} \\
  p_{7} & p_{8} & p_{9} \\
\end{array}\right]
\end{equation*}
شکل \ref{fig:CSICC2009_Inlying} مجموعه تطابقات صحیحی که توسط این الگوریتم در نگاشت تصویر \ref{fig:CSICC2009_InputImages:HR1} بر روی تصویر \ref{fig:CSICC2009_InputImages:LR} انتخاب شده‌اند را نشان می‌دهد. 

در ادامه نگاشت نقطه‌ی $\mathbf{x}=(x_1,x_2,x_3)^T$ تحت تبدیل با پارامترهای $\mathbf{p}$، به نقطه‌ی $\mathbf{y}=(y_1,y_2,y_3)^T$ را با $\mathbf{y}=\warp$ نشان خواهیم داد.

\begin{figure}[t]
\centering 
\includegraphics[width = 75mm]{Images_CSICC2009/Darius_img_3229_AR_SIFT_InlyingMatches.jpg}
\caption[تطابقات تصدیق شده با الگوریتم \lr{RANSAC}]{تطابقات تصدیق شده با الگوریتم \lr{RANSAC} پس از اعمال الگوریتم تغییر اندازه‌ی ارائه شده در بخش \ref{Sec:CSICC2009_Resizing}}
\label{fig:CSICC2009_Inlying}
\end{figure}


\subsection{دقیق‌تر نمودن مدل نگاشت}
%معمولاً برآورد پارامترهای مدل نگاشت با روشهای مبتنی بر ویژگی (که در بخش قبل ملاحظه شد)، تخمین دقیقی از مدل نیست. 
ماهیت تصادفی الگوریتم \lr{RANSAC} باعث می‌شود که گاهی تخمین مدل تبدیل با شیوه‌ی 
ثبت تصویر مبتنی بر ویژگی، بقدر کافی دقیق نباشد. راه حلی که می‌توان استفاده نمود، اصلاح مدل با استفاده از یک شیوه‌ی ثبت تصویر مبتنی بر ناحیه مانند 
روش لوکاس-کاناد \citep{Lucas81iterative} می‌باشد.
\footnote{فرمولبندی مورد استفاده در این بخش برای الگوریتم لوکاس-کاناد با فرمی که در فصل \ref{Chap:registration} بیان شد کمی تفاوت دارد. فرمولبندی ذکر شده در فصل مذکور به گونه‌ای بود که بتوان مسئله را بسادگی نشان داد؛ لیکن این فرمولبندی، که مطابق شیوهٔ \cite{Baker04lucas-kanade20part1} است، کاملاً مناسب مسئلهٔ ما بوده و تا آخر رساله از آن استفاده خواهد شد. }
 کمینه‌سازی تفاوت یک تصویر و تبدیل شده‌ی دیگری روش کلی حل مسئله در این شیوه‌هاست. هدف در شیوه‌ی ثبت تصویر معروف لوکاس-کاناد کمینه‌سازی مجموع مربع تفاضلات زیر بین تصویر آموزشیِ $T(\mathbf{x})$ و نگاشت تصویر ورودیِ $I(\mathbf{x})$ است:
 \begin{equation}\label{eq:CSICC2009_SSD_L2Norm}
    SSD=\sum_x[\IWarp-T(\mathbf{x})]^2
\end{equation}
که در آن در $\IWarp$، نگاشت مختصات تصویر ورودی $I$ بر روی مختصات تصویر آموزشی $T$ می‌باشد.
 کمینه‌سازی (\ref{eq:CSICC2009_SSD_L2Norm}) نسبت به $\mathbf{p}$ انجام می‌شود. 
در شیوه‌ی لوکاس -کاناد فرض بر آن است که در ابتدا تخمینی از مدل دردست بوده و در یک فرآیند تکراری این تخمین بهبود داده می‌شود:

ابتدا عبارت زیر بر اساس $\triangle\mathbf{p}$ کمینه شده:
\begin{equation}\label{eq:CSICC2009_SSD_L2Norm_deltap}
    \sum_x[I(\mathbf{W}(\mathbf{x;\mathbf{p+\triangle p}}))-T(\mathbf{x})]^2
\end{equation}
 و سپس پارامترها بروزرسانی می‌شوند:
\begin{equation}
    \mathbf{p}\leftarrow\mathbf{p+\triangle p}
\end{equation}
دو مرحله‌ی فوق تا مادامیکه الگوریتم همگرا نشده است تکرار خواهند شد. در فرآیند کمینه‌سازی $\mathbf{\triangle p}$ به صورت زیر محاسبه می‌شود:
\begin{equation}\label{eq:CSICC2009_deltap}
    \triangle\mathbf{p} = H^{-1} \sum_x[\nabla I\roundB{W}{p}]^T[T(\mathbf{x})-\IWarp]
\end{equation}
که در آن $H$، ماتریس هسین تقریبی\LTRfootnote{Approximate Hessian Matrix}، به صورت زیر بدست می‌آید:
\begin{equation}\label{eq:CSICC2009_Hessian}
    H = \sum_x[\nabla I\roundB{W}{p}]^T[\nabla I\roundB{W}{p}]
\end{equation}
مدل تبدیل برآورد شده توسط روش مبتنی بر ویژگی در بخش قبل، تخمین اولیه‌ی مورد نیاز این روش می‌باشد.

\subsection{نگاشت تصویر آموزشی}
 حال با در دست داشتن تخمین دقیق مدل تبدیل ($\warp$)، می‌توان تصویر باوضوح بالا را بر روی مختصات تصویر ورودی نگاشت نمود. شکل~\ref{fig:CSICC2009_Dots} نگاشت یک شبکه
از نقاط تصویر آموزشی را روی تصویر ورودی نشان می‌دهد. یکی از مشکلاتی که در تبدیل یک تصویر با آن مواجه می‌شویم، وجود حفره‌هایی 
در تصویر مقصد می‌باشد. این مشکل می‌تواند ناشی از نگاشت دو یا چند نقطه از تصویر مبدأ به یک نقطه از تصویر مقصد باشد. یک راه حل معمول
برای این مسئله درونیابی شدت روشنائی این حفره‌ها با استفاده از پیکسلهای مجاورشان می‌باشد ولی در این قسمت شیوه‌ی نگاشت معکوس زیر اتخاذ شده است.
‌فرض کنید $\mathbf{x}$ یک حفره در نگاشت تصویر آموزشی باشد، نقطه‌ی $\mathbf{y}$ متناظر با آن از تصویر آموزشی به صورت $\mathbf{y}=\warp^{-1}$ برآورد شده، شدت روشنائی $\mathbf{x}$ برابر با  $T(\mathbf{y})$ قرار داده می‌شود. 

\begin{figure}[th]
\centering 
\subfigure[یک شبکه‌ از نقاط روی تصویر \ref{fig:CSICC2009_InputImages:HR1}]{\label{fig:CSICC2009_Dots:HR}
\lr{\includegraphics[width=28mm]{Images_CSICC2009/PointMapping_HR.jpg}}}
\hspace{3mm} 
\subfigure[\rl{نگاشت شبکه‌ی نقاط روی تصویر ورودی}]{\label{fig:CSICC2009_Dots:LR}
\lr{\includegraphics[width=87mm]{Images_CSICC2009/PointMapping_LR.jpg}}}
\caption{نگاشت یک شبکه از نقاط روی تصویر آموزشی بر مختصات تصویر ورودی}\label{fig:CSICC2009_Dots}
\end{figure}

\subsection{\fusion}
 \fusion\LTRfootnote{Fusion} عبارت است از ایجاد یک تصویر از ترکیب دو یا چند تصویر دیگر، به نحوی که اطلاعات مهم آنها محفوظ بماند.  از جمله روشهای \fusion می‌توان  به روش میانگین‌گیری مقادیر پیکسلها، روشهای مبتنی بر آنالیز مؤلفه‌ی اصلی %\LTRfootnote{Principal component analysis}
 و تبدیل موجک %\LTRfootnote{Wavelet transform}
 اشاره نمود\citep{Goshtasby07image,Hill02image}\LTRfootnote{\citeauthor*{Goshtasby07image,Hill02image}}. 

\fusion با تبدیل موجک را می‌توان با $\omega$، تبدیل موجکِ دو تصویر و قانونِ \fusion $\phi$ بیان نمود.
تصویر \fused‌ی $I'(\mathbf{x})$، با استفاده از تبدیل موجک $\omega$، معکوس آن $\omega^{-1}$ و قانون $\phi$  به صورت زیر حاصل می‌شود:
\begin{equation}\label{eq:CSICC2009_fusion}
I'(\mathbf{x})=\omega^{-1}\Big( \phi \big(
\omega(I(\mathbf{x})),\omega(T(\warp^{-1}))\big)\Big) \end{equation}
از آنجا که ضرائب موجک با قدرمطلق بزرگ، حاوی اطلاعات نمایان و مهم تصویر همچون لبه‌ها و خطوط هستند، یک قانون \fusion خوب می‌تواند انتخاب بیشینه‌ی ضرائب متناظر دو تصویر باشد. اما مفروضات این فصل موجب شد که قانون دیگری را مورد استفاده قرار دهیم.  هدف ما تقویت اطلاعات با فرکانس بالای تصویر ورودی (با صرفنظر کردن از نویز تصویر ورودی) با تصویر دیگری است که به فرض اطلاعات مهم را بهتر از تصویر اول نشان می‌دهد؛ فلذا به عنوان قانونِ \fusion، اطلاعات با فرکانس پایین تصویر ورودی و جزئیات با فرکانس بالای تصویر آموزشی مورد استفاده قرار گرفت. این شیوه حتی هنگامی که شدت روشنائی تصاویر متفاوت هستند، همچون مکانیزم همرنگ کردن
\LTRfootnote{Blending} در تصاویر عریض\cite{Brown03recognising} به خوبی عمل می‌نماید.  $I'(\mathbf{x})$ در رابطه‌ی \ref{eq:CSICC2009_fusion}، تصویر ورودی در دور بعد در چارچوب نشان داده شده در شکل \ref{fig:CSICC2009_OneLR_manyHR} خواهد بود. در فصلی جداگانه به صورت مفصل‌تر به مسئلهٔ \fusion و یک شیوهٔ پیشنهادی خواهیم پرداخت.

\section{نتایج پیاده‌سازی}\label{Sec:CSICC2009_ExperimentalResults}
کیفیت بصری تصویر نهائی تولید شده، لازمه‌ی اعتبارسنجی هر الگوریتم \SR است. برخی از مراحل میانی در شکلهای پیشین نشان داده شدند.
شکل \ref{fig:CSICC2009_Mapping} نتیجه‌ی نهائی افزایش وضوح تصویر \ref{fig:CSICC2009_InputImages:LR} را با استفاده از تصاویر آموزشی \ref{fig:CSICC2009_InputImages:HR1}-
\ref{fig:CSICC2009_InputImages:HR3} نشان می‌دهد. نواحی متناظر با تصاویر نگاشت شده با قابهای چهارضلعی نشان داده شده است.  مقایسه‌ی نواحی درون و بیرون چهارضلعی ، کارائی بالای شیوه‌ی پیشنهادی را نشان می‌دهد.
%(به عنوان مثال به پیکره‌ی اهورامزدا دقت شود). 

برای مقایسه‌ چند شیوه‌ی دیگر پیاده‌سازی شده‌اند. به عنوان روش \fusion در روش پیشنهادی در این فصل و روش ارائه شده در \cite{Amintoosi08reconstruction} از تبدیل موجک دوبیشز%\LTRfootnote{Daubechies}
و با 3 سطح استفاده شده است. ضریب بزرگ‌نمایی برای روش ارائه شده در \cite{Amintoosi08reconstruction}، 2 در نظر گرفته شده است. 
%روش میانگین‌گیری پیکسلها نیز پیاده‌سازی شده است که به دلیل کمبود جا از آوردن نتایج آن خودداری شده است.
 روش مبتنی بر مثال ارائه شده در \cite{Freeman02example} نیز به منظور مقایسه پیاده‌سازی شده و برای حفظ سازگاری بلوکهای مجاور از شیوه‌ی پویش سطر به سطر ذکر شده در همان مرجع استفاده شده است. روشهای افزایش اندازه‌ی تصویرِ \lr{Replication} و \lr{Bicubic} در واقع جزو روشهای افزایش وضوح به حساب نمی‌آیند و نتایج آنها صرفاً برای مقایسه آمده است. 

%\cite{Amintoosi09video}
 
فقدان تصویری با وضوح بالا از تصویر ورودی مانع از مقایسه‌ی آنها با معیار مرسوم میانگین مربعات خطا شده است. لذا  از میانگین انرژی تصویرِ \cite{Avidan07seam} به عنوان محک مقایسه استفاده شده است. در فصول آینده با داشتن تصاویری با وضوح بالا، از معیارهای دیگری استفاده خواهیم کرد. برای تصویر $ I$ انرژی تصویر به صورت زیر تعریف می‌شود:
\begin{equation}\label{eq:ImageEnergy}
e(I) = |\frac{\partial}{\partial x}I|+|\frac{\partial}{\partial x}I|
\end{equation}
شکل \ref{fig:CSICC2009_Q_Comparison} مقایسه‌ی کمّی نتایج روشهای مختلف را با معیار فوق‌الذکر نشان می‌دهد. همانگونه که مشاهده می‌شود روش پیشنهادی بالاترین انرژی را دارا می‌باشد.
\begin{figure}[t]
%\centerline{\XeTeXpicfile "Images_CSICC2009/Q_Comparison.eps" width 60mm}
\centering
%\psfrag[][]{Freeman}{9}%\cite{Freeman02example
\includegraphics[height = 50mm]{Images_CSICC2009/Q_Comparison.eps} 
\caption[مقایسه‌ی کمّی نتایج بر اساس انرژی تصویر]{مقایسه‌ی کمّی نتایج بر اساس انرژی تصویر؛  \lr{A} و \lr{B} و \lr{C} به ترتیب بیانگر روشهای ارائه شده در \cite{Freeman02example}، \cite{Amintoosi08reconstruction} و روش پیشنهادی در این فصل می‌باشند.} \label{fig:CSICC2009_Q_Comparison}
\end{figure}

\begin{figure*}[t]
\centering
\includegraphics[width = .9\textwidth]{Images_CSICC2009/Skunkha_AR_AreaBased_XFus.jpg} 
\caption[نتیجه‌ی افزایش وضوح تصویر]{نتیجه‌ی افزایش وضوح تصویر\ref{fig:CSICC2009_InputImages:LR} با استفاده از تصاویر\ref{fig:CSICC2009_InputImages:HR1} تا \ref{fig:CSICC2009_InputImages:HR3}. به منظور مشخص شدن نگاشت تصاویر آموزشی، مرز مربوط به هر ناحیه با یک قاب چهارضلعی نشان داده شده است.} \label{fig:CSICC2009_Mapping}
\end{figure*}
 
 مقایسه‌ی تصاویر شکل \ref{fig:CSICC2009_Katibeh} کیفیت برتر شیوه‌ی پیشنهادی را به خوبی نشان می‌دهد. تصاویر آموزشی به همان ترتیبی که در شکل \ref{fig:CSICC2009_InputImages} آمده‌اند به سیستم داده شده‌اند. اندازه‌ی تصویر ورودی در ابتدا 558×331 بوده است.  اعمال الگوریتم ارائه شده در بخش \ref{Sec:CSICC2009_Resizing} برای تغییر اندازه‌ی تصویر ورودی جهت \fusion اولین تصویر آموزشی با تصویر ورودی منجر به نتیجه‌ای با اندازه‌ی 800×474 شده است (یعنی ضریب بزرگنمایی برابر با 1.43).  دو تصویر آموزشی دیگر نیز به ترتیب اندازه‌ی تصویر ورودی را به 1441×853 و 1630×965 رسانیده‌اند. به این ترتیب تصویر خروجی نهایی 2.9 برابر تصویر ورودی اولیه شده است ($\frac{1630}{558}=2,9$).
%همانگونه که مشاهده می‌شود ورودی و خروجی‌های ما تصاویر رنگی هستند. برخی از عملیات الزاماً روی فرم سطح خاکستری آنها انجام 
%شده و نتیجه‌ی عملیات روی تمام باندهای \lr{RGB} تصویر اعمال شده یا در فضای رنگ \lr{HSV} عملیات تکمیل شده‌اند. 

\section{بحث و کارهای آتی}\label{Sec:CSICC2009_Discussion}
%با تکنیک ارائه شده در این فصل هر کسی می‌تواند کیفیت عکسهای خود را با کمک عکسهای با وضوح بالای موجود بهبود بخشد. این شیوه می‌تواند در میکس و مونتاژ %تصاویر نیز بکار گرفته شود.
در زیر به تنگناهای روش پیشنهادی که هر یک محور کارهای آتی می‌باشد، اشاره می‌شود:

\begin{description}
\item[پارالاکس]، پارالاکس\LTRfootnote{Parallax} (اختلاف منظر)،اختلاف رؤيت با در نظر گرفتن محل ديد ناظر است. به بیان دیگر اگر دوربین 
حول محور خود دوران یافته و جابجا نیز بشود، با مشکل پارالاکس مواجه خواهیم بود. در چنین وضعیتی، هیچ مدل پروجکتیوی نمی‌تواند بیانگر
تبدیل واقعی باشد. این مشکل به لحاظ برجسته بودن نقوش در مثال ما نیز کمی مشهود است (به عنوان نمونه به قسمت پایین پای نفر سمت راست در شکلهای \ref{fig:CSICC2009_InputImages:LR} و \ref{fig:CSICC2009_Mapping} دقت شود). 
\item[سایه]، سایه‌ها (و مخصوصاً در تصاویر آموزشی) علاوه بر آنکه ثبت تصویر را با مشکل مواجه می‌کنند، به لحاظ ایجاد لبه‌هایی کاذب،
 عمل \fusion را نیز متأثر خواهند نمود.
\item[اشیاء متحرک]، مواجهه با اشیاء متحرک یکی از مهمترین مشکلات در بسیاری از مسائل پردازش تصویر و بینائی ماشین منجمله در \SR و 
تصاویر عریض می‌باشد. در مثال مورد استفاده در بخش‌های قبل، با این مشکل مواجه نبودیم، لیکن وجود اشیاء متحرک هم برآورد مدل و هم مرحله‌ی \fusion را تحت تاثیر قرار می‌دهد.  شیوه‌ای مبتنی بر تجزیه‌ی ماتریسها برای این مشکل در \SR پیشنهاد شده است  \citep{Amintoosi87estefadeh,Fathy08outlier}،  که در فصول آینده بیان خواهد شد.
\item[پیدابودن مرزها] با آنکه قاب‌های نمایش داده شده در شکل \ref{fig:CSICC2009_Mapping}، در تصاویر \ref{fig:CSICC2009_Katibeh:Fustruction} و \ref{fig:CSICC2009_Katibeh:AreaBasedXFus} نشان داده نشده‌اند، در این تصاویر مرز نواحی قابل رؤیت است. علت آن است که مرحله‌ی \fusion پیاده‌سازی شده بدون درز\LTRfootnote{Seamless} نبوده است.  در فصل بعد به این مشکل خواهیم پرداخت.

\end{description}

\section{جمع‌بندی}\label{Sec:CSICC2009_Conclusion}
در این فصل شیوه‌ای جدید برای افزایش وضوح یک تصویر با استفاده از یک تصویر آموزشی ارائه گردید. ارائه‌ی روشی برای استفاده از چند تصویر و پیشنهاد یک شیوه‌ی خودکار تعیین میزان تغییر اندازه‌ی تصاویر مورد عمل ناز دیگر پیشنهادات فصل حاضر بود. همچنین از یک روش ثبت تصویر مبتنی بر ناحیه نیز به منظور دقیق‌تر شدن مدل نگاشت تصاویر استفاده شد. با روش ارائه شده برای تغییر اندازه‌ی تصویر ورودی، برخلاف رویه‌ی معمول در الگوریتم‌های \SR که ضریب بزرگنمائی از قبل تعیین می‌شود، ضریب بزرگنمائی به صورت خودکار محاسبه  می‌شود. تصاویر آموزشی می‌توانند تفاوتهایی از نقطه نظر شدت روشنائی، زاویه‌ دید و میزان زووم با تصویر مورد نظر داشته باشند. به خاطر پذیرش این مفروضات، مدل پروجکتیو به عنوان مدل نگاشت تصاویر انتخاب گردید. افزایش وضوح با آمیختن پی‌درپی نگاشت تصاویر آموزشی بر روی تصویر ورودی انجام شد. نتایج پیاده‌سازی‌های انجام شده برتری شیوه‌ی پیشنهادی را در مقایسه با برخی از دیگر روشها نشان داده است.

%نوآوری‌ها: بکارگیری تکنیکهای تصاویر عریض، تغییر اندازه‌ی تصویر ورودی، نحوه‌ی \fusion
%با توجه به محدودیت تعداد صفحات، از ذکر فرمولها خودداری گردید.


\begin{figure*}[t]
\centering 
\subfigure[\rl{روش بزرگنمائی \lr{Replication (Nearest Neighbor)}}]{ \label{fig:CSICC2009_Katibeh:Nearest}
\lr{\includegraphics[width=110mm]{Images_CSICC2009/Skunkha_ARim2Nearest_Cropped.jpg}}}

\subfigure[\rl{روش بزرگنمائی} Bicubic]{ \label{fig:CSICC2009_Katibeh:Bicubic}
\lr{\includegraphics[width=110mm]{Images_CSICC2009/Skunkha_ARim2Bicubic_Cropped.jpg}}}

\subfigure[\rl{روش افزایش وضوح مبتنی بر مثال\cite{Freeman02example}}]{ \label{fig:CSICC2009_Katibeh:Freeman}
\lr{\includegraphics[width=110mm]{Images_CSICC2009/Skunkha_ARFreeman_Cropped.jpg}}}

\subfigure[\rl{روش  ارائه شده در \cite{Amintoosi08reconstruction} } ]{ \label{fig:CSICC2009_Katibeh:Fustruction}
\lr{\includegraphics[width=110mm]{Images_CSICC2009/Skunkha_ARXFus_Cropped.jpg}}}

\subfigure[\rl{روش  پیشنهادی در این فصل}]{\label{fig:CSICC2009_Katibeh:AreaBasedXFus}
\lr{\includegraphics[width=110mm]{Images_CSICC2009/Skunkha_ARAreaBased_XFus_Cropped.jpg}}}

\caption[بزرگ شده‌ی قسمتی از نتیجه‌ی اجرای شیوه‌های مختلف ]{بزرگ شده‌ی قسمتی از نتیجه‌ی اجرای شیوه‌های مختلف برای افزایش وضوح شکل \ref{fig:CSICC2009_InputImages:LR}.}
\label{fig:CSICC2009_Katibeh} %% label for entire figure
\end{figure*}

%\end{comment}