%محمود امین طوسی
\chapter{مقدمه} 


بهبود کیفیت\LTRfootnote{Image Enhanement} و ترمیم\LTRfootnote{Image Restoration} تصاویر و ویدئو از مهمترین مباحث مطرح در حوزه‌ی پردازش تصویر می‌باشد که از دیرباز مورد توجه محققین این 
شاخه بوده است. هدف از تکنیکهای بهبود\index{تصویر!بهبود} و ترمیم تصویر\index{تصویر!ترمیم}، بالابردن کیفیت تصویر است، به نحوی که درک و تفسیر یک بیینده از اطلاعات تصویر افزایش یابد. مواردی همچون حذف نویز، بهبود کنتراست، قطعه بندی\LTRfootnote{Segmentation}، هموارکردن\LTRfootnote{Smoothing} و تیزکردن\LTRfootnote{Sharpening} از مباحث مشهور این دو حوزه می‌باشند. گرایش اصلی در تکنیکهای ترمیم تصویر مدلسازی فرآیند تخریب\LTRfootnote{Degradation} تصویر و اعمال فرآیند معکوس آن به منظور بازیافت تصویر
اصلی می‌باشد. یکی از زمینه‌های نسبتاً جدید در این حوزه،«\SR»\LTRfootnote{Super-Resolution} می باشد. برخلاف شیوه های معمول بهبود کیفیت تصویر و ویدئو که اندازه‌ی تصاویرِ ورودی و خروجیِ الگوریتم یکسان است، در تکنیکهای \SR، تعداد پیکسلها و یا به عبارت دقیق‌تر \res  تصاویر ورودی و خروجی متفاوت است. از این شیوه‌ها در منابع با عنوان بهبودِ \res  \LTRfootnote{Resolution Enhancement} نیز یاد می‌شود.

\section{تعریف مسئله}
هدف در  تصویربرداری \SR \LTRfootnote{Super-Resolution Imaging}، عبارت است از ترکیب یک دنباله از تصاویر با \res پایین، نویزی و مات
                     برای تولید یک تصویر یا یک دنباله از تصاویر با \res بالاتر.
برخلاف تصور عموم، تعداد پیکسلهای یک تصویر معیار مناسبی برای \res یک تصویر نیست. \res تصویر را باید «میزان جزئیات ریزِ قابل دید در تصویر» تعریف نمود.
 %\RTLfootnote{برای بحث بیشتر در مورد «\res» به ضمیمهٔ \ref{Chap:Definitions} مراجعه شود.}.
لذا می توان گفت که متدهای \SR نه تنها با مسئله‌ی تخریب \LTRfootnote{Degradation} در فرآیند تصویربرداری (یا همان 
مسئله‌ی کلاسیک ترمیم تصویر) مواجهند، بلکه باید به برونیابی اطلاعات فرکانسی، فراتر از آنچه که در مشاهدات موجود است، بپردازند.
به عبارت دیگر وظیفه‌ی \SR را می‌توان ترمیم اطلاعات گم شده دانست. شاید در سال  ۱۹۷۷  این مسئله در حد یک افسانه \LTRfootnote{Myth} بوده است \citep{Andrews77book} 
\LTRfootnote{\citeauthor*{Andrews77book}}،
ولی تحقیقات انجام شده عملی بودن آنرا تایید کرده‌اند.
% در عمل بدست آوردن چنین ترکیبی از چند تصویر ساده نیست. 
در حالت کلی دو مسئله‌ی اصلی
  در الگوریتم‌های \SR وجود دارد که بایستی  حل شوند:
\begin{enumerate}
\item {\siah اولاً} باید تمام تصاویر ورودی
 دقیقاً نسبت به هم و روی یک شبکه‌ی مشترک تنظیم شوند (\registration)\LTRfootnote{Registration} و
\item {\siah ثانیاً} بایستی تصویر نهایی از روی این تصاویر تنظیم شده بازسازی شود\LTRfootnote{Reconstruction or Fusion}.
\end{enumerate}
شکل \ref{fig:SR_SchematicDiagram} شمای کلی تکنیکهای \SR را نشان می دهد\citep{Pham06thesis}\LTRfootnote{\citeauthor*{Pham06thesis}}.

\begin{figure*}
\centering{\includegraphics[width=11cm]{fig/SR_SchematicDiagram.eps}}
\caption[نمای کلی تکنیکهای \SR]{نمای کلی تکنیکهای \SR \citep{Pham06thesis} }
\label{fig:SR_SchematicDiagram}
\end{figure*}

 عدم انجام درست هر یک از این دو مرحله باعث می شود که تصویر نهایی خوبی نداشته
                                      باشیم و افزایش \res مثمر ثمر واقع نشود.
%معمولاً یک مرحله‌ی Debluring\\
\begin{center} {\siah مقصود اصلی در تکنیکهای \SR، قادر شدن فرد به تمیز جزئیات بیشتر در تصویر
       نهائیِ با \HR نسبت به تصاویرِ ورودیِ با \LoR است.}
\end{center}
% عموماً اینها اطلاعات فرکانس بالای
% صحنه هستند. روشهای مختلفی برای افزودن چنین اطلاعات با فرکانس بالا به تصویر
% وجود دارد. اگر محتوای تصویر از قبل دانسته باشد، مثلاً تصویر چهره یا نوشتار
% باشد، می توان از این دانش استفاده نمود. داشتن دانشی از مدل تصویر، این اجازه
%  را به ما می دهد که اطلاعات فرکانس بالا را محاسبه نماییم. شیوه های دیگر کلی
 %  تر بوده و از اطلاعات دیگری به جز مدل دقیق برای بازسازی استفاده می نمایند.

   در تکنیکهای «\SR» فرض بر این است که{\iranic تفاوت کوچکی بین تصاویرِ با\LoR
   وجود دارد}. اغلب این اختلافات ناشی از حرکات مختصر دوربین است.
 با اخذ تصاویر بیشتر از یک صحنه، تلاش می‌شود که اطلاعات
    بیشتری برای تولید تصویر نهایی کسب شود.
 در حالت ایده‌آل فرض کنید چهار تصویر داریم که تصاویر دوم تا آخر، به اندازه ی نیم پیکسل
  نسبت به تصویر اول در جهات افقی، عمودی و مورب جابجا شده‌اند. 
 تصویر با\res بالای نهایی می‌تواند با در میان هم قرار دادن پیکسلهای
                                            چهار تصویر مطابق شکل \ref{fig:IdealSuperResolution} بدست آید.

\begin{figure}                                                 
\centering{\includegraphics[width=11.5cm]{fig/IdealSuperResolution.eps}}
\caption[تشکیل تصویر \SR در حالت ایده آل]{ تشکیل تصویر\SR در حالت ایده آل. چهار تصویر اولیه که به اندازه ی نیم پیکسل در جهات افقی، عمودی و مورب نسبت به هم تفاوت مکانی دارند (سمت چپ).
 در تصویر با\res دوبرابر (سمت راست) پیکسلهای آنها مطابق با میزان جابجائی آنها در کنار هم قرار گرفته اند.
}
\label{fig:IdealSuperResolution}
\end{figure}


اما در حالت کلی، میزان جابجائی بین  تصاویر دقیقا نیم پیکسل نبوده و می‌تواند
    هر مقداری داشته باشد. به علاوه در بیشتر کاربردها این پارمترهای حرکت مربوط به ثبت تصویر ناشناخته
 بوده  و باید محاسبه شوند. محاسبه‌ی این پارامترها از وظایف مرحله‌ی \registration می‌باشد که در فصول آینده به تفصیل 
                                                              بیان خواهد شد.

به عنوان یک مثال واقعی از نتیجه‌ی اجرای یک تکنیک \SR، شکل \ref{fig:AI_Crop_Orig} یک دنباله از تصاویرِ \LoR
و شکل \ref{fig:AI_Crop_Res} بزرگ شده‌ی یکی از آنها و نتیجه‌ی اجرای یک تکنیک \SR را روی این تصاویر نشان می دهد. افزایش 
وضوح در تصویر سمت راست کاملاً مشهود است (به عبارت \lr{SECOND EDITION} در دو تصویر دقت شود)
\RTLfootnote{عکسهااز جلد کتاب هوش مصنوعی گرفته شده بوده اند که قسمتی از آنها برای تست انتخاب شده و کوچک شده است. بهبود کیفیت، در فرم چاپی این نوشتار به خوبی مشهود نیست؛  اگر به فایل \lr{pdf} رساله مراجعه گردد بهتر است.}.

\begin{figure}                                                 
\centering{\includegraphics[width=1\textwidth]{fig/AI_Crop_Orig.eps}}
\caption[چهار تصویر با \LoR ]
{چهار تصویر با \LoR که نسبت به هم جابجائی مختصری دارند.}
\label{fig:AI_Crop_Orig}
\end{figure}

% جابجائی مختصر تصاویر در شکل فوق مشهود است. 
\section{کاربردهایی از تکنیکهای \SR}
می‌توان گفت حوزه‌ی کاربرد تکنیکهای \SR در بهبود کیفیت تصاویر و ویدئو به همان گستردگی تکنیکهای بهبود و ترمیم تصاویر و ویدئو می باشد.
همه‌گیرشدنِ عکس برداری و فیلمبرداری رقومی نیاز به \res بیشتر را محسوس‌تر نموده است. مشکلات مربوط به هزینه‌های بالای تجهیزاتی که قادر به ثبت و ضبط تصاویر و
 فیلمهای با کیفیت بالا باشند و مسئله‌ی انتقال این نوع داده ها از گذرگاههایی همچون اینترنت، کاهش حجم و کیفیت تصاویر را به ما تحمیل می کند؛ از طرفی 
همگان خواهانِ \res بالاتر هستند که افزایش هزینه‌های مربوط به حسگرها، وسایل ذخیره‌سازی  و گسترش  پهنای باند از تبعات آن خواهد بود. 
 ممکن است تصور شود که تعویض حسگر با حسگری  قویتر
نیاز به \res بالاتر را مرتفع خواهد ساخت اما باید توجه داشت که:
\begin{enumerate}
\item
ممکن است تعویض حسگر به راحتی مقدور نباشد،
\item
ممکن است تصاویر قبلاً اخذ شده و امکان برداشت مجدد وجود نداشته باشد و
\item
ممکن است هزینه‌ی تعویض حسگر مقرون به صرفه نباشد.
\end{enumerate}

\begin{figure}                                                 
\centering{\includegraphics[width=1\textwidth]{fig/AI_Crop_Res.eps}}
\caption[تصویرِ \SR حاصله]{سمت راست: تصویر \SR حاصله؛  سمت چپ: بزرگ شده‌ی تصویر سمت چپ از شکل \ref{fig:AI_Crop_Orig} با روش \lr{Zero Holding}. 
ضریب افزایش \res و بزرگنمایی، ۲ انتخاب شده بوده است.}
\label{fig:AI_Crop_Res}
\end{figure}

تکنیکهای \SR را می‌توان به عنوان راه حلی کارا در چنین شرایطی درنظر گرفت. استفاده کنندگان  نهایی بدون نیاز به تحمل هزینه‌های فوق الذکر قادر خواهند بود 
تصاویری با وضوحی بالاتر از آنچه حسگرشان فراهم می‌کند داشته باشند.

 تکنیکهای \SR در کاربردهای متنوعی از مصارف خانگی و چندرسانه‌ای گرفته تا کاربردهای پزشکی و نظامی مورد استفاده قرار گرفته اند.
پیدایش شیوه‌های \SR به بهبود کیفیت  تصاویر ماهواره‌ای، برای حصول جزئیات بیشتر قابل تمایز در تصویر توسط %تی‌سای و هوآنگ\LTRfootnote{Tsai , Huang} برمی‌گردد
 \citet{Tsai84multiframe}\LTRfootnote{\citeauthor*{Tsai84multiframe}} برمی‌گردد.
این مورد از مواردی است که نمی‌توان به راحتی دوربین (حسگر) اخذ کننده‌ی تصویر را با یکی دیگر با دقت بالاتر عوض نمود ولی برداشت چند تصویر از یک منطقه امکانپذیر است. پس از کار تی‌سای و هوآنگ، این حوزه به سرعت گسترش پیدا نمود و کاربردهای  متعددی از آنرا می‌توان دید که به برخی از آنها در ذیل اشاره می‌شود\citep{Borman04thesis,Pham06thesis}\LTRfootnote{\citeauthor*{Borman04thesis}}:
\begin{itemize}
\item تصویربرداری ماهواره ای 
\item تصاویر اخترشناسی و نجوم 
\item بهبود و ترمیم ویدئو
\item بازسازی و تبدیل فیلم‌های قدیمی به  قالب \lr{DVD}
\item تصویربرداری پزشکی 
\item ترمیم ویدئوهای کد شده 
\item سیستم‌های مراقبت بینائی 
\item کاربردهای چندرسانه‌ای، خانگی و چاپگرها
\end{itemize}

به جز کاربردهای انجام شده‌ی فوق، تکنیکهای \SR در آستانه‌ی  بکارگیری در تلویریونها، گوشی‌های همراه و دوربین‌ها هستند. بدون تردید  نفوذ روزافزون تکنولوژیهای مرتبط با تصاویر رقومی همچون تلفن های تصویری و ویدئو کنفرانس در زندگی روزمره، اهمیت حوزه \SR و مخصوصاً \SR بلادرنگ را بیش از پیش نمایان خواهد ساخت. 

\section{تئوری مسئله‌ی \SR}

\begin{figure}                                                 
\centering\includegraphics[width=11.5cm]{fig/SR_as_InverseProblem.eps}
\caption[نمایش  شماتیک تشکیل و بازسازی تصویر]
{نمایش  شماتیک تشکیل تصویر و بازسازی تصویر\HR از روی چند تصویر \LoR در یک سیستم تصویربرداری رقومی نمونه. مدل مستقیم، نمایش ریاضی فرآیند تخریب تصویر می باشد. مسئله‌ی معکوس متناظر، بیان کننده‌ی مشکل  بازیابی تصویر اولیه از روی این تصاویر اخذ شده‌ی 
با\LoR می باشد.
 }
\label{fig:SR_as_InverseProblem}
\end{figure}

مسئله ی \SR به شیوه های متعددی توسط محققین مختلف مدلسازی و فرموله شده است. 
در این بخش  برای مدلسازی  مسئله از فرمولبندی  ساده‌ای  که در برخی از مقالات \SR \citep{Elad97restoration,Farsiu03robust}\LTRfootnote{\citeauthor*{Elad97restoration,Farsiu03robust}} ذکر شده است،
 بهره گرفته خواهد شد. سایر روشهای مدلسازی مسئله در  فصول آینده بیان خواهد شد. در این شیوه (شکل\ref{fig:SR_as_InverseProblem}) سعی بر مدل نمودن  سیستم تصویربرداری می‌باشد.
در مدلسازی عموماً سیستم مستقیم مدل شده و بر اساس آن سعی در حل مسئله به عنوان  مسئله‌ی معکوس\LTRfootnote{Inverse Problem} سیستم تصویربرداری می شود 
\RTLfootnote{برای بحث بیشتر در مورد مسائل معکوس به ضمیمهٔ \ref{Chap:Definitions} مراجعه شود.}. از این زاویه، \SR عبارت است از تخمین پارامترهای سیستم تصویربرداری که منجر 
به مشاهدات فعلی شده‌اند.
فرض کنید:
\begin{itemize}
\item $\underline{X}$ با اندازه‌ی $[r^2M^2\times 1]$)، تصویرِ با \HR ی نهایی،
\item $\underline{Y}_k$،  $k^{th}$ تصویرِ با\LoR ورودی،
\item $r$ ضریب افزایشِ \res
\item ماتریس $F_k$ با اندازه‌ی $[r^2M^2\times r^2M^2]$ بیانگر عملگر حرکت هندسیِ بین تصویرِ با\HR ی   $\underline{X}$ 
 و $k^{th}$ تصویر با\LoR  ورودی $\underline{Y}_k$ ،
\item $H$ با اندازه‌ی $[r^2M^2\times r^2M^2]$ بیانگر تابع پخش نقطه‌ایِ دوربین\LTRfootnote{The camera's point spread function (PSF)}،
\item $D$ با اندازه‌ی $[M^2\times r^2M^2]$ عملگر نمونه‌بردار\LTRfootnote{Decimation Operator}،
\item $V$ با اندازه‌ی $[M^2\times 1]$ نمایشگر نویز سیستم و 
\item $N$ تعداد تصاویر با\LoR ورودی 
\end{itemize}
باشند. \RTLfootnote{ متغیرهای زیرخط دار فرم ستونی شده‌ی ماتریس تصویر می‌باشند.} 

مدل مشاهده را می‌توان به صورت زیر داشت:
%{rearranged in lexicographic order}.

\begin{equation}
 \underline{Y}_k = DHF_k \underline{X}+ \underline{V}_k ,\quad
    k=1,\ldots,N
\end{equation}

فرض بر آن است که عملگرهای $D,H$ برای تمام تصاویر ورودی یکسان هستند. 
 در مدل فوق، تصویر نهایی \lr{$\underline{X}$}، و عملگرهای $H$ و $D$ و نویز سیستم مجهول هستند. با این فرض که ماتریسهای مذکور قابل بدست آوردن هستند و صرفنظر 
نمودن از نویز سیستم، می توان فرمولبندی مسئله‌ی \SR را از دیدگاه بهینه سازی به  صورت  زیر نوشت:
\begin{equation}
\underline{\hat{X}}=\mathop{{Arg\,Min}}_{\underline{X}}
\Big[\sum_{k=1}^N \rho \big( DHF_k \underline{X},\underline{Y}_k \big)
\Big] \label{eq:SR_formulation1}
\end{equation}
که در آن $\rho$ معیاری برای سنجش فاصله‌ی بین مدل و مشاهدات است.
شکل\ref{fig:SR_FormulationModel} نمایش شماتیک مدل فوق‌الذکر می‌باشد.

\begin{figure}                                                 
\centering{\includegraphics[width=11.5cm]{fig/SR_FormulationModel.eps}}
\caption{مدل  تخریب برای مسئله‌ی \SR }
\label{fig:SR_FormulationModel}
\end{figure}

اگر مدل فوق را به صورت ساده‌تر به صورت \lr{$\underline{Y} = M \underline{X}+ \underline{V}$} بازنویسی کنیم که در آن $M$ به جای $DHF$ آمده است، جواب \lr{$\underline{X}$}
را می‌توان با استفاده از تکنیک شبه‌معکوس به صورت زیر داشت:
\begin{eqnarray}
 \underline{X} = (M^TM)^{-1}M^T \underline{Y}
\end{eqnarray}
متاسفانه ابعاد بزرگ ماتریس $M$ محاسبات را تقریباً غیرممکن می‌نماید. بعلاوه منفرد بودن و \lr{ill-condition} بودن ماتریس مدل $M$ انجام محاسبات را به چالش می‌کشد.
در اینجا لزوم لحاظ نمودن نوعی از \lr{regularization} در تابع هدف آشکار می‌شود.
مدل فوق، مدلی ساده است و فقط به ایجاد یک تصویر با \HR از روی چند تصویر با \LoR اشاره دارد.
\begin{comment}
 مدل زیر نمونه ای از دیگر مدلهاست که برای تخمین همزمان تصویر با\HR و
پارامترهای حرکتی استفاده شده است \citep{Katsaggelos07book}:
\begin{eqnarray*}
\hat{f}_k ,\hat{d}_{l,k} & = & \mathop{{Arg\,Min}}_{\hat{f}_k ,\hat{d}_{l,k}}
\Big[
(y_l - A_lH_lC(d_{l,k})f_k )^tK^{-1}_Q (y_l - A_lH_lC(d_{l,k} )f_k )\\
 & + & \big(MC_l(y_l^P, v_l ) - A_lH_lC(d_{l,k} )f_k\big)^tK^{-1}_{MV} \big(MC_l( y^P_l , v_l)\\
& - & A_lH_lC(d_{l,k} )f_k\big)\\
 & + & \lambda_m || Qd_{l,k}||^2 + \lambda_1 ||Q_1f_k||^2 +\lambda_2 ||Q_h f_k||^2 +\lambda_3||Q_vf_k||^2
\Big]
\end{eqnarray*}
%فعلاً از توضیح پارامترهای رابطه‌ی فوق اجتناب می‌کنیم.
هدف از ذکر فرمول اخیر در اینجا فقط نمایش پیچیدگی مسئله در حالت کلی‌تر می‌باشد. 
\end{comment}
\section{مروری بر سابقه‌ی تاریخی مسئله‌ی \SR}
در این بخش مروری مختصر بر تاریخچه و مهمترین رهیافتها در حوزه‌ی \SR داشته و ساختاری  سلسله مراتبی برای گونه‌های مختلف آنرا خواهیم دید. توضیح 
بیشتر را به فصول آتی موکول می نماییم.
از منظر حوزه‌ی کاری می توان تحقیقات در زمینه‌ی \SR را به دو گروه «حوزه‌ی فرکانس 
\LTRfootnote{Frequency Domain}
(مبتنی بر تبدیل فوریه)»\citep{Tsai84multiframe,Vandewalle06thesis,Vandewalle06frequency}
\LTRfootnote{\citeauthor*{Vandewalle06frequency}}
 و «حوزه‌ی مکان\LTRfootnote{Spatial Domain}» \citep{Hardie97joint,Humblot05superresolution,Schultz96extraction}
 \LTRfootnote{\citeauthor*{Hardie97joint,Humblot05superresolution,Schultz96extraction}}
تقسیم نمود.
%Farsiu04fast,
 گرچه که تئوری محکم فوریه و سادگی مدلسازی مسئله در این حوزه، نقطه‌ی قوتی برای  متدهای دسته‌ی اول محسوب می‌شود، لیکن عدم انعطاف این شیوه‌ها در مواجهه با سیستم‌هایی که متضمن مدل حرکتی غیر از مدل \gtm  هستند،کاربرد آنها را محدود ساخته و از اقبال کمتری نسبت به متدهای دسته‌ی دوم برخوردارند. در مقابل متدهای دسته دوم به دلیل توانائی در لحاظ کردن انواع مدلهای حرکتی به صورت گسترده‌ای بکار گرفته شده‌اند.

نگاهی به مقالات منتشره در زمینه‌ی \SR روشن می‌سازد که رهیافت‌های متعددی بکار گرفته شده‌اند که از آنجمله می توان به موارد زیر اشاره نمود:
\begin{enumerate}
\item متدهای درونیابی غیریکنواخت 
\item متدهای \lr{Iterative back projection}
\item  متدهای تصادفی 
\item متدهای مبتنی بر \lr{Regularization}
\item متدهای مبتنی بر یادگیری
\item متدهای مبتنی بر زنجیره‌ی مارکوف و شبیه‌سازی مونت کارلو 
\item متدهای حوزه‌ی فرکانس
\item افکنش روی مجموعه‌های محدب 
\item فیلترهای وفقی 
\item متدهای حوزه‌ی موجک 
\end{enumerate}
مهمترین این رویکردها در فصول آینده مورد بررسی قرار خواهند گرفت. 

\subsection{اجزاء یک سیستم \SR}
یک سیستم \SR در حالتی کلی‌تر نسبت به آنچه در بخش اول ذکر شد، از چهار جزء زیر تشکیل می‌شود \citep{Pham06thesis}:
\begin{enumerate}
\item \registration \lr{(Image Registration)}
\item ترکیب (بازسازی) تصویر با \HR \lr{(SR Fusion (Recunstruction))}
\item ترمیمِ تصویر با \HR ی حاصل از مرحله‌ی قبل \lr{(SR Restoration)}
\item \synthesis \SR \lr{(SR Synthesis)}
\end{enumerate}

\subsubsection{\registration}
هدف از مرحله‌ی \registration پیدا کردن تبدیل هندسی بین دو یا چند تصویر از یک صحنه است. در حالت کلی، باید تناظری یکتا بین یک نقطه از یک تصویر 
و نقطه‌ای دیگر از تصویر دوم  به نحوی پیدا نمود که هر دو نشاندهنده‌ی یک نقطه از صحنه باشند. این فرم از \registration مانند شار نوری 
\LTRfootnote{Optical flow} یک مسئله‌ی \illposed 
\RTLfootnote{تعریف مسائل \illposed در ضمیمهٔ \ref{Chap:Definitions} آمده است. } بوده و فقط  با استفاده از \regularization \RTLfootnote{برای اطلاع از تعریف \regularization  
 به  ضمیمهٔ \ref{Chap:Definitions}  مراجعه شود.} به صورت تقریبی قابل حل می‌باشند.

مسئله‌ی \registration یکی از مسائل مشهور در حوزه‌ی پردازش تصویر و بینائی ماشین می‌باشد و روشهای زیادی برای مواجهه با آن ارائه شده است. بااینحال این روشها را می‌توان به دو دسته‌ی کلیِ {\iranic مبتنی بر ویژگی}\LTRfootnote{Feature-based methods} و {\iranic مبتنی بر ناحیه}\LTRfootnote{Area-based methods} تقسیم‌بندی نمود. متدهای دسته‌ی اول در برابر انطباق‌های نادرست \LTRfootnote{False matches} مقاوم\LTRfootnote{Robust} نیستند. به علاوه نیازمند تعداد زیادی 
%\LTRfootnote{عبارت «تعداد زیاد» را به عنوان معادلی برای
%over-determined number آورده‌ام، که معادل خوبی نیست ولی معادل بهتری سراغ نداشتم. برای بحث بیشتر به ضمیمه مراجعه شود.}
از نقاط متناظر برای حصول به یک دقت خوب هستند. از طرف دیگر متدهای مبتنی بر ناحیه، در صورت مقداردهی اولیه‌ی مناسب می‌توانند به نتایجی با دقت بالا منتهی شوند. هر یک از این دو مقوله مزایا و معایبی دارند و از هر دو شیوه در الگوریتم های \SR و در این رساله استفاده شده است. مسئله‌ی \registration در ادبیات \SR با نامهای{\iranic تخمین حرکت \LTRfootnote{Motion Estimation}} و {\iranic تصحیح حرکت \LTRfootnote{Motion Compensation}} نیز شناخته می‌شود و قرابت نزدیکی با مسئله‌ی {\iranic تطابق تصویر \LTRfootnote{Image Matching}} در دید استریو دارد. 

%\registration فتومتریک \LTRfootnote{Photometric registration} نیز از جمله زمینه‌های جدید \registration است که اخیراً در برخی مقالات \SR برای مواجهه با شرایطی که شاهد تغییرات نور تصویر هستیم (مانند تغییر خودکار دهانه‌ی دیافراگم دوربین) مورد توجه قرار گرفته است \cite{Gevrekci07superresolution}. 

%%%%%%%%%%
\subsubsection{آمیختن (ترکیب) تصاویر}
آمیختن تصاویر در \SR عبارت است از ترکیب نمونه‌های با \LoR و تصحیح حرکت شده به منظور ایجاد یک تصویر با \HR. عمل ترکیب می‌تواند در حوزه‌ی فوریه یا حوزه‌ی مکان باشد. 

اخیراً شاهد رشد تحقیقات در زمینه ترکیبِ مقاوم نسبت به خطاهای ثبت‌تصویر و \outliers هستیم
\citep{Eren97robust,Farsiu03robust,Pham06robust,Zomet01robust}
\LTRfootnote{\citeauthor*{Eren97robust,Farsiu03robust,Pham06robust,Zomet01robust}}.
  تکنیک‌های معدودی را می‌توان یافت که بتوانند با وجود \outliers به خوبی عمل نمایند . نویز، زووم و اشیاء متحرک در فریمها جزو این \outliers محسوب می شوند \citep{Farsiu03robust}. بسیاری از شیوه‌های مواجهه با مسئله‌ی \SR این مرحله و مرحله‌ی بعد (ترمیم) را در یک مرحله ترکیب نموده‌اند.

\subsubsection{ترمیم تصویرِ با \HR}
معمولاً تصویر با \HR ی تولیدی از مرحله‌ی قبل متاثر از مات شدگی اپتیکی  و حرکتی\LTRfootnote{Optical blur \& Motion blur} می‌باشند که برای تقویت اطلاعات با فرکانس بالای تصویر نیازمند نوعی از ترمیم خواهیم بود. این ترمیم می‌تواند با استفاده از یک فیلتر وینر\LTRfootnote{Wiener Filter}
\citep{Gonzalez02book}\LTRfootnote{\citeauthor*{Gonzalez02book}}
در حوزه‌ی فوریه یا  در حوزه‌ی مکان مانند روش  \cite{Shi06image}\LTRfootnote{\citeauthor*{Shi06image}} صورت پذیرد.

\subsubsection{\synthesis}
منظور از \synthesis در \SR دسته‌ای از الگوریتم‌هاست که با استفاده از یک دانش پیشین سعی در بهبود وضوح تصاویر ورودی دارند
\citep{Baker00hallucinating,Kong06video,Pham06thesis}\LTRfootnote{\citeauthor*{Baker00hallucinating,Kong06video}}.

مقالات مرتبط با این موضوع از آن به عنوان روشهای مبتنی بر مثال نیز یاد می‌کنند\citep{Freeman02example,Kondo07example}\LTRfootnote{\citeauthor*{Freeman02example,Kondo07example}}. در این شیوه‌ها به جای 
استفاده از متدهای ترمیم تصویر، اطلاعات فرکانس بالای مورد نیاز برای بازسازی تصویر با \HR ی نهایی را از یک پایگاه داده از تصاویر استخراج می کنند. این تصاویر آموزشی می‌توانند تصاویری از همان صحنه و یا حتی تصاویری از روی اینترنت باشند. برای آن دسته از الگوریتم‌های این گروه  که مبتنی بر مدل می‌باشند، \cite{Baker02limits}\LTRfootnote{\citeauthor*{Baker02limits}} نام جدیدی با عنوان \label{@recogstrucion@}
{\iranic \recogstruction} 
\RTLfootnote{کلمه‌ی $recogstruction$ از ترکیب ابتدا و انتهای دو کلمه‌ی $\underline{recog}nition$  و $recon\underline{struction}$ حاصل شده و بر همین اساس  کلمه‌ی «{\recogstruction}» از ترکیب دو کلمه‌ی \underline{بازشنا}سی و باز\underline{سازی}، به عنوان معادل فارسیِ آن در این پروژه پیشنهاد می‌شود.}
%\LTRfootnote{کلمه‌ی $recogstruction$ از ترکیب ابتدا و انتهای دو کلمه‌ی $recog$nition و recon$struction$ حاصل شده و بر همین اساس
% کلمه‌ی «{\iranic \recogstruction}» از ترکیب دو کلمه‌ی {\iranic بازشنا}سی و باز{\iranic سازی}، به عنوان معادل فارسیِ آن در این پروژه پیشنهاد شده است.}
 را نیز مطرح نموده‌اند. تمرکز اصلی این پروژه بر روی این قسمت می‌باشد.

\subsection{ روند پیشرفت ساختاری \SR}
روند تکامل متدهای \SR در شکل \ref{fig:SR_Hierarchy1} نشان داده شده است.
پایه‌ی متدهای \SR را می‌توان بر افزایش \res یک تصویر استوار دانست که شامل همان متدهای ترمیم تصویر معمولِ \cite{Gonzalez02book}  و متدهای دیگری می‌شود \citep{Freeman02example,Kondo07example}که اخیراً ارائه شده‌اند. 
در سطح بعد تلاشها در زمینه‌ی \SR به حصول یک تصویر با \HR از روی یک دنباله  از تصاویر با \LoR (یک ویدئو) برمی‌گردد. بیشتر مقالات و تحقیقات انجام شده در این رده قرار دارند. 

پس از آن در سطح بعد تحقیقات چندی معطوف به  تولید یک ویدئوی با \HR از روی یک ویدئوی با \LoR هستند\citep{Ben-Ezra05video,Bishop03superresolution,Farsiu06video,Kong06conditional,Kong06video}
\LTRfootnote{\citeauthor*{Ben-Ezra05video,Bishop03superresolution,Farsiu06video}}
.
% به تازگی در این زمینه  شاهد نرم‌افزاری به نام \lr{MotionDSP} \LTRfootnote{\url{http://www.motiondsp.com/}} نیز هستیم که به کاربر اینترنت اجازه می دهد فیلمهای با \LoR خود را به فیلمهایی با \HR تبدیل نماید.

 در کنار افزایشِ \res مکانی، گروهی نیز به مسئله‌ی  افزایش \res زمانی\LTRfootnote{Temporal} توجه نشان داده‌اند.  هدف آنها تولید یک ویدئو با نرخ فریم بر ثانیه‌ی بیشتر نسبت به ویدئوی ورودی بوده است. پروژه‌ی حاضر را می‌توان در سطح ۳ این ساختار سلسله مراتبی دانست.
ترکیب دو مورد اخیر به مسئله‌ی افزایش وضوح مکانی-زمانی ویدئو می‌انجامد که به عنوان بالاترین سطح مسئله‌ی \SR در حال حاضر مطرح می‌باشد \citep{Shechtman02increasing,Shechtman05space,Watanabe06video}\LTRfootnote{\citeauthor*{Shechtman02increasing,Watanabe06video}}. 




\begin{figure}[t]
\centering{{\includegraphics[width=11cm]{fig/SR_Hierarchy1.eps}}}
\caption{ساختار سلسله مراتبی تاریخچه‌ی \SR}
\label{fig:SR_Hierarchy1}
\end{figure}

\section{کلیات رساله }

هدف اصلی این پروژه بر روی نوعی از متدهای \SR می باشد که به عنوان ورودی یک دنباله‌ی ویدیوئی از تصاویر با\LoR و یک مجموعه از تصاویر با\HR را دریافت نموده و یک ویدئو با\HR تولید می‌نماید.
 
اخیراً \cite{Lin04fundamental} \LTRfootnote{\citeauthor*{Lin04fundamental}} نشان داده‌اند که
 استفاده از روشهای مبتنی بر بازسازی برای حصول ضریب بزرگنمائی\LTRfootnote{Magnification factor} بالاتر، مطلوب نبوده و  بایستی به روشهای دیگری همچون روشهای مبتنی بر مدل یا مبتنی بر مثال توجه نمود. این شیوه‌ها اطلاعات با فرکانس بالا را از  یک پایگاه داده از تصاویر آموزشی استخراج نموده و به تصویر با وضوح پایین اضافه می‌نمایند. این روش‌ها به لحاظ آنکه نویدبخش غلبه  بر برخی محدودیت‌های مبتنی بر بازسازی هستند، توجه ویژه‌ای را در چند سال اخیر به خود معطوف نموده‌اند. 
 
 در روشهای قبلی مبتنی بر مثال \citep{Hertzmann01image,Baker00hallucinating,Freeman02example}\LTRfootnote{\citeauthor*{Hertzmann01image}}، در مرحله‌ی آموزش، زوجهایی 
 از بلوکهای متناظر تصاویر وضوح پایین و وضوح بالا گردآوری می‌شود. سپس نزدیکترین بلوک با وضوح پایین ذخیره شده به هر بلوک  از نمونه تصویر با وضوح پایین ورودی پیدا می‌شود.  در نهایت اطلاعات فرکانس بالای بلوک با وضوح بالای متناظر با بلوک پیدا شده به بلوک ورودی  افزوده می‌شود. 
 %در \cite{Freeman02example} به منظور اطمینان از سازگاری اطلاعات با فرکانس بالای بلوکهای مجاور، دو شیوه بکار برده شده است: الف) یک
 %شبکه مارکوفی به همراه الگوریتم \lr{belief propagation} و ب) یک شیوه یک مرحله‌ای متناظر با پویش سطربه سطر و مشابه با شبکه مارکوف. 
 % مقالات مبتنی بر مثال فوق همگی از بلوکهای کوچک (5×5 و 7×7) استفاده نموده‌اند. 
 
 شیوه‌ی پیشنهادی در این رساله مبتنی بر نگاشت کل تصویر آموزشی بر روی  تصویر ورودی می‌باشد. این روش عمومیت روشهای قبل را ندارد اما در حالتیکه تصاویرِ باوضوح بالا از قسمتهایی از صحنه در دسترس باشند نتایج بسیار خوبی می‌تواند تولید کند. 
 تصاویرِ با وضوح بالا از نقطه نظرهای ذیل می‌توانند با تصویر ورودی متفاوت باشند:
\begin{description}
\item[زاویه‌ی تصویربرداری]، زاویه‌ی تصویربرداری تصاویر مختلف آموزشی و ورودی می‌تواند متفاوت باشد. البته اختلاف زاویه باید به نحوی باشد که عمل
نگاشت تصویر با مدل پروجکتیو\LTRfootnote{Projective} امکانپذیر باشد.
\item[شدت روشنائی]، جابجا شدن دوربین و خودکار بودن زمان نوردهی\LTRfootnote{Exposure time} و برداشت عکس در زمانهای مختلف یا 
توسط دوربین‌های متفاوت باعث می‌شود که تصاویری با شدتهای روشنائی متفاوت داشته باشیم. 
\item[وضوح]، متفاوت بودن دوربین‌ها، تغییر زووم و تغییر دستی میزان وضوح مورد نظر در دوربین سبب می‌شود که تصاویری با وضوح مختلف داشته باشیم.
\end{description}

موارد زیادی را می‌توان شمرد که در آنها شرایط فوق را داریم. شماری از این حالات که خود بیانگر کاربردهایی از شیوه‌ی پیشنهادی می‌باشند به شرح زیر است:
%{\setlength{\baselineskip}{.5\baselineskip}
\begin{itemize}
\item[-] دارنده‌ی دوربین به خاطر محدودیت حافظه‌ی دوربین، عکس‌هایی با وضوح متفاوت می‌گیرد.
\item[-] به صورت ناخواسته، دوربین روی وضوح پایین تنظیم شده بوده است.
\item[-] گرفتن عکس از صحنه از زوایای مختلف توسط یک یا چند نفر و در زمانهای متفاوت امری طبیعی است.
\item[-] گاهی به خاطر محدودیت میدان دیدِ\LTRfootnote{Field of view} دوربین به ناچار عکسی از تمام صحنه با وضوح پایین و تصاویری از اجزای
با اهمیت‌تر صحنه ولی با وضوح بالاتر اخذ می‌کنیم.
\item[-] به لحاظ محدودیت‌های دوربین (همانند دوربین بسیاری از گوشی‌های تلفن‌های همراه) عکس با وضوح بالا و فیلم با وضوح پایین داریم.
\end{itemize}
%\par}

در هر یک از موارد فوق بهبود وضوح تصاویرِ باوضوح پایین، با استفاده از تصاویر با وضوح بالا مطلوب می‌باشد. 



%مبتنی بر استفاده از \patch های مربعی کوچک به عنوان مجموعه‌های آموزشی می‌باشند. ایده‌ی اصلی در این پروژه  انجام کار در سطحی 
%بالاتر از \patch -به عنوان مثال در سطح شییء یا کل تصویر- می‌باشد. از بین چهار مرحله‌ی اصلی مسئله‌ی \SR ، در این پروژه 
%تلاش اصلی معطوف به جزء چهارم (\synthesis) خواهد بود. 
%
%
%\begin{figure}                                                 
%\centering{\includegraphics[width=14cm]{fig/Framework1.eps}}
%\caption{چارچوب کلی شیوه‌ی پیشنهادی}
%\label{fig:Framework1}
%\end{figure}
%
%چارچوب شیوه‌ی پیشنهادی در شکل \ref{fig:Framework1} آمده است.
%جزئیات راهکارهای پیشنهادی به همراه مشکلات فرارو در فصل 
%«پیشنهاد رساله» به تفصیل بیان شده است. 
%به صورت خلاصه باید گفت که در شیوه‌ی پیشنهادی از مفاهیم موجود در حوزه‌ی \panorama بهره گرفته شده است.
% در اصلی‌ترین راهکار پیشنهادی،  تصاویر \HR ، با استفاده از تکنیکهای مورد استفاده در حوزه‌ی پانورما به روی تصاویر \LoR نگاشت شده 
%و کیفیت  هر فریم  \LoR از طریق ترکیب اطلاعات با فرکانس بالای تصویر نگاشت شده بهبود داده خواهد شد. 
%یکی از مشکلاتی که در شیوه‌ی پیشنهادی - و در بسیاری از مسائل حوزه‌ی پردازش تصویر- با آن مواجه هستیم، جابجائی اشیاء در صحنه می‌باشد.
%اخیراً نگارندگان کارائی استفاده از تجزیه‌ی QR\LTRfootnote{QR Decomposition} را به عنوان متدی برای شناسائی اشیاء متحرک صحنه و تشخیص زمینه 
%با دو مقاله در کنفرانسهای ICASSP2007 \cite{Amintoosi07icassp} و ICICS2007 \cite{Amintoosi07icics} نشان داده و یک مقاله 
%نیز در زمینه‌ی استفاده از این ایده در حوزه ی \SR به کنفرانس IPCV2008 \cite{Fathy08outlier} 
%ارسال نموده‌اند که مورد پذیرش قرار گرفته است.
%مقالات فارسی: \cite{Amintoosi87estefadeh,امین‌طوسی۸۷افزایش}
% توضیح بیشتر در این زمینه را به فصول آتی موکول می کنیم.
%%\subsubsection{راهکارهای مورد استفاده}
%
%% راهکارهای کلی  پیشنهادی این پروژه به شرح ذیل می‌باشند:
%%\begin{enumerate}
%%\item دخیل کردن  مفاهیم موجود در منابع \panorama\LTRfootnote{Panorama} در حوزه‌ی \SR و
%%\item استفاده از مفاهیم جبرخطی و به خصوص تجزیه‌ی ماتریس‌ها؛
%%\item ترکیب متدهای \registration مبتنی بر ناحیه و مبتنی بر ویژگی برای نیل به هدف؛
%%\item استفاده از مفاهیم جدید در جبرخطی 
%%\end{enumerate}
%
%%در مورد راهکار اول باید گفت ایجاد تصاویر پانوراما یا عریض (از طریق کنار هم گذاشتن چند تصویر از یک منظره) سابقه تحقیقاتی طولانی 
%%دارد\cite{Brown03recognising}. مشابهت این مسئله و مسئله‌ی \SR در حالت خاص مورد نظر این پروژه آن است که معمولاً فریمهای یک ویدئو 
%%با هم اختلاف کمی داشته و متدهای \registration مبتنی بر ناحیه به خوبی عمل می‌نمایند. ولی در مورد \registration 
%%بین تصاویر \HR و فریمهای \LoR همان مشکلاتی را داریم که در مسائل پانوراما با آن مواجه هستیم.
%% نگاهی به تکنیکهای بکاربرده شده در 
%%پانوراما همچون ویژگیهای نامتغیر با مقیاس (SIFT)\cite{Brown02invariant,Lowe04distinctive}
%% قطعاً در ادامه‌ی کار تاثیر بسزائی خواهد داشت.
%% در این زمینه راهکارهایی  برای مسئله‌ی \SR ، در این نوشتار
%%پیشنهاد و پیاده‌سازیهایی توسط نگارنده انجام شده که نتایج  آنها در فصول آتی خواهد آمد. 
%%با استفاده از نتایج بدست آمده مقاله‌ای در حال آماده سازی می‌باشد.  \\
%
%%راهکار دیگر پیشنهادی استفاده از مفاهیم 
%%جبر خطی می‌باشد\cite{Golub96book}. جبرخطی کاربردهای گسترده‌ای در زمینه‌ی تحلیل سیستم‌های \SR دارد \cite{Baker02limits,Lin04fundamental}.
%%در این زمینه کارهایی را انجام داده و برخی هم در حال انجام است.
%% که امید زیادی به ثمربخش بودن آنها داریم.
%% یکی از مسائلی که می‌توان گفت  در هر دو راهکار فوق مشترک است، شناسائی زمینه و شناسائی اشیاء متحرک صحنه می‌باشد.
%%هدف در این پروژه حصول شیوه ای با پایداری بالا نسبت به حضور اشیاء متحرک می باشد. 
%این حوزه  یکی از زمینه‌های نوپای تکنیکهای \SR بوده و اهمیت و کاربرد زیادی دارد.
%امروزه ابزار تصویربرداری ارزان قیمت که قادر به اخذ فیلمهای با\LoR و عکسهای با\HR هستند در دسترس همگان قرار داشته و در مصارف 
%متعددی بکار گرفته شده و می‌شوند، افزایش وضوح این فیلمها با استفاده از تکنیکهای \SR کاربردی پر طرفدار از این مقوله خواهد بود.
%اهمیت این مسئله با توجه به کاربردهای ذکر شده در مقدمه، کاربردهای بلادرنگ  و به خصوص همه‌گیر شدن فیلمبرداری، عکسبرداری، اینترنت و نیم نگاهی به آینده‌ی 
%تلویزیونها واضح و مشخص  است. بی تردید هر تلاشی در راستای بالابردن کیفیت ویدئوها در کنار کاهش حجم داده‌ها، جایگاه  ویژه‌ای در هر یک از مباحث 
%مذکور خواهد داشت. بنا به اهمیت کاربردهای بلادرنگ سعی خواهد شد در ارائه‌ی راهکارها، مسئله‌ی پیچیدگی محاسباتی آنها نیز مورد 
%توجه قرار گیرد.
%
%نگاهی مجدد به زمینه‌ی خاص مورد نظر این پروژه که عبارت است از{\siah «بهبود کیفیت تصاویر ویدئو با استفاده از تکنیکهای \SR با 
%استفاده از عکس‌های با\HR»} حجم زیاد کار را نشان می‌دهد. حتی امروزه نیز شاهد پروژه‌های دکتری در زمینه‌ی صرفاً تصاویر هستیم؛
%اما این پروژه در یک سطح بالاتر، با ویدئو مرتبط‍ شده است. از طرفی متدهای معمول مورد استفاده در \SR برای \registration ، شیوه‌های 
%مبتنی بر ناحیه هستند، در حالیکه در این پروژه هر دو روش \registration (مبتنی بر ناحیه و مبتنی بر ویژگی) مورد نیاز خواهد بود. 
%به علاوه برخلاف برخی از پروژه‌ها که شاید بتوان روی هر یک از اجزاء به تنهایی کار نمود، مراحل تکنیکهای \SR حالت متوالی داشته و 
%حصول نتایج نهایی مستلزم یکپارچگی کل سیستم است  که باعث پیچیده‌تر شدن کار خواهد شد.
%% متضمن اعمال شیوه‌های مهندسی نرم‌افزار در توسعه‌ی سیستم می‌باشد.
%%از آنجا که معمولِ پروژه های \SR \cite{Borman04thesis,Farsiu05thesis,Pham06thesis} از بین چهار جزء یک سیستم \SR به دو مسئله‌ی \registration و \SR به صورت خاص می‌پردازند
%
% در ادامه در ابتدا مروری بر برخی از روشهای \registration  داشته و سپس به برخی از شیوه‌های بازسازی خواهیم پرداخت. پیشنهادات،  
%ایده‌ها و مشکلات پیش‌رو در فصلی مجزا عنوان شده‌اند.