\chapter{مروری بر روش‌های \SR}  \label{Chap:SRliteratures}   
تکنیکهای \SR هم بر روی تصاویر ثابت\LTRfootnote{Still images} و هم برای ویدئو مورد تحقیق قرار گرفته‌اند. 
تکنیکهای \SR را می‌توان به دو دسته‌ی 
کلی تقسیم نمود: {\it تکنیکهای مبتنی بر حرکت} \LTRfootnote{Motion-based techniques} و {\it تکنیکهای مستقل از حرکت}\LTRfootnote{Motion-free approaches}.
 تکنیکهای مبتنی بر حرکت از حرکت نسبی بین تصاویرِ با دقت پایین به عنوان ابزاری برای تخمین تصویر با \res بالاتر بهره می گیرند. در حالیکه 
متدهای دسته ی دوم از ویژگیهایی همچون مات شدگی \LTRfootnote{Blue}، زووم\LTRfootnote{Zoom} و سایه\LTRfootnote{Shading} به این منظور استفاده می‌کنند.
البته متدهایی هم هستند که از تصاویر آموزشی برای اکتساب اطلاعات موردنیاز افزایش دقت بهره می‌گیرند \citep{Freeman02example,Kondo07example}.
متدهای اخیر در این پروژه از اهمیت شایانی برخوردارند. مهمترین رهیافت های مواجهه با مسئله‌ی \SR را 
می‌توان به صورت زیر برشمرد:
\begin{enumerate}
\item متدهای درونیابی غیریکنواخت %(Nonuniform interpolation)
\item متدهای \lr{Iterative back projection}
\item  متدهای تصادفی 
\item متدهای مبتنی بر \lr{Regularization}
\item متدهای مبتنی بر یادگیری% (Learning based methods)
\item متدهای مبتنی بر زنجیره‌ی مارکوف و شبیه‌سازی مونت کارلو %(Markov Chain Monte Carlo-MCMC)
\item متدهای حوزه‌ی فرکانس% (Frequency domain)
%\item سایر متدها
%\item متدهای مقاوم در برابر \outlier
%\item افکنش روی مجموعه های محدب (Projection onto convex sets)
%\item فیلترهای وفقی (Adaptive filtering)
\end{enumerate}
%بیشتر تحقیقات انجام شده از« حرکت » به عنوان ابزار اصلی استفاده نموده اند.

گرچه که زمینه‌ی \SR یک زمینه‌ی تقریباً نوپاست لیکن تحقیقات بسیاری انجام شده و مقاله های مروری چندی نیز 
در این زمینه توسط صاحبنظران این حوزه به رشته ی تحریر درآمده است \citep{Borman98review,Farsiu04advances}.
در ادامه مروری اجمالی  بر برخی از مهمترین شیوه‌های استفاده شده خواهیم داشت.\\
% توضیح مفصل تر اصلی ترین روشها را به فصول آتی موکول می کنیم.\\
%همانگ‌ونه که در دو رابطه‌ی اخیر  مشاهده می شود مؤلفین مختلف از نمادهای متفاوتی برای مدلسازی مسئله استفاده نموده اند؛ فعلاً در این نوشتار ما توضیح روش 
در ادامه-به جز مواردی که صراحتاً از فرمولبندی  دیگری استفاده شده باشد- فرض کنید هدف مسئله،
 تخمین تصویر \SR z از روی تصاویر با \LoR $y_r, r\in \{1,2,\dots,R\}$ می‌باشد.
تصاویر به صورت بردارهای مرتب شده‌ی \lr{lexicographically} هستند. $y_r,z$ با رابطه‌ی $y_r=H_rz$ به هم مربوطند.
ماتریس $H_r$ که {\it باید تخمین زده شود} شامل پارامترهای مربوط به تصحیح حرکت\LTRfootnote{Motion compensation}،
اعوجاج\LTRfootnote{Degradation} و نمونه برداری\LTRfootnote{Subsampling} می باشد. این مدل مشاهده را می‌توانیم 
به صورت $Y=Hz+N$ تعمیم دهیم، که در آن $Y=[y_1^T,\dots,y_R^T]$ و  $H=[H_1^T,\dots,H_R^T]$ و $N$ معرف نویز مشاهده است.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\section{درونیابی نمونه های پخش  شده به صورت غیر یکنواخت }
\section{درونیابی غیر یکنواخت }
متد درونیابی نمونه‌های پخش  شده به صورت غیر یکنواخت\LTRfootnote{Interpolation of NonUniformly Spaced Samples}، روشی است 
که ممکن است در وهله‌ی اول به ذهن هر کسی که در این حوزه مشغول به کار می‌شود برسد. در این شیوه عملیات ثبت تصویر
 بین هر یک از تصاویر دوم تا آخر و اولین تصویر با دقت زیرپیکسل \LTRfootnote{Subpixel} محاسبه 
شده، نتیجه ی تمام  تصویر در یک تصویر بزرگتر (با ابعاد موردنظر برای تصویر \SR) قرارمی گیرد (به شکل  \ref{fig:IdealSuperResolution}
مراجعه شود).
% مختصات بدست آمده از مرحله ی ثبت تصویر برای هر یک از تصاویر نسبت به مختصات تصویر فوق دقت گرد می شوند. خروجیِ این مرحله 
%یک شبکه ی بزرگ از نقاط (تصویری بزرگ) خواهد بود که برخی از خانه های آن خالی می با
 سپس با استفاده از یک روش درونیابی بر روی داده‌های بدست آمده، مقادیر پیکسلها در نقاط متناظر بامختصات پیکسلهای 
 تصویر \SR مورد نیاز تخمین زده می‌شود.
% از آنجا که داده‌های مشاهده شده (تصاویر با \LoR  ) در واقع\undersampled و
%و میانگین‌گیری شده‌ی مکانی از تصویر اصلی هستند، این روش بازسازی، در واقع اطلاعات فرکانسیِ قابل توجهی نسبت به یک 
%تصویر با \LoR به ما نمی دهد. به علاوه 
متاسفانه دانش پیشین\LTRfootnote{A-prioiri knowledge} قابل استفاده در این شیوه نیست \citep{Borman98review}.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\section{Iterated Backprojection}
\section{متدهای \texorpdfstring{ \lr{Iterated Backprojection}}{Iterated Backprojection}}
با فرض داشتن تخمین $\hat{z}$ از تصویر با وضوح بالا و مدل $H$، می توان تصاویر  \LoR را با استفاده از رابطه‌ی $\hat{Y}=H\hat z$  شبیه‌سازی نمود. 
رویه‌های \lr{IBP}\LTRfootnote{Iterated Backprojection procedures} باتسهیم میزان خطای بین $j$امین تصویر شبیه‌سازی شده $\hat Y^{(j)}$ و 
تصویر مشاهده شده‌ی $Y$ به پیکسلهای $\hat z$ از طریق عملگر $H^{BP}$، تخمین دور قبل از تصویر اصلی را بروزرسانی می‌کنند. 
$H^{BP}$ می‌تواند $H^{-1}$ درنظر گرفته شود. فرآیند تکراری در هر مرحله به صورت زیر تخمین خود را از تصویر اصلی بهبود می بخشد:
\[ \hat z^{(j+1)}=\hat z^{(j)}+H^{BP}(Y-\hat Y^{(j)} ) = \hat z^{(j)}+H^{BP}(Y-H\hat z^{(j)} )\]
تکرار تا زمانی که معیار خطای وابسته به $Y,\hat Y^{(j)}$ کمینه شود ادامه پیدا خواهد کرد \citep{Borman98review,Irani91improving}.
همانند شیوه‌ی قبلی این متد هم از عدم انعطاف لازم برای لحاظ کردن دانش پیشین در مدل، رنج می برد.\\
%\underline {به علاوه از آنجا که SR یک مسئله ی ill-posed است، جواب بازسازی شده یکتا نیست.}

\section{متدهای تصادفی }
از آنجا که متدهای تصادفی \LTRfootnote{Stochastic} -مخصوصاً بیز- پشتوانه‌ی نظریِ محکمی برای لحاظ کردن دانش پیشین دارا می‌باشند - که لازمه‌ی حل 
\lr{ill-posed SR inverse problem} است- توجه خاصی را به خودش در حل این مسئله معطوف نموده و تحقیقات بسیاری را در این حوزه شاهد هستیم.
\citep{Cheeseman96superresolved,Hardie97joint,Schultz96extraction,Tom94reconstruction}\\
با این فرض که داده‌ی مشاهده شده $Y$، نویز $N$ و تصویر اصلی $z$ ، تصادفی(اتفاقی) باشند، معادله‌ی $Y=Hz+N$ را درنظر بگیرید.
هدفِ تکنیک  \lr{MAP}\LTRfootnote{Maximum A-Posteriori} برای تخمین z، پیداکردن تخمینِ $\hat z_{MAP}$ است به نحوی که \lr{a-posteriori probability} 
$P(z|Y)$ بیشینه گردد:
\[ \hat z_{MAP}= argmax_z[P(z|Y)] = argmax_z[log P(Y|z)+log P(z)] \]
عبارت دوم با استفاده از قانون بیز و فرض استقلال $\hat z_{MAP}$ از $Y$ و گرفتن لگاریتم نوشته شده است. عبارت $log P(Y|z)$
تابع شباهت لگاریتمی \LTRfootnote{log-liklihood function} و $P(z)$ تابع چگالی قبلی z\LTRfootnote{a-priori density of z} می باشد. 
استفاده از \lr{MRF}\LTRfootnote{Markov Random Field} به عنوان $P(z)$ مرسوم می باشد. با فرض گوسی بودن نویز، مسئله تبدیل به یک مسئله‌ی
 بهینه‌سازی محدب \LTRfootnote{Convex optimization} شده و لذا می توان از شیوه‌های بهینه‌سازی کاهشی \LTRfootnote{Descent optimization}
در حل مسئله استفاده نمود. نمونه‌هایی از کاربرد \lr{MRF} و بیز برای \SR را می‌توان در
\cite{Cheeseman96superresolved,Hardie97joint,Schultz96extraction,Tom94reconstruction} دید. 
\lr{ML}\LTRfootnote{Maximum liklihood}- که می‌توان آنرا حالت ساده‌ای از \lr{MAP} درنظر گرفت- نیز برای حل مسئله بکار گرفته شده است\citep{Tom94reconstruction}.
با اینحال از آنجا که شمول دانش پیشین از اهمیت زیادی در این مسئله برخوردار است، متد \lr{MAP} نسبت به \lr{ML} ارجح می باشد.
%\begin{latin}
%A major advantage of the Bayesian framework is the direct inclusion of a-priori constraints on the solution, often
%as MRF priors which provide a powerful method for image modeling using (possibly non-linear) local neighbor interaction.
%MAP estimation with convex priors implies a globally convex optimization, ensuring solution existence and
%uniqueness allowing the application of efficient descent optimization methods.
%\end{latin}
%هاردی در 
\cite{Hardie97joint} تخمین حرکت -یا به عبارت دیگر\registration - و بازسازی را به صورت همزمان انجام داده است. در هر دور از یک فرآیند تکراری، ابتدا پارامترهای ثبت‌تصویر تخمین زده شده، ثابت درنظر گرفته شده و تخمین بعدی تصویر با وضوح بالا ($\hat{z}^{n+1}$)  با استفاده از یک روش کمینه‌سازی کاهشی مشابه \lr{IBP} بدست می‌آید.  در پیدا کردن پارامترهای ثبت‌تصویر، به جای مقایسه تصاویر با \LoR ، هر تصویر با تخمین تصویر با وضوح بالای افکنش شده مقایسه می‌شود.

%برگرفته از :Bayesian super-resolution of text in videowith a text-specific bimodal prior
% Assuming a set of N lowresolution observation images L = { L_k }, the algorithm finds the high-resolution image H such that the conditional probability of H, given the observed L, P[H | L ], is maximized. P(H|L) = P(L|H)P(H)/P(L).  The denominator, P(L), does not affect the maximization. Therefore, to find the most probable high-resolution image, given the observation images, we need to find the high-resolution image H that maximizes P(L|H)P(H), which is the MAP estimator. If it is assumed that, barring any observed lowresolution images, all high-resolution images are equally likely, this algorithm could be further simplified to finding H that maximizes P[L | H], which is the ML estimator.
%روشهای regularization، به جای P(H) مثلاً نرم بودن آنرا قرار می‌دهند. روش‌های حل هم که در واقع شبیه هم است:
% Once P[L | H] has been defined, the super-resolved image, H, that maximizes P[H | L], is iteratively calculated by stepping down the gradient of the negative log likelihood of P[L | H] • P[H] until a minimum is reached or a maximum number of iterations are execute
% به صفحه ۴ همین مقاله که نگاه کنیم می‌بینیم که رابطه می‌نیمم‌سازی وابسته به توزیع نرمال اختلاف هر تصویر با وضوح پایین و افکنش تصویر با وضوح بالا به SSD منجر شده است.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\section{Regularization based reconstruction}
\section{متدهای مبتنی بر\texorpdfstring{\lr{Regularization}}{Regularization}}
در این بخش به بررسی مقاله‌ی 
%Nguyen
\cite{Nguyen01computationally} خواهیم پرداخت.
%فرض بر این است که  هر یک از تصاویر با \LoR  صحنه‌ی موردنظر را از زاویه‌ای کمی متفاوت با دیگری اخذ نموده‌است .
مسئله‌ی «\SR» در زمره مسائل \lr{ill-posed} محسوب می‌شود. فرآیند پایدار سازی معکوس یک چنین مسئله‌ای \lr{regularization} 
نامیده می‌شود\footnote{برای تعریف مسائل ill-posed و regularization به ضمیمه مراجعه شود}.
%\begin{latin}
%because of an insufficient number of LR images and ill-conditioned blur operators. Procedures
%adopted to stabilize the inversion of ill-posed problem are called regularization.
%\end{latin}
روشهای \lr{Regularization} قطعی\LTRfootnote{Deterministic} و تصادفی\LTRfootnote{Stochastic} چندی برای مسئله‌ی \SR ارائه شده‌اند.
به فرض مدل مشاهده به صورت زیر است:
\[y_k=W_kx+n_k \]
متدهای \lr{regularized} معکوس مدل فوق را  با استفاده از اطلاعات قبلی\LTRfootnote{Prior information} درباره‌ی جواب و تبدیل آن به یک مسئله‌ی \lr{Well-posed}، حل می کند.
% با این فرض که پارامترهای حرکت بدست آمده اند، مدل مشاهده را می توان به صورت زیرنوشت:
لذا مسئله تبدیل خواهد شد به پیدا کردن xی که لاگرانژین زیر را کمینه کند:
\[ \sum_{k=1}^\rho ||y_{(k)}-H_{(k)}X||^2+\lambda ||CX||^2 \]
جمله اول هنگامیکه افکنش تصویر با وضوح بالا با استفاده از مدل مشاهده، منطبق بر داده‌های مشاهده شده باشد، کمینه می‌گردد. کمینه‌سازی این جمله به تنهایی در برخی کاربردها موجب تقویت نویز خواهد شد (به دلیل \lr{ill-posed} بودن مسئلهٔ \SR \citep{Hardie97joint}). دومین عبارت وقتی کمینه می‌شود که $X$ نرم باشد.
ضریب $\lambda$ ضریب لاگرانژ بوده و مقادیر بزرگتر آن منجر به جوابهای نرم‌تر می‌شود. این حالت برای هنگامی که تعداد کمی از تصاویر با \LoR
در دسترس است (\lr{Underdetermined}) یا کیفیت آنها به خاطر خطای ثبت و نویز پایین است، مفید می‌باشد.  از طرف دیگر اگر تعداد زیادی از تصاویر\LoR دردسترس باشند 
و میزان نویز هم کم باشد، $\lambda$ی کوچک منجر به جواب خوب خواهد شد.
%Nguyen در
 \cite{Nguyen01computationally} با استفاده از روش گرادیان مزدوج \LTRfootnote{conjugate gradient method} به حل مسئله‌ی
\lr{Tikhonov-regularized superresolution}
پرداخته است، به نحوی که هزینه‌ی محاسباتی کلی را نسبت به شیوه‌های قبلی کاهش دهد.



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\section{متدهای مبتنی بر یادگیری}
\section{متدهای مبتنی بر یادگیری}
یک تنظیمِ \LTRfootnote{Alignment}  دقیق زیربنای اصلی بسیاری از روشهای بازسازی تصویر در متدهای \SR است. 
با اینحال بسیاری از ویدئوهای پویا شامل حرکات پیچیده‌ی اشیاء هستند که با چنین شیوه‌هایی قابل مدل شدن نیستند. 
اخیراً متدهای مبتنی بر یادگیری روی مسئله‌ی \SR -خواه تصاویر ثابت یا ویدئو- به خوبی اعمال شده‌اند.
\citep{Baker00hallucinating,Kong06video,Kong06conditional}
ایده ی اصلی گردآوری یک مجموعه از تصاویر آموزشیِ با دقت بالا و متناظر نرم شده\LTRfootnote{Smoothed} و \lr{Down-sampled} آنهاست. 
پس از یک مرحله ی جستجو، با افزودن اطلاعات فرکانس بالای این گردایه می توان افزایش دقت تصاویر و ویدئو را انجام داد.
شیوه‌ی بکارگرفته شده در \cite{Kong06conditional} شبیه \cite{Shechtman05space} می‌باشد.
% با این تفاوت که \dots.
ایده‌ی اصلی ترکیب  اطلاعات موجود در تصاویر ثابت صحنه  -که دارای \res مکانی بالا ولی \res زمانی پایین هستند- و اطلاعات موجود در
ویدئوی معمولی اخذ شده از همان صحنه -که داری \res  مکانی پایین ولی \res  زمانی بالا هستند- می‌باشد.
متدهای این دسته را می‌توان متعلق به جزء چهارم از اجزاء یک سیستم \SR دانست (\synthesis). همانگونه که در مقدمه ذکر شد
مقالات مرتبط با این موضوع از آن به عنوان روشهای مبتنی بر مثال نیز یاد می کنند\citep{Freeman02example,Kondo07example}.
و برای آن دسته از الگوریتم‌های این دسته که
مبتنی بر مدل می‌باشند، 
%Baker,Kanade 
\cite{Baker02limits} نام جدیدی با عنوان 
{\iranic \recogstruction} 
%(recogstruction) 
نیز مطرح نموده‌اند.

\subsection{متد فریمن و همکاران}
از آنجائی که متد 
%Freeman و دیگران
 \cite{Freeman02example} پایه‌ی بسیاری از روشهای \SR مبتنی بر مثال می‌باشد در 
این قسمت به صورت خلاصه اجزاء آنرا بیان خواهیم کرد:

\subsubsection{تولید مجموعه‌ی آموزشی}
در ابتدا یک مجموعه از تصاویر با\HR را جمع آوری نموده، کیفیت  هر یک را مطابق با مدل تخریب 
تصاویری که هدف  بالابردن \res آنهاست  پایین آورده می شود. به صورت معمول با استفاده از مات کردن و نمونه‌برداری 
اندازه‌ی آنها را به یک چهارم مقدار اصلی آنها تقلیل داده می‌شود.  با استفاده از یک روش معمول بزرگنمایی مانند
اسپلاین مکعبی، تصویر با\LoR  بزرگ می‌شود. به این ترتیب تصویری خواهیم داشت که تعداد پیکسلهایش به اندازه ی موردنیاز
نهایی است ولی فاقد جزئیات با فرکانس بالاست.  در مجموعه ی آموزشی فقط اختلاف بین تصاویر درونیابی شده و تصویر اصلی
%به عنوان اطلاعات با فرکانس بالا
ذخیره می‌شود. متناظر با هر \patch از تصویر\HR یک \patch از تصویر \LoR ذخیره می شود. معمولاً اندازه‌ی
\patch ها به ترتیب $5 \times 5$ و  $7\times 7$  درنظر گرفته می‌شود.
حتی ذخیره‌ی \patch های  ارزشمند منجر به تولید حجم عظیمی از اطلاعات خواهد شد. با این اعتقاد که مناطق با 
فرکانس بالای تصویر حاوی اطلاعات ارزشمند هستند، تصویر \HR را از یک فیلتر بالاگذر عبور داده می شود
%(Band-pass filtering)
. به علاوه فرض شده است که
ارتباط بین \patch های تصویر \HR و \LoR مستقل از کنتراست محلی تصویر است.
%We also believe that the relationship between high- and low-resolution image patches is essentially independent of local image
%contrast.
%از آنجا که نمی‌خواهیم تمام مقادیر کنتراست محلی تصویر را ذخیره کنیم، یک  Contrast Normalization انجام داده می‌شود. این 
%عمل در هنگام بازسازی تصویر \HR ، undo خواهد شد.
اگر اطلاعات محلی تصویر برای بازسازی کافی بود، بازسازی تصویر  با استفاده از همین \patch ها امکان‌پذیر بود
ولی این شیوه نتایج خوبی تولید نمی‌کند و باید اطلاعات همسایگی را هم دخیل نمود. 
\subsubsection {چارچوب کلی کار فری‌من}
تصویر \LoR ورودی به \patch هاتقسیم شده، که به صورت \lr{raster-scan} پویش می شوند. در هر مرحله یک \patch \HR با استفاده از 
متد نزدیکترین همسایه از روی مجموعه‌ی آموزشی و بر اساس جزئیات فرکانس پایین محلی و \patch های مجاوری که قبلاً 
مشخص شده‌اند، انتخاب می‌شود. به این ترتیب \patch \HR از محلی از تصویر گرفته می‌شود که با ظاهر فرکانس پایین مشابهت 
دارد و از نظر لبه‌ها هم با پیکسلهای \patch مجاور همپوشانی دارد (رعایت شرط همسایگی). یک  پارامتر $\alpha$ اهمیت 
تطابق \patch ها را در مقابل رعایت همسایگی تنظیم می‌کند. 
خروجی الگوریتم مجموع تصویر ورودی و اطلاعات فرکانس بالای پیش بینی شده خواهد بود. 

\subsection{متد گلَسنِر و همکاران}
\cite{Glasner09superresolution} از همان شیوهٔ فریمن بر روی یک تصویر و بدون دادهٔ آموزشی خارج از آن تصویر استفاده نموده است. ایدهٔ اصلی آنها آن بوده است که در  تصاویر، الگوهای تکراری بسیاری ولی در \lr{scale} های مختلف وجود دارد. لذا جستجو برای یافتن  \patch مناسب افزایش وضوح هر پنجره در \lr{scale}های مختلف صورت می‌پذیرد.
البته این عمل مستلزم جستجو در یک فضای بسیار بزرگ است. 
در کنار استفاده از روش مبتنی بر مثال از روش‌های کلاسیک بازسازی بر روی پنجره‌های تنظیم شده استفاده می‌شود و به همین دلیل روش خود را «کلاسیک + مبتنی بر مثال» نامگذاری کرده‌اند\footnote{این نام‌گذاری شبیه عبارت «بازسازی +‌ سنتز» است که قبلاً توسط ما پیشنهاد شده بود \citep{Amintoosi08reconstruction}. }%(گلَسنِر دانشجوی دکترای بسری است}.
نتایج ارائه شده توسط آنها بسیار جالب توجه است.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\section{متدهای مبتنی بر زنجیره ی مارکوف }
\section{متدهای مبتنی بر زنجیره‌ی مارکوف و شبیه‌سازی مونت کارلو}
در این بخش به بررسی مقاله‌ی %Tian 
\cite{Tian06markov} خواهیم پرداخت.
\subsection{مدل مشاهده}
%~\LTRfootnote{Observation Model}
به فرض تصویر با \res  بالای اصلی به عنوان \lr{ground truth} در دسترس بوده و می‌توان آنرا با تصویر بازسازی شده از روی
یک مجموعه از تصاویر با \res  پایین مقایسه نمود. برای شبیه سازی تصاویر با \res  پایین، تصویر اصلی warp شده، با یک
تابع پخش نقطه‌ای کانوالو شده سپس برای حصول به \res  پایین تر عمل \lr{down-sampling} انجام شده و درنهایت نویز
گوسی با میانگین صفر و وراریانس $\sigma^2_v$ به آن اضافه می‌شود.این عملیات را می توان در قالب فرمول زیر خلاصه نمود:
\[y^{(k)}=H^{(k)}X+V^{(k)}\]
که درآن $y^{(k)}$ نمایش دهنده‌ی $k$ امین تصویر با \res پایین و $X$ بیانگر تصویر با \res بالا بوده که در قالب
بردارهای با اندازه‌ی به ترتیب $L_1L_2\times1$ و$M_1M_2\times1$ نمایش داده می‌شوند. $H^{(k)}$ ماتریسی  با اندازه‌ی 
$L_1L_2\times M_1M_2$ بوده که بیانگر عملیات \lr{warp}، پیچش و \lr{downsampling} ذکر شده در بالا می‌باشد. 
 $V^{(k)}$ نیز برداری با اندازه‌ی  $L_1L_2\times1$ می‌باشد که نشان‌دهنده ی نویز افزودنی است.

با مفروضات فوق ، هدف بازسازی \SR ، ایجاد یک تصویر با \res بالای $X$ از روی چند تصویر مشاهده شده‌ی با \res  پایین 
$y^{(1)},y^{(2)},\dots,y^{(\rho)}$ می‌باشد. از این به بعد، تعاریف زیر را درنظر بگیرید:
\[Y=y^{(1)},y^{(2)},\dots,y^{(\rho)}, L=L_1\times L_2,  M=M_1\times M_2\]

%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{استنتاج بیزی }
\subsection{استنتاج بیزی }
%به لحاظ اهمیتی که استنتاج بیزی در این کار، در این بخش نگاهی کوتاه به آن خواهیم داشت.
در این بخش با استفاده از متد استنتاج بیزی، تابع چگالی \lr{posterior} توأمِ  $p(X,\lambda|Y)$ تصویر با \res  بالا $X$ و
 پارامتر$\lambda$ ی نامعلوم راپیدا خواهیم نمود. 
%\begin{latin}
%we present a Bayesian inference approach to find the joint posterior density function (pdf) of 
%the unknown high-resolution image and the hyperparameter in the prior image model $p(X,\lambda|Y)$
%\end{latin}
با اعمال قانون بیز داریم:
\begin{eqnarray}
\nonumber p(X,\lambda|Y) &=& \frac{p(X,\lambda,Y)}{p(Y)}\propto p(X,\lambda,Y)\\
\nonumber &=& p(Y|X,\lambda)p(X,\lambda)\\
\nonumber &=& p(Y|X,\lambda)p(X|\lambda)p(\lambda) 
\end{eqnarray}
در ادامه خواهیم دید که چگونه $p(Y|X,\lambda),p(X|\lambda),p(\lambda) $ را محاسبه نماییم.

در ابتدا فرض کنید که تصاویر با \res پایین به صورت مستقل از تصویر با \res  بالا و پارامتر فوق‌الذکر بدست آمده‌اند، لذا
برطبق \cite{Chaudhuri05book} می‌توان نوشت:
\[ p(Y|X,\lambda)=p(Y|X)=\prod_{k=1}^\rho p\big(y^{(k)}|X\big) 
\propto exp\Big( -\frac{1}{2\sigma ^2_v} \sum_{k=1}^\rho ||y^{(k)}-H^{(k)}X||^2  \Big) \]
از طرفی معمولاً \lr{prior model} تصویر بر این فرض استوار است که تصویر به صورت محلی نرم\LTRfootnote{locally smooth} است. 
%Tian در
 \cite{Tian06markov} از مدل $\gamma$همسایگیِ \lr{MRF}\LTRfootnote{Markov Random Field} \citep{Li95book} که به فرم زیر است،
استفاده نموده  است.
\[ p(X|\lambda)=\frac{1}{Z(\lambda)} exp\big( -\frac12 \lambda X^TCX \big)\]
که در آن $\lambda$ پارامتر بوده و$C$ ماتریس  $M\times M$ ی است که: 
%\begin{equation}
\[ C(i,j)=\left\{ \begin{array}{ll}
\gamma &  {\rm if}\ i=j,\\
-1 & { if\, i\, and\, j\, both\, fall\, in\, the\, \gamma\, neighbourhood}\;\\
0 &  otherwise \end{array} \right. \]%\end{equation}

تابع پارشِ\LTRfootnote{Partition function} $Z(\lambda)$، فاکتور نرمال‌سازی بوده و به صورت
 $Z(\lambda)=\int_X exp(-\lambda U(X)) dX$
تعریف می شود که در آن $U(X)=\sum_{c\in C} V_c(X)$ تابع انرژی\LTRfootnote{Energy function} است. $V_c(X)$ تابع پتانسیل 
\LTRfootnote{Potential function} یک گروه محلی c از پیکسلها (به نام {\iranic دسته} \LTRfootnote{Clique}) می باشد و مقدار آن 
بستگی به پیکربندی محلیِ {\iranic دسته‌ی c} دارد.
تابع چگالی احتمال پارامتر $\lambda$ توزیع یکنواخت زیردرنظر گرفته شده است:
\[ p(\lambda)=\frac 1{\lambda_{max} - \lambda_{min}} , for \lambda\in[\lambda_{min},\lambda_{max}] \]
با جایگزینیِ مناسب فرمولهای فوق خواهیم داشت:
\[ p(X,\lambda|Y)\propto \frac 1{Z(\lambda)} exp\Big( -\frac{1}{2\sigma ^2_v}
 \sum_{k=1}^\rho ||y^{(k)}-H^{(k)}X||^2  -\frac12 \lambda X^TCX \Big) \frac 1{\lambda_{max} - \lambda_{min}}\]

مشکل اصلی در رابطه‌ی فوق عملی نبودن محاسبه‌ی تابع پارش $Z(\lambda)$ می‌باشد.\LTRfootnote{Computationally intractable} 
چرا که محاسبه‌ی آن به معنی انتگرالگیری 
روی تمام مقادیر ممکن $X$ می باشد، حال آنکه برای یک تصویر خاکستری $M_1\times M_2$  با $N$ بیت برای هر پیکسل ، 
اندازه ی فضای  $X$ برابر $N^{M_1\times M_2}$ می‌باشد که محاسبه‌ی آن را عملاً غیرممکن می‌نماید.
برای مواجهه با این مشکل از رویکرد \lr{MCMC} \LTRfootnote{Markov Chain Monte Carlo} بهره گرفته شده است. 

%%%%%%%%%%%%%%%%%%%%%%%\section{متد فوق دقت مبتنی بر MCMC}
\subsection{متد \SR مبتنی بر \texorpdfstring{\lr{MCMC}}{MCMC}}
هدف الگوریتم ارائه شده در \cite{Tian06markov} برآورد همزمان تصویر \SR  و پارامتر $\lambda$ با استفاده از
$N$ نمونه تولید شده از$p(X,\lambda|Y)$  می‌باشد. این نمونه‌ها را با $Z^{(1)},Z^{(2)},\dots,Z^{(N)}$ (که هر 
کدام یک بردار ستونی $M$ بعدی هستند) و $\lambda^{(1)},\lambda^{(2)},\dots,\lambda^{(N)}$ نشان می‌دهیم. 
فرض بر این است که $N$ به قدر کافی بزرگ هست که همگرائی  الگوریتم \lr{MCMC} تضمین شود. نمونه‌های تولید شده تا نمونه‌ی 
شماره‌ی $T$ نامطمئن\LTRfootnote{Unreliable} درنظر گرفته شده و دور ریخته می شوند. درنهایت تصویر \SR  با محاسبه‌ی 
میانگین $(N-T)$ نمونه‌ی باقیمانده بدست می‌آید:
\[ \hat{X}=\frac1{N-T} \sum_{i=T+1}^N Z^{(i)} \]
پارامتر بهینه نیز به صورت مشابهی بدست می آید:
\[ \hat{\lambda}=\frac1{N-T} \sum_{i=T+1}^N \lambda^{(i)} \]
%نحوه‌ی تخمین T در \cite{Tian06markov} آورده شده است.\\
در تولید نمونه‌های فوق‌الذکر از روی $p(X,\lambda|Y)$،از الگوریتم متروپولیس-هستینگس \lr{(M-H)}\LTRfootnote{Metropolis-Hastings} 
برای تولید پارامتر $\lambda^{(1)},\lambda^{(2)},\dots,\lambda^{(N)}$ و از نمونه بَردار گیبس\LTRfootnote{Gibbs sampler}
برای تولید $Z^{(1)},Z^{(2)},\dots,Z^{(N)}$ استفاده شده است که در ادامه به آن اشاره خواهد شد.\\
نقطه‌ی شروع هر دو تکنیک فوق، تولید نمونه‌های تصادفی می‌باشد. در هر مرحله الگوریتم \lr{M-H} نمونه‌ی کاندیدی بر اساس 
توزیع گوسی -که میانگین و واریانس آن توابعی از نمونه‌ی قبلی هستند- تولید می‌کند. بسته به مقدار 
احتمال پذیرش\LTRfootnote{Acceptance probability}، این نمونه ممکن است پذیرفته شده یا پذیرفته نشود. اما نمونه بَردار گیبس 
یک نمونه‌ی جدید را با بروزرسانیِ تنها یک مؤلفه از نمونه‌ی قبلی -متناسب با تابع توزیع شرطیِ آن بر حسب سایر مؤلفه‌ها،
پارامتر و مشاهدات- تولید می‌کند.  متد فوق تا تولید $N$ نمونه تکرار می‌شود. 

با توجه به ملاحظات فوق، در ابتدا بایستی توزیع شرطی برای نمونه‌بَردار گیبس محاسبه شود. فرض کنید $X_n$ $n$امین مؤلفه‌ی
بردار ($M\times 1$ تائی) X باشد و $X_{-n}$ بیانگر بردار $X$ بدون مؤلفه ی $n$ام آن باشد:
\[ X_{-n}=\{X_1,X_2,\dots,X_{n-1},X_{n+1},\dots,X_M\} \]
بنا به روابط قبلی داریم:
\[ p(X_n|X_{-n},\lambda,Y)\propto exp \Big(-\frac1{2\tau_{X_n}} (X_n-\mu_{X_n})^2  \Big) \]
که  در آن:
\[ \mu_{X_n}=\frac{\tau_{X_n}}{2}\Big( 2\sum_{k=1}^\rho \sum_{i=1}^L \frac{\psi_i^{(k)}(X_n)H_{i,n}^{(k)} }{\sigma_v^2}-
\lambda\phi(X_n) \Big) \]
و
\[\tau_{X_n}=\frac1{\sum_{k=1}^\rho \sum_{i=1}^L \frac{ (H_{i,n}^{(k)})^2}{\sigma_v^2} +\lambda C_{n,n}}  \]
و
\[ \psi_i^{(k)}(X_n) = y_i^{(k)} - \sum_{j\neq n} H_{i,j}^{(k)}X_j \]
و
\[ \phi(X_n)=\sum_{s \neq n} C_{s,n}X_s+\sum_{t \neq n} C_{n,t}X_t \]
\\
به صورت خلاصه، شیوه ی کلی کار  \cite{Tian06markov} به شرح ذیل است:%\footnote{الگوریتم کلی  در \cite{Tian06markov}آمده است}:\\

در ابتدا یک نمونه تصویر آغازین $Z^{(1)}$ به صورت تصادفی تولید می شود. پارامتر $\lambda^{(1)}$ نیز از روی یک توزیع 
یکنواخت پیوسته در بازه ی [۵۰و۱] مقداردهی اولیه می شود. مقدار $T$ مطابق با  \cite{Tian06markov} محاسبه  می‌شود. پارامتر 
$\gamma$ چهار در نظر گرفته شده است (به معنی ۴-همسایگی در مدل \lr{MRF}).سپس تکنیک  \lr{MCMC} برای تولید $N$ نمونه بکار گرفته می‌شود.
 پارامتر $N$ توسط کاربر مقداردهی شده و باید بقدر کافی بزرگ باشد که در آمارگان توزیع نهایی صدق کند.
%\begin{latin}
%(it should be large enough to meet the statistics of the target distribution.)
%\end{latin}
%در پیاده سازی Tian، $N$  برابر با $10\times T$ درنظر گرفته شده است. 
در نهایت اولین $T$ نمونه دور ریخته شده و از $9\times T$ نمونه‌ی باقیمانده برای تولید تصویر \HR استفاده می‌شود. 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% متدهای حوزه ی فرکانس 
\section{متدهای حوزه ی فرکانس}
اولین کار در زمینه ی \SR، در حوزه ی فرکانس در سال ۱۹۸۴ توسط %Tsai و Huang
\cite{Tsai84multiframe} 
صورت پذیرفته است. انگیزه‌ی آنها، بهبود تصاویر دریافتی از ماهواره ی \lr{Landsat 4} بوده است. این ماهواره در طی حرکت بر مدار خود پیرامون کره‌ی زمین، دنباله‌ای از  تصاویر مشابه، و نه یکسان از نواحی مورد نظر سطح زمین را اخذ می‌نمود. تصاویر مشاهده شده به صورت تصاویر \undersampled از یک صحنه‌ی ناشناخته‌ی ایستا با مقادیر مکانی پیوسته، که متضمن \gtm می‌باشند مدل شده بودند.
%\begin{latin}
%(The observed images are modeled as undersampled
%images of a static, unknown scene with continuous spatial variables, which
%is subject to global translational motion.)
%\end{latin}
 همچنین حالت نمونه‌برداری ضربه‌ی ایده‌آل با نرخ نمونه‌برداریِ کمتر از نرخ نایکوئیست فرض شده بود.
از مات شدن تصویر به خاطر حرکت ماهواره در حین تصویربرداری و نویز صرفنظر شده بود. تی‌سای و هوآنگ بر اساس تئوری های  شیفت و \aliasing
 تبدیل فوریه‌ی گسسته و پیوسته، مسئله را برای \restoration یک تصویرِ باپهنای باند محدود از روی یک مجموعه از تصاویرِ
 \undersampled فرمولبندی نموده بودند. حل مسئله با مرتبط نمودن ضرایب تبدیل فوریه‌ی گسسته‌ی تصاویر مشاهده شده به نمونه‌های 
تبدیل فوریه‌ی پیوسته‌ی صحنه‌ی ناشناخته‌ی موردنظر و استفاده از عکس تبدیل فوریه انجام می‌پذیرد.این سبک  فرمولبندی مسئله ایجاب می‌نمود
 که پارامترهای حرکت انتقالی بین تصاویر با دقت \subpixel معلوم باشد.از طرفی فرض نمونه‌برداری ایده‌آل، در سیستم‌های تصویربرداری 
غیرواقعی بوده و خروجی حسگرها متأثر از انباشتگی مکانی و زمانی می‌باشند.

 از دیدگاه بینائی ماشین مدلهای حرکتی مختلفی را بین دو 
تصویر می توان درنظر گرفت که \gtm ساده‌ترین آن می باشد. از آنجا که\gtm در حوزه‌ی مکان متناظر با یک شیفت فاز در حوزه‌ی فرکانس 
است، این مدل به راحتی قابل بکارگیری در حوزه ی فرکانس است ولی متاسفانه سایر مدلهای حرکتی، متناظری در حوزه‌ی فرکانس نداشته و لذا
متدهای حوزه‌ی فرکانس قابلیت عمل روی آنها را ندارند. این محدودیت ذاتیِ حوزه‌ی فرکانس مهمترین عیب آنها در این زمینه بشمار می‌رود.
%عیب دیگر: لحاظ کردن دانش پیشین- صفحه ی ۴۰ تز بورمن 
از طرف دیگر، سادگی، تئوری محکمِ فوریه و بارمحاسباتی کمِ این شیوه ها مزیت آنها محسوب می شوند\citep{Borman04thesis} .
البته در مورد مشکل عدم انعطاف این شیوه ها در مواجهه با مدلهای غیر از \gtm، نیز تلاشهایی انجام پذیرفته است. به عنوان مثال می‌توان به \cite{Borman04thesis} اشاره نمود که همان شیوه‌ی تی‌سای و هوآنگ را روی بلاکهای همپوشانی از تصاویری که  قبلاً جبران حرکت روی آنها انجام پذیرفته است 
اعمال می‌کند. به این ترتیب انعطاف‌پذیری محدودی را خواهیم داشت. 

\section{سایر متدها}
%\section{متدهای مقاوم در برابر\outliers}
یکی از مشکلات حوزه‌ی \SR مواجهه با \outliers است. اخیراً شاهد رشد تحقیقات در این زمینه هستیم
\citep{Eren97robust,Farsiu05thesis,Farsiu03robust,Farsiu04fast,Pham06thesis,Pham06robust,Zomet01robust}.
  تکنیک‌های معدودی را می‌توان یافت که بتوانند با وجود \outliers به خوبی عمل نمایند .
 نویز، زووم و اشیاء متحرک در فریمها جزو این \outliers محسوب می شوند \citep{Farsiu03robust}.
%اِرِن و دیگران 
\cite{Eren97robust} متدی \robust برای \SR مبتنی بر \lr{POCS} \LTRfootnote{Projection Onto Convex Sets (POCS)} ارائه نموده است. 
شیوه‌ی آنها شامل یک  \lr{Validity map (VM)} و یک 
\lr{Segmentation Map(SM)} است. \lr{VM} افکنش‌های مشاهداتِ متضمن اطلاعات حرکتی غیر دقیق را در هنگام بروز خطاهای تقریب حرکت برای 
مرحله‌ی بازسازی  غیرفعال 
می کند. البته برای شیوه‌ی آنها قطعه‌بندی دقیق اشیاء متحرک لازم است که در حضور \aliasing و نویز کار مشکلی است. همچنین آنها فرض کرده‌اند
که اشیاء موردنظر در یک فریم مرجع به صورت دستی مشخص می‌شوند. تولید یک حد آستانه‌ی متغیر با مکان برای VM نیز از دیگر مشکلات کار آنهاست.

%زومِت و دیگران 
\cite{Zomet01robust} در یک فرآیند بازسازی شبیه به \lr{IBP} از فیلتر میانه برای حذف \outliers استفاده نموده‌اند. 
شیوه‌ی آنها پایه و یا قسمتی از برخی از کارهای بعدی دیگران \citep{Farsiu05thesis,Farsiu03robust,Farsiu04fast,Pham06thesis,Pham06robust} می باشد.
با این وجود نگاهی به نتایج آنها (شکل ۲ قسمتهای e,f از \cite{Zomet01robust}) نشان می‌دهد که شیوه‌ی آنها هنگامی که صحنه شلوغ
باشد و عملگر میانه به خوبی قابل استفاده نباشد، اثرات شبح مانند \LTRfootnote{Ghost artifacts} را در خروجی خواهد داشت.

%فارسیو و دیگران 
\citep{Farsiu03robust} متدی به نام \lr{Shift \& And} ارائه نموده که از لحاظ هزینه‌ی محاسباتی بسیار پایین می باشد. البته
در خروجیِ این شیوه هم اثرات \outliers دیده می‌شود لیکن به لحاظ سرعت بسیار خوب آن، از خروجی اش به عنوان مقدار اولیه در بسیاری از دیگر
شیوه‌ها می‌توان استفاده کرد. نسخه های دیگر آن مانند $L1 + Bilateral TV$ که توسط فارسیو ارائه شده‌اند 
%\cite{Farsiu05thesis} 
متدهایی \robust 
هستند که کارائی خوبی دارند ولی همچنان که در فصول آتی خواهیم دید افزایش \outlier ها کارائی آنها را کم می‌کند. بعلاوه این متدها با مدل \gtm کار کرده، 
دارای تعداد زیادی پارامتر بوده و الزام کاربر به تنظیم تعداد زیادی پارامتر از نقطه ضعف های این شیوه‌ها بکار می‌رود. در فیلتر $Bilateral TV$ هم به همسایگی مکانی و هم به میزان نزدیکی شدت روشنایی پیکسل‌ها توجه می‌شود.

متد \lr{Normalized Convolution} که توسط 
%فام و دیگران
 \cite{Pham06thesis,Pham06robust} بکار گرفته شده است بسیار جالب و مقاوم می‌باشد. ولی متاسفانه 
شیوه‌ی بسیار زمانبری می‌باشد.
% همچنانکه بعداً خواهیم دید این شیوه نیز در عین قدرت نتایج مطلوبی  در دنباله تصاویرِ با میزانِ \outlier بالا ندارد. 


متد افکنش روی مجموعه‌های محدب، \lr{(POCS)} از متدهای مشهور مورد استفاده است که اصول آن شبیه 
\lr{IBP} است.
روش بازسازی \SR 
%پاتاناویجیت 
\cite{Patanavijit06iterative} همان روش %فارسیو 
\cite{Farsiu04fast} است با این تفاوت که در مرحله‌ی 
\registration تصویر از شیوه‌ای کمی متفاوت استفاده نموده‌اند. برخلاف معمول کارهای انجام شده که در قسمت تصویر پارامترهای 
\registration تصویر را برای کلِ تصویر بدست می آورند، در روش آنها به صورت محلی و برای هر بلاک با یک جستجوی سه مرحله‌ای بدست می‌آید.
%آهرنس 
\cite{Ahrens05genetic} روش \SR مبتنی بر الگوریتم ژنتیک ارائه داده است. برای هر دو مرحله‌ی \registration و \SR
یک الگوریتم ژنتیک پیشنهاد شده است. 
% مبحث خلاصه‌سازی ویدئو \LTRfootnote{Video Epitome} نیز از ایده‌های جدیدی است که مرتبط با \SR می باشد \cite{CheungFJ05video,JojicFK03epitomic}. جالبی این ایده آن است که بدون ناظر عمل می کند. ولی یک مشکل آن زمان اجرای طولانی آن است.
 %بورمن در فصل ۷ 
 \cite{Borman04thesis}
%\cite{Borman04thesis}[Chapter 7]
 به \SR ویدئو پرداخته است. وی  برای \SR ویدئو محدودیت‌های زمانی نیز قرار داده و اقدام به بازیابی همزمان چند فریم نموده است.
%برای مقابله با خطاهای ناشی از تخمین نادرست حرکت، به بردارهای حرکت متناسب با وزن آنها مقدار داده است. 

%\section{تست }