%%%%%%%%%%%%%%%%%%%% فصل جدید {مسائل بازِ «فوق دقت» از نگاه دیگران }
\chapter{جمع‌بندی و کارهای آتی}
در این رساله روشی برای بهبود کیفیت ویدئو با استفاده از روشهای موجود در حوزهٔ \SR و با فرض داشتن تصاویر آموزشی از صحنه ارائه شد. نگاشت دقیق تصویر آموزشی بر روی فریم‌های اصلی یا اصلاح شدهٔ ویدئو لازمهٔ روش پیشنهادی است که با ارائهٔ یک روش ثبت‌تصویر مبتنی بر ناحیه و استفاده از معیار شباهت ساختاری دو تصویر این کار انجام شد. دو گونه از روش پیشنهادی بر اساس روشهای بهینه‌سازی گوس-نیوتن و لونبرگ-مارکورت ارائه و کارایی آنها نشان داده شد.

در ادامه مروری خواهیم داشت بر نوآوریهای رساله در مراحل مختلف مسئلهٔ \SR شامل ثبت‌تصویر، ترکیب تصاویر و سنتز در \SR. در انتها  به کارهای آتی در راستای این رساله نگاهی خواهیم انداخت.

\section{جمع‌بندی}
در این بخش مروری کوتاه بر هر یک از نوآوریهای رساله خواهیم داشت.
\subsection*{ثبت تصویر}
ثبت‌تصویر اولین مرحله در الگوریتم‌های \SR چندفریمی است که خطاهای آن به شدت مراحل بعدی و لذا کارائی هر روش \SR را تحت تاثیر قرار می‌دهد. در این رساله هم از این نظر و هم به لحاظ آنکه شیوهٔ پیشنهادی بهبود هر فریم ویدئو مبتنی بر نگاشت تصویر آموزشی بر هر فریم است،  مسئلهٔ ثبت‌تصویر از اهمیت زیادی برخوردار بوده است. 

در روش ارائه شده در فصل \ref{Chap:OXYTSIFT} به مسئلهٔ ثبت تصویر با فرض مدل حرکت اقلیدسی پرداخته شد و شیوهٔ سریعی برای تخمین پارامترهای ثبت تصویر ارائه گردید. نشان داده شد که تفاضل ویژگیهای نقاط کلیدی \lr{SIFT} با اصلاحاتی از توزیع نرمال تبعیت می‌کنند و بر همین اساس پارمترهای مدل تبدیل با استفاده از میانگین این تفاضلات بدست آمد. مشکل اصلی این روش در وضعیت فعلی آن عدم امکان مواجهه با مدلهای تبدیل پیچیده‌تر همچون پرسپکتیو است که لازمهٔ قسمت دیگر رساله در مرحلهٔ سنتز می‌باشد. به همین دلیل روش ثبت‌تصویر دیگری در فصل \ref{Chap:EURASIP} توسعه داده شد که در ادامه ذکر خواهد شد.

\subsection*{استفاده از تصویر آموزشی در بهبود تصویر}
در روشهای معمول مبتنی بر مثال استفاده شده در حوزهٔ \SR از بلاکهای کوچک آموزشی استفاده می‌شود. در این رساله با فرض داشتن تصاویری با وضوح بالا از تصویر یا فریم ویدئویی که ممکن است زمان و زاویهٔ اخذ آن با تصویر با وضوح پایین متفاوت باشد، نگاشت کل تصویر آموزشی بر مختصات تصویر ویدئویی و ترکیب مناسب آن پیشنهاد گردید. فصل \ref{Chap:CSICC2009} به بیان این شیوه تخصیص یافته بود.

روش نگاشت پیشنهادی می‌تواند روی هر فریم ویدئوی اصلی و یا روی فریم حاصل از یک روش بازسازی و به عنوان مرحلهٔ سنتز اعمال گردد. در هر صورت نگاشت دقیق‌تر منجر به حصول نتیجهٔ بهتر خواهد شد. بر اساس روش ثبت تصویر مبتنی بر ناحیهٔ لوکاس-کاناد و معیار مقایسه شباهت ساختاری دو تصویر روش ثبت تصویر دقیق‌تری ارائه گردید. در روش اصلی لوکاس-کاناد از خطای حاصل از تفاضل دو تصویر استفاده می‌شود که روش مناسبی برای مقایسه ساختاری دو تصویر نیست. در روش مقایسه ساختاری دو تصویر از آمارگان محلی بلاکهای متناظر دو تصویر برای مقایسه دوتصویر استفاده می‌شود. فرمولبندی نحوه لحاظ کردن این معیار در کنار معیار معمول تفاضل در فصل \ref{Chap:EURASIP} ذکر شد و دقت بالاتر و سرعت همگرائی بیشتر این شیوه در مقایسه به روش اصلی لوکاس-کاناد نشان داده شد. دو نسخه از شیوهٔ پیشنهادی بر اساس روشهای بهینه‌سازی گوس-نیوتن و لونبرگ-مارکورت ارائه و نحوهٔ استفاده از آنها در تصویر و ویدئو در فصول \ref{Chap:EURASIP} و \ref{Chap:video} نشان داده شد.

 در فصل \ref{Chap:IBP_SSIM} با شیوه‌ای مشابه روش پیشنهادی در فصل \ref{Chap:EURASIP}،  از معیار شباهت ساختاری تصاویر برای بهبود الگوریتم‌های بازسازی \lr{IBP} و \lr{RS} بهره گرفته شد.

\subsection*{آمیختن تصاویر}
\fusion تصاویر به نحوی که مرز تصاویر آشکار نباشد یکی از موضوعات مهم در روش پیشنهادی می‌باشد. در \fusion با هم‌رنگ‌سازی چندباندهٔ برت و ادلسون، لبه‌ها محو می‌شوند، لیکن  تفاوت  تغییرات رنگیِ تصاویر نسبت به هم مشهود است؛ از طرفی با استفاده از تبدیل موجک، می‌توان رنگ را از یکی و اطلاعات با فرکانس بالا را از دیگری گرفت و مشکل اختلاف رنگ را نداریم ولی لبه‌ها کاملاً محو نمی‌شوند. ترکیب مناسب این دو الگوریتم  به صورت ابتدا انجام ترکیب با شیوه‌ی مبتنی بر تبدیل موجک، ساخت یک ماسک مناسب و سپس استفاده از روش هم‌رنگ‌سازی چند بانده بر روی نتیجه‌ی مرحله‌ی اول در فصل \ref{Chap:fusion} صورت پذیرفت. نتایج پیاده‌سازی‌های انجام شده برتری شیوه‌ی پیشنهادی را در مقایسه با هر دو روش مذکور، در حوزه‌ی وضوح برتر  نشان داده است.

\subsection*{اشیاء متحرک}
به لحاظ مشکلات اشیاء متحرک در زمینهٔ وضوح برتر، در بسیاری از مقالات، صحنه ایستا درنظر گرفته می‌شود. روش جدید و سریعی برای شناسائی اشیاء متحرک مبتنی بر تجزیهٔ ماتریس‌ها و مدل مخلوط گوسی ارائه شده است که در فصل \ref{Chap:QR} از این ایده در \SR استفاده شد. 
به صورت خلاصه در این مرحله، فریمهایی از تصاویر ورودی که حاوی اشیائی به جز زمینه می‌باشند، فیلتر شده و فقط فریمهای زمینه به مرحله‌ی بعد داده می‌شوند. در مرحله‌ی بازسازی مجدداً \registration انجام نخواهد شد و فقط بازسازی تصویر با استفاده از خروجی مرحله‌ی قبل و با استفاده از همان پارامترهای مرحله‌ی \registration انجام شده است.

%در این قسمت به صورت خاص به کارهای آتی در راستای این رساله و به مسائل باز در این زمینه از دیدی کلی‌تر نگاهی خواهیم انداخت.
\section{کارهای آتی}

تنگناهای روشهای پیشنهادی در فصول مربوطه به صورت مختصر بیان شده‌اند. در این قسمت به بیان مواردی پرداخته می‌شود که به نظر می‌رسد دنبال کردن آنها امیدوارکننده باشد. فهرست این موارد در ذیل و توضیح مختصر هر یک در ادامه آمده است.
\begin{itemize}
\item  هموار کردن فریم‌های متوالی ویدئو
\item لحاظ کردن معیار شباهت ساختاریِ با روشهای پیشنهادی در فرمولبندی \lr{IBP}
%\item لحاظ کردنبهینه‌سازی لونبرگ-مارکورت در فرمولبندی \lr{IBP}
\item شناسائی بهترین تصاویر از بین یک مجموعه تصاویر آموزشی برای ترکیب با فیلم
%\item شناسائی شات‌های ویدئو که متناظر با یک تصویر آموزشی هستند
\item انتخاب مقدار بهینه برای پارامترهای مختلف سیستم، مانند حد آستانه در شناسائی اشیاء متحرک
\item  شناسائی خودکار نگاشت‌های نادرست تصاویر
\item اعمال الگوریتم پیشنهادی مبتنی بر تجزیهٔ ماتریسها بر روی بلاکهای کوچک تصویر به جای کل تصویر
\item  بررسی ریاضی نقطه شکست \LTRfootnote{Break down point}  در استفاده از تجزیهٔ \LR{QR} در مواجهه با \outliers.
\item در نظر گرفتن یک مدل واقعی‌تر از دوربین به جای مدل نقطه‌ای \LTRfootnote{Pinhole model} مرسوم که بتواند اعوجاجات پیچیده‌تر را هم لحاظ نماید. 
\item اعمال روش پیشنهادیِ ثبت‌تصویر مبتنی بر نقاط کلیدیِ \lr{SIFT} در مدلهای تبدیل پیچیده‌تر از اقلیدسی.
\end{itemize}


\subsection*{  هموار کردن فریم‌های متوالی ویدئو}
هدف اصلی از سعی در نگاشت دقیق‌تر تصویر آموزشی، همانگونه که در فصل \ref{Chap:EURASIP} ذکر شد، کاهش میزان لرزش در ویدئوی خروجی ناشی از خطای نگاشت تصویر بود. گرچه که نگاشت دقیق‌تر انجام شد، با اینحال هنوز در ویدئوی خروجی شاهد لرزش مختصری هستیم که کار بیشتری برای رفع آن لازم است. یک روش ممکن می‌تواند وابسته کردن نگاشت به پارامترهای ثبت‌تصویر بین فریمی باشد.
%\subsection*{ لحاظ کردن معیار شباهت ساختاریِ با روشهای پیشنهادی در فرمولبندی \lr{IBP}}
%اگر به فرمولبندی ثبت‌تصویر لوکاس-کاناد در فصل \ref{Chap:EURASIP} و الگوریتم \lr{IBP} در فصل \ref{Chap:SRliteratures} دقت شود متوجه مشابهت این دو فرمولبندی خواهیم شد. به نظر می‌رسد همانگونه که لحاظ کردن معیار شباهت ساختاریِ $SSIM$ در فرمولبندی لوکاس-کاناد منجر به نتایج بهتری گردید، استفاده از این معیار در \lr{IBP} هم نتایج بهتری تولید نماید.
%\subsection*{ لحاظ کردنبهینه‌سازی لونبرگ-مارکورت در فرمولبندی \lr{IBP}}
\subsection*{ شناسائی بهترین تصاویر از بین یک مجموعه تصاویر آموزشی برای ترکیب با فیلم}
یک کاربرد روش پیشنهادی در این رساله می‌تواند هنگامی باشد که مجموعه‌ای از  تصاویر با وضوح بالا و فیلمی با وضوح پایین از یک صحنه در دسترس هستند. حالتی که در تصویربرداری با دوربین‌های تلفن‌های همراه بسیار معمول است. انتخاب بهترین تصویر برای سنتز همه یا برخی فریم‌های ویدئو می‌تواند موضوع یک تحقیق باشد که در این رساله به آن پرداخته نشده است. از زاویه‌ای دیگر شناسائی شات‌های ویدئو که متناظر با یک تصویر آموزشی هستند نیز می‌تواند مورد توجه باشد.
%\subsection*{ شناسائی شات‌های ویدئو که متناظر با یک تصویر آموزشی هستند}

\subsection*{ انتخاب مقدار بهینه برای پارامترهای مختلف سیستم}
در شیوهٔ پیشنهادی پارامترهای نسبتاً زیادی وجود دارند که  بر خروجی سیستم اثرگذار هستند. برخی از این پارامترها در زیر آمده‌اند:
\begin{itemize}
 \item \lr{SIFT distRatio $\in [0,1]$}
 \item \lr{RANSAC Threshold $\in [0,1]$}
 \item حد آستانه برای شناسائی اشیاء متحرک با روش تفاضل
 \item حد آستانه برای شناسائی اشیاء متحرک با محک \lr{SSIM}
 \item پارامترهای محک \lr{SSIM}
 \item پارامتر مربوط به \lr{QR Decomposition}
 \item ضریب بزرگنمایی
% \item پیدا کردن یا برداشت و انتخاب فیلم و عکس‌های مناسب
% \item انتخاب یک روش مناسب ثبت تصویر
% \item انتخاب یک روش بازسازی
 \item اندازه پنجره مناسب برای بازسازی
% \item نوع استفاده از پنجره در بازسازی (\lr{Sliding,Distinct})
% \item انتخاب نوع مناسب متغیر برای ذخیره تصاویر برای هر منظور
 \item انواع مختلف محک مقایسه
 %\item انتخاب حد آستانه نرم پارامترهای تبدیل برای استفاده از هوموگرافی در زنجیره هوموگرافی-تبدیل در \lr{H_estimation_from_T}
 %\item میزان و نوع اعوجاج وارده به تصویر مانند نویز
 \item تعداد دفعات تکرار در حلقه ثبت تصویر مبتنی بر ناحیه
 \end{itemize}
 همهٔ این پارامترها در پیاده‌سازیهای انجام شده به صورت دستی و بسته به دادگان ورودی تنظیم شده‌اند. این مسئله استفاده از این روش را برای یک کاربر مشکل خواهد نمود. پیدا کردن مقادیر بهینهٔ هر یک از این پارامترها وابسته به دادگان ورودی می‌تواند موضوع کارهای آتی باشد.


\subsection*{  شناسائی خودکار نگاشت‌های نادرست تصاویر}
یکی از پیش‌فرضهای روشهای ثبت‌تصویر مبتنی بر ناحیه که در رسالهٔ حاضر برای دقیق‌تر کردن نگاشت از آنها استفاده شد، داشتن یک تخمین اولیه از مدل تبدیل بود که در این رساله روش مبتنی بر ویژگی بکار گرفته شد. حتی اگر تصویر آموزشی قابل انطباق بر فریم ورودی نباشد، این روش یک مدل تبدیل به ما خواهد داد. شناسائی چنین مواردی در این رساله به صورت بصری بوده است و مثالهایی انتخاب شده‌اند که چنین مشکلی نداشته باشند. این مسئله به این رساله محدود نیست و حتی در برنامهٔ تولید پانورامای دکتر لُوْ \lr{(AutoStitch)} هم گاهی با چنین مشکلی مواجه هستیم. شناسائی خودکار برای اجتناب از چنین حالاتی برای خودکارسازی تمام مراحل شیوهٔ پیشنهادی الزامی است.

\subsection*{ اعمال الگوریتم پیشنهادی مبتنی بر تجزیهٔ ماتریسها بر روی بلاکهای کوچک تصویر به جای کل تصویر}
در روش مبتنی بر تجزیهٔ ماتریسها در فصل \ref{Chap:QR} فریمهای حاوی اشیاء متحرک حذف شدند. گرچه که به این ترتیب اشیاء متحرک از بازسازی حذف گردیدند ولی در کنار آن اطلاعات سایر نقاط صحنه که می‌توانستند در بازسازی مورد استفاده قرار بگیرند نیز از بین رفته است. اعمال شیوه‌ٔ پیشنهادی بر روی بلاکهای کوچک تصاویر می‌تواند این مشکل را برطرف نماید؛ لیکن از آنجا که در هر بلاک مجموعه‌ای متفاوت از فریم‌ها مورد استفاده قرار خواهد گرفت، تغییرات نوری بین فریم‌ها کنارهم قرار دادن آنها برای تولید نتیجهٔ نهایی را با مشکل مواجه خواهد کرد. 

\subsection*{  بررسی ریاضی نقطه شکست در استفاده از تجزیهٔ \LR{QR} در مواجهه با \outliers.}
اگر بند قبل به نتیجهٔ مطلوبی برسد، می‌توان امیدوار بود که با استفاده از تجزیهٔ \lr{QR} بتوان به نقطهٔ شکست پایین‌تری نسبت به عملگر میانه که درحال حاضر حائز کمترین نقطه است دست پیدا کرد. نکته‌ای که این تجزیه را از عملگر میانه متمایز می‌سازد آن است که تجزیهٔ ماتریس روی یک دنباله از بلاکها عمل می‌کند ولی عملگر میانه روی یک دنباله از پیکسل‌ها.

\subsection*{ در نظر گرفتن یک مدل واقعی‌تر از دوربین به جای مدل نقطه‌ای}
به صورت معمول بسیاری از اوقات از مدل نقطه‌ای برای دوربین استفاده می‌شود. لیکن این فرض برای بسیاری از دوربین‌های ضعیف صادق نیست و خروجی آنها همراه با اعوجاج است. اعوجاجات تصویر عمل نگاشت پروجکتیو را با مشکل مواجه می‌سازد. در این رساله خروجی دوربین بودن اعوجاج درنظر گرفته شده بوده است. لیکن به دلیل گفته شده در نظر گرفتن یک مدل واقعی‌تر از دوربین به جای مدل نقطه‌ای مرسوم که بتواند اعوجاجات را هم لحاظ نماید گاهی از اوقات الزامی می‌باشد.

\subsection*{ اعمال روش پیشنهادیِ ثبت‌تصویر مبتنی بر نقاط کلیدیِ \lr{SIFT} در مدلهای تبدیل پیچیده‌تر از اقلیدسی}
محدودیت روش پیشنهادی در فصل \ref{Chap:OXYTSIFT} آن است که با مدل تبدیل اقلیدسی (جابجائی+دوران) می‌تواند کار کند. توسعهٔ این روش به نحوی که بتواند سایر مدلهای پیچیده‌تر تبدیل را نیز پوشش دهد از کارهای آتی است.
 
 \subsection*{پیشنهاد یک محک مقایسهٔ کیفیت ویدئو با لحاظ کردن لرزش}
معمول محک‌های مورد استفاده در مقولهٔ کیفیت ویدئو، لرزش تصویر را درنظر نمی‌گیرند و البته امری قابل قبول در موارد معمول همچون فشرده‌سازی است. لیکن در روش پیشنهادی همانگونه که اشاره شد لرزشهای مختصری در ناحیهٔ نگاشت تصویر آموزشی در هر فریم بوجود می‌آید.  پیشنهاد یک محک مقایسهٔ کیفیت ویدئو که لرزش را نیز در نظر بگیرد و کاربردهای احتمالی دیگر آن می‌تواند موضوع کار آتی باشد.

\begin{comment}
برای مورد آخر استفاده از \lr{PSNR} بین فریمهای متوالی مانند مقاله
SIFTFeaturesTrackingforVideoStabilization
می‌تواند خوب باشد.

در خصوص لرزش فیلم ما ممکن است این سؤال مطرح شود که چرا فیلمهای فشرده با اینکه بردارهای حرکتی ذخیره می‌شوند لرزش ندارند. برداشت من این است که در آنجا قسمتهای ثابت بدون حرکت بوده و بردارهای حرکتی را فقط برای متحرک‌ها داریم که در حین حرکت هم این لرزش -اگر باشد- به چشم نمی‌آید.
سؤال دیگر آن است که شباهت و تفاوت شیوه ما با روش فشرده‌سازی MPEG (I frame and B Fame) چیست؟

\section{مسائل باز}
نگاهی به مقالات و کتب تالیف شده‌ی اخیر در زمینه ی \SR روشن می سازد که هنوز مسائل حل نشده ی زیادی دراین مقوله وجود دارد که در زیر به برخی از آنها اشاره می شود:
\begin{itemize}
\item
تحقیقات در زمینه ی {\siah«\SR مستقل از حرکت»} \LTRfootnote{Motion-free super-resolution} \citep{Chaudhuri05book} هنوز در آغاز راه است.
\item
مرحله ی بازسازی در الگوریتم های  \SR متضمن  بار محاسباتی زیادی است که‌استفاده از آنرا در کاربردهای بلادرنگ غیرعملی می نماید. برای {\siah
اعمال الگوریتم‌های \SR در موقعیت‌های بلادرنگ} توسعه‌ی الگوریتم های کارا برای کاهش هزینه‌ی محاسباتی ضروری می‌باشد.  الگوریتم‌های ارائه شده در \cite{Chaudhuri05book} هم همگی به جز شیوه‌ی بازسازی مبتنی بر \lr{PCA} در حال حاضر حتی برای پیاده‌سازی های نزدیک به بلادرنگ نیز نامناسبند. چرا که مفروضات متعددی مربوط به نحوه‌ی تشکیل تصویر\LTRfootnote{Image formation process} و ساختار صحنه \LTRfootnote{Structure of the scene} دارند.
\end{itemize}


\section{کارهای آتی }
لیست زیر ایده های خامی است که با توجه به مطالعات انجام شده، به نظر می رسد جای کار داشته باشند.
برخی از آنها سؤالاتی است که با آنها مواجه شده و برای آنکه فراموش نشوند یادداشت گردیده اند.
\begin{itemize}
\item

در مورد متد بازسازی مبتنی بر{\siah  موجک}، یکی از مشکلات جستجو در ساختار هرمی برای پیدا کردن بهترین تطابق با تصاویر آموزشی در همان سطح هرم است.
توسعه ی متدی که توانائی مواجهه با{\siah تغییرات مقیاس} در این زمینه را داشته باشد، کار بیشتری نیاز دارد.
\item
نشان داده شده است که  «\SR با داشتن زوم» نیز می تواند نتایج خوبی داشته باشد\cite{Chaudhuri05book}. ولی سیستم زوم دوربین خصوصیات اپتیکی پیچیده ای دارد 
که در نظر گرفتن یک{\siah مدل واقعی تر از دوربین} به جای مدل نقطه ای \LTRfootnote{Pinhole model} مرسوم که بتواند هم اعوجاجات نوری و هم اعوجاجات هندسی را لحاظ نماید،
جالب به نظر می رسد.
\item
{\siah \SR مبتنی بر آنتروپی بیشینه}\LTRfootnote{Maximum entropy} نیز یک زمینه ی تحقیقاتی خوب برای بازسازی تصویر می باشد. \cite{Chaudhuri05book}
\item
بیشتر کارهای انجام شده در حوزه‌ی \SR روی تصاویر خاکستری بوده است. از آنجا که فضای رنگ، یک فضای خطی نیست، اعمال شیوه های فوق دقت روی باندهای 
مجزای رنگ - به عنوان مثال \lr{R,G,B} و ترکیب نتایج به خوبی کار نخواهد کرد. مقوله ی {\siah«\SR» روی تصاویر رنگی} هنوز جای کار دارد.\cite{Chaudhuri05book}
\item
مسئله ی{\siah فاکتور \res بهینه} (\lr{r}) برای یک مجموعه ی دلخواه از تصاویر همچنان  یک مسئله ی حل نشده است.
\item
تعادل  صحیح بین هزینه کردن برای یک سیستم دوربین گرانقیمت یا یک الگوریتم بازسازی تصویر.
\item
میزان کردن پارامترهای مورد نیاز الگوریتم ها، اغلب بر دوش کاربر است.
\item
«\SR کور»\LTRfootnote{Blind super-resolution} یا برآورد پارامترهای  سیستم تصویربرداری از روی داده های مشاهده شده.
\item
«\res زمانی» \LTRfootnote{Temporal resolution enhancement}
%\item کارهای آینده ی \cite{Li06} هنوز مانده است. \dots

\end{itemize}


\item
مدل سازی مجدد \lr{Markov Random Field} با جبرِ مورد استفاده در رمزنگاری 
\item
استفاده از مفاهیم کاتاستروفی در \lr{MRF}
\item
مفاهیم همسایگی در  \lr{MRF} شبیه \lr{PCNN} است.- به نظر می رسد \lr{MRF} به درد کارهای بلادرنگ  نمی خورد.-
\item استفاده از موقعیت مکانی پیکسل در تصویر در تابع انرژیِ \lr{MRF} -
آیا در این حالت هنوز هم از مدل مارکوف تبعیت می کند؟ 
\item 
استفاده از \lr{PCNN}  در بعد زمان 
\item
استفاده از استنتاج فازی به جای استنتاج بیزی در \lr{MCMC}
\item
استفاده از \lr{QR} برای پیدا کردن آستانه ی بهینه به جای ۹ در $9\times T$ مقاله ی تیان.
\item
استفاده از \lr{ GA, ANN}برای قسمت بهینه سازی مسئله.
\item
بررسی امکان استفاده از\lr{DC} برای قسمت بهینه سازی مسئله.
\item بررسی استفاده از شبکه های عصبی برای \lr{PSF}. (وزن لینک های شبکه ی عصبی 
میزان تداخل پیکسلهای مجاور را مشخص کند)
\item
پیشنهادِ مفهوم اَبَرفوق دقت (وضوح بسیار بالا) با ایده ی سلسله مراتبی 
\item
بررسی امکان تلفیق روش تثبیت \lr{Bit Plane Matching} و روش لوکاس-کاناد
\item
بررسی امکان احتمالاتی کردن مقدار هر پیکسل - بررسی امکان لحاظ کردن کرنل های گوسی برای هر پیکسل - 
این ایده  قبلاً توسط فام استفاده شده است. باید دید ما چیز جدیدی دازیم یا نه؟
\item
ظاهرا روش لوکاس(کرن) با مقادیر جابجایی بزرگ مشکل دارد. برای حل این مشکل در یک دنباله از فریم ها
که بتریج اختلاف زیاد می شود اگر بتوان مقادیر پارامترهااز تخمین قبلی را برای فریم جاری استفاده نمود 
خیلی خوب خواهد شد. بخصوص اگر بتوان کارائی روش را مثلاً در حالت دو بعدی نشان داد.\\
 نکته: به جمله ی زیر از صفحه ی ۴۶ پروژه ی فام توجه شود:
\begin{latin}
we aim to minimize the inconsistency error between
the iteratively estimated motion vectors
\end{latin}
\item
چرا برای ده عکس صاحبقرانیه که شامل دوران نیستند اگر دوران را هم لحاظ کنیم( با روش کرن و \lr{PSO}) خروجی خراب می شود؟
این مشکل برای آلپاکا هم وجود دارد. 

\item
روی این مطلب که مثلاً روش زومت با ۱درصد نویز می تواند کار کندو روش فام با نویز بیشتر، باید بررسی بیشتری وابسته به 
تعداد تصاویر ورودی انجام گیرد. ضمناً چرا وقتی تعداد تصاویر زیاد می شوند خروجیهای  روشهای تکراری 
زومت و \lr{IBP} خراب می شوند؟
\item
در دفتر مشکلات جایگزینی نویزبا \lr{NaN} را نوشته ام. یک راه حل مواجهه آن است که پس از \lr{QR} تصاویر را به همین 
فرم دوران یافته و انتقال یافته به مرحله ی بعد داده و پارامترهای حرکتی را صفر کنیم. در این حالت تصویر
نهایی، زیرتصویری از تصاویر اولیه خواهد بود که چندان مهم نیست. احتمالاً اگر در تمام فریمها حرکت داشته باشیم
مثلاً ۱۰ فریم آخر آلپاکا، روش $Bilateral S\& A $ سینا خوب جواب ندهد.(: بله خوب جواب نداد. 
\item
روی موارد زیر نیز احتمالا بتوان کار کرد:
\begin{latin}
\begin{enumerate}
\item Bilateral-QR
\item Bilateral-MRF
\end{enumerate}
\end{latin}
\end{itemize}
\subsection{مقالاتی که ارائه‌ی آنهامتصور است}
در زیر موضوع مقالاتی که امیدوار به ارائه ی آنها هستیم لیست شده اند. البته بسیاری از این ایده‌ها خام هستند ولی 
در هر صورت دید ما از آینده ی کار را نشان می دهند:
\begin{latin}
\begin{enumerate}
\item Rubost Super Resolution via Background Modeling
\item Some Comments on the image noise and number of input images in Super resolution
\item Super Resolution in the presence of outliers via QR-Background Modeling 
\item Light Invariant Super Resolution
\item Layering Super-Resolution
\item Break Point Reduction in Super-Resolution via QR-Decomposition
%\item Certainty Function
\item Blocking QR-Decomposition in SR \rl{به خاطر آنکه اطلاعات بیشتری محفوظ بمانند}
\item 3D Super-resolution 
\end{enumerate}
\end{latin}
\section{نکات مربوط به \lr{Video SR with HR Images} }
\begin{itemize}
\item
باید \lr{SIFT}ی داشته باشیم که کاملاً مستقل از دوران نباشد، بلکه تا یک زاویه ی خاص را لحاظ کند.
به این ترتیب تعداد زیادی از \lr{Key Point}ها- که در واقع \outlier می باشند-  حذف خواهند شد. برای هر تصویر با\HR یکبار این ویژگیها 
را محاسبه می نمائیم و آنها را با ویژکیهای تصاویر با\LoR مقایسه می کنیم. 
\item
در مقایسه و رد یا قبول \lr{Key Point} ها باید به موقعیت مکانی نسبی آنها هم توجه داشته باشیم.
(نوعی از مثلث بندی یا شبکه عصبی کوهونن). به عنوان مثال در ویدئو به جای \lr{RANSAC} از آنجا که ما فقط دو تصویر
نداشته و یک دنباله از تصاویر داریم، نقاط کلیدی تصویر اول (یامیانگین چند تصویر برای حذف نویز) را
به عنوان حالت اولیه ی شبکه عصبی کوهونن (با یا بدون در نظر گرفتن مثلث بندی) در نظر می گیریم.
سپس در هر فریم شبکه ی ما به نقاط کلیدی آن همگرا خواهد شد. در اینجا مشکلی در مورد \lr{incremental}
بودن نقاط کلیدی (نودهای شبکه) را خواهیم داشت. اگر فرض کنیم در طی چندین فریم شبکه‌ی ما بدرستی به مجموعه‌ای 
از \lr{inlier} ها همگراشده است حال می توانیم خروجی آنرا برای تصویر با\HR استفاده نماییم. در حالت مثلث بندی 
نیاز به یک شبکه‌ی کوهونن با تعداد همسایگان متغیر برای هر نود داریم.
شاید شبکه‌ی \lr{PCNN} هم بدرد ما بخورد.

مقالات مرتبط با این موضوع: \lr{Coppini} در \cite{Coppini04matching} به مسئله‌ی تطابق با استفاده از شبکه‌ی عصبی کوهونن و تبدیل موجک پرداخته است.
از موجک برای مواجهه با مقیاس های مختلف استفاده نموده است. به جای موجک می توانیم از \lr{SIFT} استفاده کنیم.
\lr{W\"{u}rtz} در \cite{wurtz99performance} و \lr{Huwer} در \cite{Huwer96data} نیز از شبکه‌ی کوهونن استفاده نموده اند.
\item
اینکه حد آستانه ی قبولی (\lr{distRatio}) چقدر باشد یک مشکل ما خواهد بود.
\item
با بافتهایی مانند فرش که \lr{Key Point} های زیادی دارند، مشکل خواهیم داشت، چرا که اشیاء دیگر گم می شوند.
\item
با بافتهای شامل الگوهای تکراری مشکل خواهیم داشت.
\item
استفاده از شیوه های متفاوف \SR برای قسمتهای ثابت و متحرک.
\item
استفاده از مقاله ی صفحه ۴۹۹ از جلد دوم \lr{ BMVC}برای شناسائی ویژگیهای مستقل از مقیاس و روشنایی 
\item بحث \lr{Accuracy , Precision}
\item 
\lr{Basri} در \cite{Basri07approximate} شیوه ای مبتنی بر نزدیک ترین همسایه برای یافتن \lr{patch} مناسب ارائه نموده
است.
\item شاید بتوان از مقاله ی \cite{Ukrainitz06aligning} برای ثبت تصویر از داخل خودروی درحال حرکت بهره گرفت.
-> نه! به درد این مورد نمی خورد. مربوط به مواقعی است که یک \lr{Action} مانند حرکت آدم داشته باشیم.
\item مقاله‌ی \cite{CaspiSI06feature} به \registration دو ویدئو بر اساس ویژگی پرداخته و به مشکلات \registration 
دو تصویر اخذ شده با زووم متفاوت اشاره دارد.
\item مباحث خلاصه سازی ویدئو \LTRfootnote{Video Epitome} نیز ممکن است بدرد بخورند. جالبی این ایده آن است که 
بدون ناظر عمل می کند.\cite{CheungFJ05video,JojicFK03epitomic} برای مرجع اخیر کد هم داریم :).
\item بورمن در فصل ۷ اشاره داشته است که برای \SR ویدئو محدودیت‌های زمانی نیز قرار داده و اقدام به بازیابی همزمان 
چند فریم نموده است. شاید بتوان از اصطلاحات سریهای زمانی مکانی (قدسی) استفاده نمود.
%MATLAB fmincon
\item جایگذاری قسمتهای زمینه از تصویر با\HR و عمل مناسب برای قسمتهای متحرک.
$Object-Based\ Super Resolution$ جایگذاری می تواند به صورت مستقیم باشد یا به عنوان یک تصویر ورودی 
با ضریب بالاتر در قسمت ترکیب مورد استفاده قرار بگیرد.
در قسمت جایگذاری مستقیم، می‌توان شییٔ شناسائی شده در تصویر با \HR را مطابق توصیه‌ی یکی از مقالات 
به انحاء مختلف دوران داده و فرم مناسب را جایگذاری نمود.
ایده‌ی بکارگیری نواحی شیی‌ٔگرا بجای نواحی مستطیلی قبلاً در \lr{MPEG-4} استفاده شده است ولی در \SR استفاده
نشده است. دیکود کردن فایلهای \lr{MPEG-4} مشکل است. پیاده سازی های موجود با \lr{C} هستند، با توابع بسیار زیاد
\LTRfootnote{http://ffmpeg.mplayerhq.hu/}.
\item مشکل \registration فیلمهای واقعی -> شاید بتوان از \lr{SIFT} استفاده نمود.
\item ظاهراً گریزی از قطعه بندی نیست.\lr{Watershed, Active Contour}
%سورس دیکودر و انکودر های فشرده سازی http://ffmpeg.mplayerhq.hu/faq.html
\item هنوز کسی به مسئله‌ی    \SR از روی دو ویدئو نپرداخته است. در این مورد و مشابه خلاصه سازی ویدیوئی شاید بتوان یک \lr{SIFT} زمانی 
ارائه نمود. 
\item
مرجع \cite{Paragios05handbook} در فصل ۱۷ به پانوراماپرداخته است و در بخش ۱.۴.۱۷ به این مطلب اشاره دارد که با تقسیم
تصویر به \patch و پیدا کردن تناظر برای هر کدام به صورت مجزا در مرجع ۷۳۹ آن قبلا پرداخته شده است. این همان چیزی است 
که در وان نوت نوشته بودم و می خواستم روی آن به عنوان \lr{Clustering RANSAC} کار کنم.
\item یک راه حل ساده برای \blending مربوط به تفاوت زمان نوردهی عبارت است از مشخص کردن میانگین شدت روشنایی در هر
یک از دو تصویر در ناحیه‌ی مشترک (هم پوشان) دو تصویر و اصلاح دو تصویر بر اساس آن [اسلایدهای پاورپوینت: \lr{High-Resolution Panoramas...}] .
\end{itemize}
%%%%%% پایان فصل «مسائل باز...»
\end{comment}

