%%%%%%%%%%%%%%%%% پیشنهاد رساله  
\chapter{پیشنهاد رساله }   %{پیشنهادات و سؤالات من}
یکی از جنبه های نسبتاً جدید در زمینه‌ی \SR ، تولید یک تصویر با \HR از روی یک تصویر یا یک ویدئوی با\LoR و یک مجموعه از 
تصاویرِ با\HR می‌باشد\cite{Freeman02example,Kondo07example} . گسترش این حوزه به تولید خروجی ویدئوی با\HR از روی یک ویدئوی با\LoR و یک مجموعه از 
تصاویرِ با\HR نیز اخیراً صورت پذیرفته است\cite{Kong06video,Pham06thesis}. عمده تلاشهای این حوزه - و همچنین این پروژه - 
مربوط به جزء چهارم از اجزاء یک سیستم \SR (\lr{Synthesis}) می‌باشد
که در مقدمه از آن با عنوان \synthesis نام برده  شد . یکی از علل توجه محققین به تکنیکهای \SR مبتنی بر مثال و دانش پیشین، انتشار مقالاتی 
\cite{Baker02limits,Lin04fundamental} در مورد محدود بودن 
میزان وضوح قابل دستیابی از طریق شیوه‌های معمول \SR و لزوم لحاظ کردن دانشی دیگر همچون داده‌های آموزشی برای نیل به \res بالاتر بوده است.
همچنین کیفیت تصویر نهایی با افزایش خطای \registration، کاهش می‌یابد و نشان داده شده است که  داشتن اطلاعات اضافی باعث می‌شود که \SR 
نسبت به چنین خطاهایی مقاومتر باشد \cite{Nguyen00thesis}.


\section{رهیافتهای مورد استفاده}
رهیافتهای کلی  پیشنهادی این پروژه به شرح ذیل می‌باشند:
\begin{enumerate}
\item دخیل کردن  مفاهیم موجود در منابع پانوراما\footnote{\lr{Panorama}} در حوزه‌ی \SR و
\item استفاده از تجزیه‌ی ماتریس‌ها برای شناسائی زمینه و اشیاء متحرک؛
%\item ترکیب متدهای \registration مبتنی بر ناحیه و مبتنی بر ویژگی برای نیل به هدف؛
%\item استفاده از مفاهیم جدید در جبرخطی 
\end{enumerate}

در ادامه موارد فوق را با جزئیات بیشتر ذکر خواهیم نمود. مطالب این بخش 
نوآوری‌های پیش‌بینی شده برای رساله می‌باشد.%بوده که با توجه به جستجوهای نگارنده هنوز توسط کسی انجام نشده است.
% شایان ذکر است که برخی ایده‌ها نظیر استفاده از Partice Swarm Optimization و Bit Plane Matching  توسط 
%نگارنده به عنوان رهیافت‌های جدید در  \registration پیاده‌سازی شدند ولی جستجوهای زیاد مشخص نمود که آنچه توسط ما 
%پیاده‌سازی گردیده بود قبلاً توسط دیگران منتشر شده بوده است.


\subsection[استفاده از مفاهیم پانوراما]
{استفاده از مفاهیم پانوراما در حوزه‌ی \SR}
    ایجاد تصاویر پانوراما یا عریض (از طریق کنار هم گذاشتن چند تصویر از یک منظره) سابقه تحقیقاتی طولانی 
دارد\cite{Brown03recognising}. چارچوب کلی تکنیک های پانوراما آن است که ابتدا قسمت‌های مشترک تصاویر پیدا شده،
سپس تصویرها کنار هم چیده می‌شود و در انتها تصویر پانوراما تهیه می‌شود.
تهیه‌ی پانوراما هم در حوزه‌ی تصاویر ثابت و هم در حوزه‌ی ویدئو مورد بررسی قرار گرفته است. 
قرابت این مسئله و مسئله‌ی \SR در حالت خاص مورد نظر این پروژه آن است که معمولاً فریمهای یک ویدئو 
با هم اختلاف کمی داشته و متدهای \registration مبتنی بر ناحیه به خوبی عمل می نمایند؛ ولی در مورد \registration 
بین تصاویر \HR و فریمهای \LoR چند مشکل وجود دارد:
\begin{itemize}
\item از آنجا که ممکن است تصاویر و فیلم‌های یک صحنه دقیقاً از یک زاویه اخذ نشده و تفاوت‌های نسبتاً زیادی با هم داشته 
باشند، نیاز به متد \registration مبتنی بر ویژگی داریم؛
\item از آنجا که اندازه‌ی تصاویر و فریم ها متفاوت است، نیاز به استخراج ویژگیهایی است که مستقل از مقیاس باشند؛
\item از آنجا که ممکن است شرایط نوری تصاویر و عکس ها متفاوت باشند، نیاز به ویژگیهایی است که 
مستقل از تغییرات نوری باشند و
\item نیاز به مدلی تواناتر از \gtm مانند مدل پرسپکتیو داریم.
\end{itemize}
\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=12cm]{fig/Closing_LR_HR}}
\farsi
\caption[تصاویر با \res پایین و بالا]
{بالا: تصویر با \LoR (بزرگ شده به اندازه‌ی تصویر با \HR). پایین: تصویر با \HR از همان صحنه که زاویه‌ی تصویربرداری عوض شده و افراد مختصری 
جابجا شده اند. تفاوتهای فتومتریک دو تصویر نیز در فرم رنگی آن به خوبی مشهود است.}
\english
\label{fig:Closing_LR_HR}
\end{figure*}
\farsi

شکل \ref{fig:Closing_LR_HR} مصداقی برای موارد فوق‌الذکر می‌باشد. هر دو تصویر از یک صحنه‌ی نسبتاً ثابت  ولی با یک 
فاصله‌ی زمانی کوتاه اخذ شده‌اند. عکس  بالایی یک تصویر با \LoR و عکس  پایینی یک تصویر با \HR می باشد. تفاوت \res از مقایسه‌ی نوشتار 
پشت سر افراد به خوبی مشهود است. با توجه به اینکه زاویه‌ی تصویربرداری در دو عکس متفاوت است متدهای مبتنی بر شار نوری 
قابل استفاده نخواهند بود. تفاوت فتومتریک دو تصویر نیز روی صفحه نمایش به خوبی دیده می‌شود.
می‌توان گفت چنین شرایطی را معمولاً در مسائل پانوراما شاهد هستیم. نگاهی به تکنیکهای بکاربرده شده در 
پانوراما، روشن می‌سازد که ویژگیهای نامتغیر با مقیاس (\lr{SIFT})\cite{Brown02invariant,Lowe04distinctive}
به عنوان ابزاری توانمند به دفعات در منابع \panorama بکار گرفته شده است.
%می تواند به عنوان ابزاری مناسب بکار گرفته شود.

روشهای معمول \SR مبتنی بر مثال از \patch های کوچک مربعی استفاده می‌کنند \cite{Freeman02example,Kong06video,Pham06thesis}.
%با آنکه این روشها بسیار جالب هستند 
{\emph در راهکار پیشنهادی سعی بر آن است  که متدهایی در یک سطح مفهومی بالاتر از روشهای انجام شده‌ی  قبلی ارائه شود.}
ایده‌ی اصلی استفاده از \patch هایی به جز \patch های مربعی هم‌اندازه است. \patch ها می توانند مربع‌هایی با اندازه‌های متفاوت، \patch هایی 
متناظر با اشیاء موجود و یا حتی کل صحنه باشند. این ایده مرتبط با مبحث 
«ضریب افزایش وضوح متغیر با مکان»~\footnote{\lr{Spatially Adaptive Magnifying Factor (SAMF)}} می‌باشد که خود از جمله مواردی در حوزه‌ی \SR است که می‌توان 
گفت هنوز هیچ کاری روی آن انجام نپذیرفته است \cite{Katsaggelos07book}.
راهکارهای پیشنهادی در این قسمت  به شرح زیر می‌باشند:
%چند راهکار مرتبط با این موضوع پیشنهاد شده است.
\begin{itemize}
\item راهکار۱- پیدا کردن نقاط کلیدی مشترک دو تصویر و جایگذاری \patch مناسب از تصویر \HR در تصویر \LoR.
\item راهکار۲- نگاشت تصویر \HR به روی تصویر \LoR.
\item راهکار۳- استفاده از متد  \lr{Freeman} و دیگران \cite{Freeman02example} با استفاده از تصویر \HR ی تبدیل یافته به عنوان 
داده‌ی آموزشی 
\end{itemize}
در ادامه به بررسی موارد انجام شده در هر مورد و مشکلات و موانع بوجود آمده خواهیم پرداخت.

\subsubsection{راهکار۱- پیدا کردن نقاط کلیدی مشترک دو تصویر و جایگذاری \patch مناسب از تصویر \HR در تصویر \LoR}
به عنوان اولین راهکار می توانیم ایده‌ی پیدا کردن نقاط کلیدی مشترک دو تصویر و جایگذاری \patch مناسب از تصویر \HR 
در تصویر \LoR را ذکر نماییم. این نقاط کلیدی می‌توانند مثلاً گوشه‌ها یا \sift باشند. به علت مزایای بسیار نقاط کلیدی \sift
در ادامه از این ویژگیها استفاده شده است.

 شکل  \ref{fig:Shanghai_LR_HR_SIFT}  انطباق نقاط کلیدی \sift را روی دو تصویر با\LoR و با\HR با دو آستانه‌ی مختلف برای 
سنجش میزان شباهت نقاط کلیدی نشان می‌دهد. هر چه تعداد نقاط کلیدی مشترک بین دو تصویر بیشتر باشد، برای منظور ما در این 
قسمت بهتر خواهد بود لیکن کاهش حد آستانه‌ی شباهت باعث افزایش  \outliers در نقاط کلیدی خواهد شد. یک نمونه از انطباق‌های نادرست 
در تصویر پایین شکل مذکور با خط توپر نشان داده شده است.

\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=15cm]{fig/Shanghai_LR_HR_SIFT}}
\farsi
\caption[انطباق نقاط کلیدی بین تصاویر با \res پایین و \res بالا]
{دو شکل فوق انطباق نقاط کلیدی \sift را روی دو تصویر با\LoR و با\HR با دو آستانه‌ی مختلف برای 
سنجش میزان شباهت نقاط کلیدی نشان می‌دهد. یک نمونه از انطباق‌های نادرست 
در تصویر پایین با خط توپر سفید نشان داده شده است.
 }
\english
\label{fig:Shanghai_LR_HR_SIFT}
\end{figure*}
\farsi

شکل \ref{fig:Shanghai_Syn_Direct_Replacing_02} نتیجه ی جایگذاری مستقیم \patch های مرتبط با نقاط کلیدی متناظر دو تصویر را با اندازه‌های
 \patch متفاوت نشان می‌دهد. گرچه که نتیجه‌ی اجرا با اندازه‌ی \patch بزرگتر جالبتر به نظر می رسد (به کابلها، نوشته های 
چینی و اژدهای سمت چپ دقت شود) ولی تطابق نادرست برخی نقاط ویژگی، مانند موردی که در تصویر پایین 
شکل \ref{fig:Shanghai_LR_HR_SIFT} نشان داده شد باعث جایگذاری نادرست شده‌اند.

\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=14.5cm]{fig/Shanghai_Syn_Direct_Replacing_02}}
\farsi
\caption[جایگذاری مستقیم \patch در تصویر با\LoR]
{جایگذاری مستقیم \patch از تصویر با\HR در تصویر با\LoR. تصویر بالا: عکس با \LoR اولیه که بزرگ شده است.
تصاویر پایین نتیجه جایگذاری مستقیم \patch از تصویر با\HR در تصویر با\LoR را نشان می دهند.
در تصویر پایین سمت راست (در تصویر رنگی): مربع‌های قرمز نشان‌دهنده‌ی انطباق‌های نادرست می‌باشند. مربع قرمز در کنار
صورت آدم چتر بدست نشاندهنده یک انطباق نادرست است که در شکل  \ref{fig:Shanghai_LR_HR_SIFT} نشان داده شد. 
مربع های سبز قسمت هایی را که افزایش وضوح به خوبی قابل رویت است  را نشان می‌دهند.
 }
\english
\label{fig:Shanghai_Syn_Direct_Replacing_02}
\end{figure*}
\farsi
 برای رفع مشکل فوق راهکارهای زیر پیشنهاد می‌شود:\\
۱) استفاده از متدهایی همچون \lr{RANSAC} برای حذف انطباق‌های نادرست،\\
۲) دخیل کردن مفاهیم همسایگی و گرافها% همچون نمایش نقاط کلیدی در شکل \ref{fig:Shanghai_2_Trian} 
و استفاده از آن برای حذف انطباق‌های نادرست و \\
۳) استفاده از رشد ناحیه و قطعه‌بندی در نواحی جایگذاری شده پس از حذف انطباق‌های نادرست.\\
%هنوز موارد فوق الذکر را عملی ننموده‌ام. 

\subsubsection{راهکار۲-نگاشت تصویر \HR به روی تصویر \LoR }
نگاهی به نتایج راهکار قسمت قبل مشخص می‌کند که در عکسهایی همانند زوج تصاویر نشان داده شده در شکلهای 
\ref{fig:Closing_LR_HR} و \ref{fig:Shanghai_LR_HR} بیشتر دو تصویر تحت یک تبدیل یکسانند و فقط قسمتهای کمی از 
آنها (مانند اشیاء متحرک) در دو تصویر با هم مغایرت دارند. لذا این ایده قوت می‌گیرد که پارامترهای  
تبدیل مورد نیاز (که دیگر ممکن است فقط \gtm نبوده و شاید مدل پرسپکتیو باشد) را یافته، نگاشت تصویر \HR را تحت این
تبدیل بر روی تصویر \LoR بدست آورده و قسمتهای یکسان را جایگزین نماییم.
به این منظور بایستی یک تطابق نقاط کلیدی مطلوب روی دو تصویر انجام پذیرفته و پارامترهای مدل تخمین زده شوند.
در پیاده‌سازی‌های انجام شده هم از گوشه و هم از \sift به عنوان ویژگی استفاده شد. شکل \ref{fig:Closing_HR_LR_SIFT_Matches}
تطابق ویژگیهای \sift  در دو تصویر شکل \ref{fig:Closing_LR_HR} را روی تصویر با \HR نشان می‌دهد. تصویر بالایی نشان دهنده‌ی تمام
تطابقات پیدا شده و تصویر پایینی فقط مجموعه‌ای را نشان می‌دهد که تحت الگوریتم \lr{RANSAC}
\cite{Fischler81random,Hartley2004book} انتخاب شده‌اند و تخمین پارامترهای مدل نگاشت بر اساس آنها انجام خواهد شد.
\english

\begin{figure*}
\centerline{\includegraphics[width=11cm]{fig/Closing_HR_LR_SIFT_Matches}}
\farsi
\caption[تطابق ویژگیها در دو تصویر ]
{نمایش  تطابق ویژگیها در دو تصویر با\HR و با\LoR بر روی تصویر \HR
% شکل \ref{fig:Closing_LR_HR}
.تصویر بالایی نشان دهنده‌ی تمام
تطابقات پیدا شده و تصویر پایینی فقط مجموعه‌ای را نشان می‌دهد که تحت الگوریتم \lr{RANSAC}
انتخاب شده‌اند. }
\english
\label{fig:Closing_HR_LR_SIFT_Matches}
\end{figure*}
\farsi



شکل \ref{fig:Closing_HR_LR_SIFT_Color_Recon} نگاشت عکس با\HR از شکل \ref{fig:Closing_LR_HR} را روی عکس
با \LoR بر اساس تطابقات پیدا شده توسط الگوریتم \lr{RANSAC} نشان می دهد. همانگونه که دیده می‌شود چارچوب تصویر
مطابق عکس با \LoR از شکل  \ref{fig:Closing_LR_HR} است، ولی محل و ژست افراد مطابق عکس با \HR از شکل مذکور است.
\res بیشتر این تصویر با مقایسه‌ی نوشته‌های روی تابلوی پشت سر افراد در این تصویر و تصویر \LoR مربوطه به خوبی مشخص 
می شود. مشکلی که وجود دارد عدم تطابق این تصویر تولیدی با تصویر اولیه در برخی قسمت ها و مخصوصاً در مورد دو فرد ایستاده
است. به این منظور کافیست که تفاضل دو تصویر مزبور را پیدا نموده و آن نواحی از این تصویر تولیدی  که اختلاف زیادی با
تصویر اولیه دارند را با \patch مناسب از تصویر اولیه جایگزین نمود. ولی این کار به راحتی ممکن نیست! تلاشهای نگارنده 
برای انجام این مرحله به صورت خودکار تاکنون به نتیجه‌ی مطلوبی نرسیده است. در این مرحله از کار موقتاً این نواحی 
را به صورت دستی مشخص نموده‌ایم. البته مشخص کردن دستی چنین ناحیه‌هایی در مقالات \panorama%
%CREATION AND SCENE COMPOSITION FOR HIGH-RESOLUTION PANORAMAS
 هم سابقه‌ی استفاده دارد\cite{Eisert05creation}. 
شکل  \ref{fig:Closing_4Im} تصویر اولیه‌ی با \LoR ، تصویر تولید شده با استفاده از نگاشت تصویر با\HR روی تصویر با \LoR ،
تفاضل این دو و تصویر نهایی حاصل از جایگذاری \patch مناسب از تصویر اول در تصویر دوم بر اساس ماسک ایجاد شده به صورت 
دستی مبتنی بر تفاضل آنها را نشان می دهد. 
%ماسک موردنظر در شکل  \ref{fig:Closing_HR_LR_SIFT_MissMapped} نشان داده شده است.

راه حل  دیگری که به جای ماسک دستی فوق‌الذکر به نظر می‌رسد آن است که از آنجا که عمده‌ی اختلاف تصاویر \LoR و تصویر نهایی تولید
شده در اشیاء متحرک می‌باشد، می‌توان از الگوریتم‌های تشخیص زمینه همانند متدهای ارائه شده توسط نگارندگان  \cite{Amintoosi07icics,Amintoosi07icassp}
استفاده نموده و اشیاء متحرک را در تصاویر \LoR شناسائی نمود. سپس  اشیاء در تصویر با \HR ی نهایی را شناسائی نمود.
شناسائی اشیاء در تصاویر این قدرت را به ما می‌دهد که تبدیل مطلوب را برای هر شییء به صورت مجزا بدست آوریم. به این ترتیب 
\registration را به صورت بسیار بهتری قابل حصول خواهد بود.
چارچوب کلی راهکار ارائه شده در این قسمت را می‌توان به صورت زیر نوشت:
\begin{enumerate}
\item هم‌اندازه نمودن  تصاویر \LoR و \HR از طریق یک روش بزرگنمایی مانند درونیابی.
\item پیدا کردن ماتریس هوموگرافی بین تصویر \HR و هر یک از تصاویر بزرگ شده‌ی با \LoR .
\item نگاشت تصویر \HR روی هر یک از تصاویر فوق‌الذکر.
\item اصلاح تصاویر نگاشت شده با ماسکهای دستی یا از طریق متدهای شناسائی زمینه و بازیابی تصویر.
\item اعمال یک روش بازسازی \SR روی تصاویر تولید شده در مرحله‌ی قبل.
\end{enumerate}
%همانگونه که از الگوریتم فوق مشخص است، در راهکار پیشنهادی، برخلاف فرم معمول، مرحله‌ی \synthesis قبل از بازسازی قرار گرفته است.
چارچوب کلی این شیوه‌ی پیشنهادی در شکل \ref{fig:Framework1} (صفحه‌ی \pageref{fig:Framework1}) آمده است.



\english

\begin{figure*}
\centerline{\includegraphics[width=12cm]{fig/Results/Closing_HR_LR_SIFT_Color_Recon}}
\farsi
\caption[نگاشت تصویر \HR بر روی تصویر \LoR]
{نگاشت تصویر با \HR بر روی تصویر با\LoR از شکل  \ref{fig:Closing_LR_HR}. همانگونه که دیده می‌شود چارچوب تصویر
مطابق عکس با \LoR از شکل  \ref{fig:Closing_LR_HR} است، ولی محل و ژست افراد مطابق عکس با \HR از شکل مزبور است. \res
بیشتر نوشته‌های این تصویر نسبت به تصویر \LoR قبلی (شکل \ref{fig:Closing_LR_HR} صفحه‌ی \pageref{fig:Closing_LR_HR} ) مشخص است.}
\english
\label{fig:Closing_HR_LR_SIFT_Color_Recon}
\end{figure*}
\farsi


\english

\begin{figure*}
\centerline{\includegraphics[width=15cm]{fig/Results/Closing_4Im}}
\farsi
\caption[تفاضل تصویر حاصل و  تصویر \LoR]
{بالا سمت چپ: تصویر اولیه‌ی با \LoR ، پایین سمت چپ:تصویر تولید شده با استفاده از نگاشت تصویر با\HR روی تصویر با \LoR ،
بالا سمت راست: تفاضل این دو و پایین سمت راست: تصویر نهایی حاصل از جایگذاری \patch مناسب از تصویر اول در تصویر دوم. 
}
\english
\label{fig:Closing_4Im}
\end{figure*}
\farsi

\subsubsection{راهکار۳- استفاده از متد  \lr{Freeman} و دیگران با استفاده از تصویر \HR ی تبدیل یافته به عنوان 
داده‌ی آموزشی}
در کار \lr{Freeman} و دیگران \cite{Freeman02example} \patch ها از تصاویر مرتبط یا غیرمرتبط گرفته شده‌اند. به نظر می‌رسد
که ایده‌ی بکارگیری شیوه‌ی \lr{Freeman} روی نتایج قسمت قبل می‌تواند نتایج بهتری نسبت به هر یک تولید نماید. به علاوه می‌توان گفت که در روش
\lr{Freeman}  فقط از پیکسلهای تصویر \patch ها به عنوان ویژگی استفاده شده است. استخراج و استفاده از سایر ویژگیهای \patch ها مانند
ضرایب موجک و بافت می‌تواند امیدبخش نتایج بهتری باشد.
%هنوز روش Freeman را پیاده سازی ننموده‌ام.

% در این زمینه نیز پیاده‌سازیهایی توسط نگارنده انجام شده و در حال تکمیل می‌باشد.



\subsubsection{برخی از موانع و مشکلات }
به جز مشکلات ذکر شده در قبل، با مشکلات دیگری هم مواجه هستیم:
\begin{itemize}
\item
 وضعیت کار  هنگامی که یک تصویر \LoR را به صورت مصنوعی از روی 
یک تصویر \HR ایجاد می کنیم (مانند شکل \ref{fig:Closing_LR_HR}) با هنگامیکه تصویر \LoR از روی یک ویدئوی فشرده‌شده
مثلاً با قالب \lr{MPEG} بدست می آید (مانند شکل  \ref{fig:Shanghai_LR_HR})، متفاوت است. در تصویر حاصل از ویدئوی فشرده
شاهد پدیده‌ی بلوکی ناشی از الگوریتم فشرده سازی هستیم. این بلوکها همانگونه که در تصویر بالایی شکل
 \ref{fig:Shanghai_LR_HR} دیده می‌شوند، مانعی برای الگوریتمهای مبتنی بر یادگیری همانند \cite{Freeman02example}
خواهند بود. به نظر می‌رسد با تکمیل راهکارهای فوق بتوان  بر این مشکل غلبه کرد.
\item
نتیجه‌ی تولید شده در راهکار دوم نیاز به \blending دارد. این مشکل در فرم رنگیِ تصویر پایین و سمت راست  شکل  \ref{fig:Closing_4Im}
مشهود است.
\item نگاشت یک تصویر روی دیگری،  نیاز به کار بیشتری دارد. یک  مشکل به صورت  خطوط سیاه در شکل  \ref{fig:Closing_HR_LR_SIFT_Color_Recon} 
قابل رؤیت است.
\item همیشه پارامترهای مدل تبدیل دو تصویر به درستی پیدا نمی‌شوند. %شکل  \ref{fig:CorrectAndUncorrectModelEstimation} 
%دو نمونه را نشان می‌دهد.  در سطر اول تبدیل به درستی صورت پذیرفته و در سطر پایین مشکل داریم.
\end{itemize}




\newpage
\subsection[استفاده از تجزیه‌ی ماتریس‌ها]
{استفاده از تجزیه‌ی ماتریس‌ها برای شناسائی زمینه و اشیاء متحرک}
همانگونه که در قسمت‌های  قبل گفته شد اشیاء متحرک در راهکارهای پیشنهادی مشکل ایجاد نموده‌اند. راهکار پیشنهادی در این مرحله برای مواجهه با
اشیاء متحرک مشتمل بر استفاده از تجزیه‌ی\lr{QR} است که 
 برای ذکر جزئیات از شرح  مقاله‌ی پذیرفته شده‌ی اخیر نویسندگان\cite{Amintoosi08cvpr} بهره خواهیم گرفت.
هدف در این مرحله از کار بهره‌گیری از مفاهیم تجزیه‌ی ماتریسها برای شناسائی و حذف فریمهای 
حاویِ \outliers از مجموعه‌ی دادگان‌می باشد. تجزیه‌ی ماتریسها- به صورت خاص، تجزیه به مقادیر منفرد (\lr{SVD}) \footnote{\lr{Singular Value Decomposition}}
و تجزیه‌ی \lr{QR} (\lr{QR Decomposition}) -  برای مسئله‌ی \lr{Subset Selection} پیشنهاد شده است \cite{Golub96book} .
کاربردی از آن را می توان در کاهش تعداد قوانین در یک پایگاه داده‌ی فازی دید \cite{Kaynak02complexity,Setnes01rule}.
 نکته‌ی اصلی در استفاده از \lr{SVD} برای کاهش پیچیدگی، آن است که 
با استفاده از مقادیر منفرد می‌توان یک سیستم را تجزیه نمود و میزان اهمیت هر یک از اجزاء تجزیه شده را 
مشخص نمود. 

در ادامه ابتدا مروری مختصر بر تجزیه‌ی \lr{QR} داشته و سپس نحوه‌ی استفاده از آنرا در \SR خواهیم دید.

\subsubsection{تجزیه‌ی \lr{QR}}
%قبل از بیان روش بایستی نکاتی را در مورد استفاده از تجزیه‌ی QR
فرض کنید مدل مورد استفاده در یک سیستم با ماتریس $P\in {R}^{M\times N}$ نمایش داده می شود. یک شیوه برای انتخاب مهمترین ستونهای $P$
را می توان به صورت زیر داشت  \cite{Golub96book}:
\english
\begin{enumerate}
\item Estimate $n$, the effective rank of $P$.
\item Calculate a permutation matrix $\Pi$ such that the columns
of the matrix $P_n\in {R}^{M\times n}$ in $P\Pi =\big[ P_n,
P_{N-n}\big]$ are sufficient independent.
\end{enumerate}
\farsi
شیوه‌ی معمول برای تخمین $n$ عبارت است ازپیدا کردن یک فاصله‌ی خوب \footnote{\lr{Well defined gap}} بین مقادیر منفردِ $P$ \cite{Golub96book}.
اماجدا از اینکه اعمال این شیوه همیشه بسادگی ممکن نیست، ما از شیوه‌ی دیگری بدین منظور استفاده خواهیم کرد که بعداً خواهیم دید. برای مرحله‌ی 
دوم الگوریتم فوق می‌توان از تجزیه‌ی $QR$ استفاده نمود. تجزیه‌ی $QR$ ماتریس $P\in {R}^{M\times N}$ به صورت $P\Pi=QR$ بیان می‌شود که در آن:\\
$\Pi\in {R}^{N\times N}$ یک ماتریس جایگشتی، $Q\in {R}^{M\times N}$ ماتریسی با ستونهای متعامد یکّه و $R\in {R}^{N\times N}$ یک ماتریس بالا مثلثی 
است. 

\subsubsection{ استفاده از $QR$  برای شناسائی فریم های زمینه}

رشته تصاویر ویدیوئی را درنظر بگیرید که از یک صحنه ایستا با وجود اشیاء متحرک در چند فریم اخذ شده بوده 
است.  نویسندگان در \cite{Amintoosi07icics,Amintoosi07icassp} حالتی 
را که دوربین ثابت بوده و فقط نویز وجود داشته است را بررسی نموده و نشان داده‌ایم  که تحت شرایطی مدلسازی 
زمینه با استفاده از تجزیه ی \lr{QR} از الگوریتم های معمول مدلسازی زمینه کاراتر است. اگر فرض شود که حداقل 
در $\beta$ درصد فریمها زمینه کاملاً قابل رؤیت می باشد،با استفاده از ماتریس $\Pi$  در تجزیه ی \lr{QR} می توان 
ستونهای متناظر با این فریم های زمینه از رشته تصاویر ورودی را داشت. 

\subsubsection{شناسائیِ مقادیر نامناسب }

چارچوب کلی روش پیشنهادی در شکل \ref{fig:SchematicDiagramWithQR} آمده است. نگاهی دوباره به شکل \ref{fig:SR_SchematicDiagram}  و 
شکل \ref{fig:SchematicDiagramWithQR} روشن می سازد که در شیوه‌ی \SR 
پیشنهادی یک مرحله‌ی فیلترکردن تصاویر ورودی بر اساس -تجزیه‌ی \lr{QR}- اضافه شده است. به صورت خلاصه در این 
مرحله، فریمهایی از تصاویر ورودی که حاوی اشیائی به جز زمینه می‌باشند، فیلتر شده و فقط فریمهای زمینه 
به مرحله‌ی بعد داده می‌شوند. در مرحله‌ی بازسازی مجدداً \registration انجام نخواهد شد و فقط بازسازی تصویر 
با استفاده از خروجی مرحله‌ی قبل و با استفاده از همان پارامترهای مرحله‌ی \registration انجام 
خواهد شد. 
\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=11.5cm]{fig/SR2}}
\farsi
\caption{نمای کلی شیوه‌ی پیشنهادی }
\english
\label{fig:SchematicDiagramWithQR}
\end{figure*}
\farsi

برخلاف شیوه‌های معمول مدلسازی زمینه،
 در مورد \SR، جابجائی های تصاویرِ ورودی جزو لاینفک سیستم است.  برای رفع این مشکل کافیست 
عمل شناسائی و حذف فریم های حاوی \outlier به بعد از مرحله‌ی \registration موکول شود. لیکن کناره‌های تصاویرِ حاصل 
از عملیات \registration به میزان جابجائی  هر یک نسبت به فریم مرجع، با صفر پر شده و سیاه دیده 
می‌شوند. این کناره‌ها مانعی جدی برای هر متد شناسائی زمینه خواهند بود. راه حل ساده‌ای که برای این منظور 
درنظر گرفته شده است، حذف این کناره‌ها از تمام فریم ها -موقتاً در این مرحله- می‌باشد. درواقع باید 
مختصات زیرماتریسی از هر تصویر (به عنوان مثال با مختصات $(x_1,y_1),(x_2,y_2) $) پیدا شود که همگی نمایش دهنده‌ی 
یک ناحیه مشترک از صحنه باشند. فرض کنید $(\Delta x_k,\Delta y_k)$ بردار حرکت  برای فریم $k$ام 
نسبت به یک فریم مرجع باشد. مقادیر مختصات فوق‌الذکر را به صورت زیر بدست می‌آوریم: 
\begin{eqnarray}\label{subImageCoord1}
    y_1=Max\{1,\mathop{Max}_{k}\{ \Delta y_k\}\}\\
    y_2=M+Min\{0,\mathop{Min}_{k}\{ \Delta y_k\}\}
\end{eqnarray}

مقادیر $x_1,x_2$  نیز به صورتی مشابه بدست خواهند آمد.\\
در ادامه برای فرمولبندی مسئله‌ی \SR از فرمولبندی زیر که در مقدمه ذکر شد، بهره گرفته خواهد شد:

\begin{equation}
\underline{\hat{X}}=\mathop{{Arg\,Min}}_{\underline{X}}
\Big[\sum_{k=1}^N \rho \big( DHF_k \underline{X},\underline{Y}_k \big)
\Big] \label{eq:SR_formulation1}
\end{equation}

که در آن:
\begin{itemize}
\item   $\underline{X}$ با اندازه‌ی \lr{$[r^2M^2\times 1]$)}، تصویرِ با\HR ی نهایی،
\item $\underline{Y}_k$،  $k^{th}$ تصویرِ با\LoR ورودی و
\item  $\rho$ معیاری برای سنجش فاصله‌ی بین مدل و مشاهدات
\end{itemize}
می‌باشد. متغیرهای زیرخط دار ستونی شده‌اند \footnote{\lr{rearranged in lexicographic order}}.
برای سادگی، بمانند \cite{Farsiu03robust} فرض می کنیم $\underline{Z}=H\underline{X}$، لذا $\underline{Z}$
مات شده‌ی \footnote{\lr{Blured}} تصویر نهایی $\underline{X}$ خواهد بود. به این ترتیب مسئله‌ی \SR به دو زیر مسئله شکسته می‌شود:
\begin{enumerate}
\item پیدا کردن $\underline{\hat{Z}}$ ، یک نمونه‌ی مات از تصویر با\HR ی نهایی و
\item تخمین  $\underline{\hat{X}}$ از روی $\underline{\hat{Z}}$.
\end{enumerate}
لذا بافرض انتخاب $L_p norm$ به عنوان متر، می توان مسئله‌ی \SR را به صورت زیر فرمولبندی کرد:
\begin{equation}
\underline{\hat{Z}}=\mathop{{Arg\,Min}}_{\underline{Z}}
\Big[\sum_{k=1}^N|| DF_k \underline{Z}-\underline{Y}_k ||_p^p
\Big] \label{eq:SR_formulation}
\end{equation}
با استفاده از تعریف زیر که در متون جبرخطی برای نمایش زیر ماتریسی حاصل از حذف برخی از سطر و ستونهای یک ماتریس 
بکار می رود کار را پی می گیریم:
\begin{definition} (زیرماتریس)
اگر $A$ یک ماتریسِ $M\times N$ و $I\subseteq \{1,\ldots,M\}$ و $J\subseteq \{1,\ldots,N\}$ دو مجموعه به 
ترتیب با $m$ و $n$ عضو باشند، {\siah زیرماتریس} $A(I|J)$\footnote{این نماد نباید با نماد احتمال شرطی اشتباه گرفته شود.}
با اندازه ی $(M-m)\times(N-n)$ ماتریسی است که از حذف آن ستونهایی از $A$ بدست می آید که اندیس آنها به ترتیب 
در $I$ و $J$ آمده است.
\end{definition}

{\iranic نکته}: اگر $I$ ($J$) تهی باشد، هیچ یک از سطرها(ستونها)ی ماتریس $A$ حذف نخواهد شد. همچنین باید توجه داشت که 
این تعریف قابل تعمیم به ابعد بالاتر نیز هست.\\
حال اگر فرض کنیم\\
 $$I= \{1,\ldots,y_1-1,y_2+1,\ldots,M\}$$
و
 $$J=\{1,\ldots,x_1-1,x_2+1,\ldots,N\}$$
 زیرماتریسِ $Y'_k(I|J)$ 
قسمت مورد نظر ما از فرم جبران حرکت شده‌ی فریم $k$ام خواهد بود.\\
 مشکل دیگری که وجود دارد آن است که تجزیه‌ی $QR$ به نُرم ستونها حساس است.
این مشکل باعث می‌شود که حرکت یک شییٔ تیره با حرکت یک شییٔ روشن از دیدگاه تجزیه‌ی $QR$  متفاوت باشد. به منظور کاهش این حساسیت، به جای 
آنکه مستقیماً مقادیر پیکسلها را بکار گیریم از تفاضل دو فریم استفاده خواهیم کرد. با فرم ماتریسی انتخاب شده برای نمایش مجموعه‌ی فریمها و با فرض
افقی بودن محور $x$ها کافیست از گرادیان مجموعه‌ی زیر تصاویرِ  جبران حرکت شده
 ($\underline{Y'}=\big[\underline{Y'}_1(I|J),\underline{Y'}_2(I|J),\ldots,\underline{Y'}_N(I|J)\big]$) 
استفاده کنیم.  $\underline{Y''}$ را به صورت زیر تعریف می‌کنیم:
\begin{equation}
\underline{Y''}= \frac{\partial \underline{Y'}}{\partial x}
\end{equation}

برای اِعمالِ تجزیه‌ی $QR$ روی $\underline{Y''}$ و برطرف کردن موقت مشکل پیدا کردن  \lr{efficient rank} دو فرض زیر را در نظر می گیریم:
%\begin{assumption}
\\فرض۱: {\it
به فرض در $\beta$ درصد از فریمها زمینه کاملاً قابل رؤیت است و یا به عبارت دیگر هیچ شییٔ در حال حرکتی نداریم.}
%\end{assumption}
%\begin{assumption}
\\فرض۲: {\it
به فرض اشیاء متحرک، هیچ توقفی در صحنه ندارند.}
%\end{assumption}
\\فرض اول این توانائی را به ما می دهد که به آسانی تقریبی از \lr{efficient rank} را با استفاده از مقدار $\beta$ داشته باشیم.
 تخمینِ این پارامتر نیز کار سختی نیست. بسته به میزان شلوغی صحنه و نوع کاربرد می توان حد پایینی را برای آن با بررسی بصریِ دنباله تصاویر 
تخمین زد. برآورد خودکار این پارامتر جزو کارهای آتی ما می‌باشد. اگر $\{f_1,\ldots,f_N \}$ نمایش دهنده‌ی  شماره‌ی فریمها حاصل از ماتریس جایگشتی 
$\Pi$ باشد، حذف اولین $n=(1-\beta)N$ فریم، معادل حذف فریم های شامل اشیاء متحرک به عنوان \outlier می‌باشد. بر اساس ماتریس مورد تجزیه و مجموعه 
اندیس های فوق‌الذکر عملگرهای  $OFI,NOFI$ را به صورت زیر تعریف می‌کنیم:

\begin{definition}( عملگرهای  $OFI,NOFI$)\\
به فرض ماتریس $P\in {R}^{M\times N}$ و پارامتر\lr{$\beta$ } داده شده باشند و  $\{f_1,\ldots,f_N \}$   نمایش دهنده‌ی  شماره‌ی فریمهای حاصل از
 ماتریس جایگشتی $\Pi$ از تجزیه‌ی $QR$ ماتریس $P$ بوده و $M\geq N$ باشد، عملگرهای \lr{\InE {\it OFI}(Outlier Frames Indices)\EnE} و
\lr{\InE {\it NOFI}(Non Outlier Frames Indices)\EnE} را به صورت زیر تعریف می‌کنیم:
\begin{eqnarray*}
OFI(P,\beta)=\{f_1,\ldots,f_{(1-\beta)N} \}\\
NOFI(P,\beta)=\{f_{(1-\beta)N+1},f_{(1-\beta)N+2},\ldots,f_{N} \}
\end{eqnarray*}
\end{definition}
محدود کردن $\underline{Y}$ به ستونهایی از آن که اندیس آنها توسط $NOFI(\underline{Y''},\beta)$ مشخص می‌شود، ما را به مجموعه‌ی جدیدی از
فریمها رهنمون می سازد که شامل هیچ \outlier ی نیست. به این ترتیب فرمولبندی  مسئله‌ی \SR در \ref{eq:SR_formulation}  با لحاظ کردن 
شیوه‌ی پیشنهادی به صورت زیر مجدداً فرموله می‌شود:
\begin{equation}
\underline{\hat{Z}}=\mathop{{Arg\,Min}}_{\underline{Z}}
\Big[\sum_{k=1}^{N-n}|| DG_k \underline{Z}-\underline{W}_k ||_p^p
\Big]
\end{equation}

که در آن:
\begin{eqnarray*}
 \underline{W} =  \underline{Y}\big( \emptyset
|OFI(\underline{Y''},\beta) \big),\\
G=F\big( \emptyset |\emptyset
|OFI(\underline{Y''},\beta) \big),\\
n=(1-\beta)N
\end{eqnarray*}

\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=12cm]{fig/QR_Order}}
\farsi
\caption[مرتب کردن تصاویر ورودی بر اساس $QR$]
{بالا به پایین - چپ به راست، ترتیب فریمهای جبران حرکت شده بر اساس تجزیه‌ی $QR$.
 اعداد بالای تصاویر بیان کننده‌ی ترتیب آنها در دنباله‌ی اصلی می‌باشد.}
\english
\label{fig:QR_Order}
\end{figure*}
\farsi
\subsubsection{نتایج آزمایشات }

برای انجام آزمایشات از دنباله تصاویر آلپاکا که در بسیاری از مقالات مورد استفاده قرار گرفته و از سایت پروفسور میلانفر
\footnote{\lr{http://www.ee.ucsc.edu/~milanfar}} قابل برداشت است استفاده  شده است. در این دنباله ی ۵۵ فریمی دو نوع حرکت وجود دارد:
حرکت اول ناشی از تکانهای دست فیلبردار و حرکت دوم ناشی از حرکت مجسمه ی آلپاکا در ۱۰ فریم می باشد.
 اگر از شیوه‌های \robust فارسیو و 
فام \cite{Farsiu05thesis,Pham06thesis} استفاده کنیم، خروجی‌های بسیار خوبی را شاهد خواهیم بود. در وضعیت فعلی فقط در ۵۵/۱۰ از کل فریمها
حرکت مجسمه را داریم. اما این هر دو روش هنگامیکه تعداد فریمها
رابه نحوی  کاهش دهیم که نسبت تعداد فریمهای شامل حرکت آلپاکا به کل فریمها زیاد شده و به نزدیک ۵۰ درصد برسد، افت کارائی خواهند داشت. 
برای نشان دادن این موضوع ما فقط فریمهای با شماره ی ۳۵ تا ۴۶ و ۵۰ تا ۵۵ (۱۵ فریم) را استخراج نموده و آزمایشات را روی آنها انجام می‌دهیم. 
 از فریم های ۴۷ تا ۴۹ به این خاطر صرفنظر کرده‌ایم که در این فریمهاآلپاکا متوقف شده 
بوده است و این با دومین فرض بالا در تناقض است.
شکل \ref{fig:QR_Order} این ۱۵ فریم را نشان می‌دهد. اعداد روی تصاویر بیان کننده‌ی ترتیب آنها در دنباله‌ی استخراج شده بوده و ترتیب نمایش 
از چپ به راست و بالا به پایین آنها، ترتیب فریمها را بر اساس ماتریس $\Pi$ حاصل از تجزیه ی $QR$ نشان می دهد. پارامتر $\beta$ مساوی با ۳/۱
درنظر گرفته شده است. همانگونه که مشاهده می‌شود فریمهای بدون مجسمه - به جز یکی - به آخر لیست شیفت پیدا کرده‌اند.
نتایج فعلی آزمایشات انجام شده در شکل  \ref{fig:Results}
 برتری این شیوه را نسبت به برخی از دیگر شیوه‌ها  نشان می‌دهد.
\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=12cm]{fig/Results}}
\farsi
\caption[خروجی شیوه‌ی پیشنهادی]
{نتیجه ی اجرای چند الگوریتم \SR بر روی ۱۵فریم از دنباله تصاویر آلپاکا. اثرات \outlier در شکلهای \lr{b} تا \lr{f} 
مشهود است. سایه ی آلپاکا در شیوه ی \lr{POCS} (\lr{g}) و متد پیشنهادی (\lr{h}) دیده نمی‌شود.(نکته۱:{\small این شکل از یک  مقاله‌ی ارسالی به
کنفرانس \cite{Amintoosi08cvpr} برداشته‌شده و مراجع ذکر شده در آن  منطبق بر مراجع این نوشتار نمی‌باشد.
} نکته۲: بهبود کیفیت در نسخه‌ی چاپی به خوبی قابل رؤیت نیست.)
}
\english
\label{fig:Results}
\end{figure*}
\farsi
%\item ترکیب متدهای \registration مبتنی بر ناحیه و مبتنی بر ویژگی برای نیل به هدف؛
%\subsection{استفاده از مفاهیم جدید در جبرخطی}
%در این زمینه کارهایی در دست انجام است که امید می رود هر چه زودتر به ثمر نشسته و نتایج خوبی را شاهد باشیم. از آنجا که هنوز مطلب 
%چاپ شده یا ارسال شده‌ای در این زمینه نداریم، فعلاً به همین مقدار بسنده می‌شود.

\section{ابزار مورد استفاده}
پیاده سازی ها توسط نرم افزار \lr{MATLAB} انجام شده و ادامه داده خواهد شد.در طی چندین ماه گذشته، پیاده‌سازی بسیاری از شیوه های معمول \registration و 
\SR فراهم شده است.% فرم اجرائی برخی از پیاده سازی ها،  نیز از مؤلفین آنها گرفته شده است  که کمک شایانی خواهند بود.
از نظر مجموعه‌ی دادگان،  موارد زیادی جمع آوری شده است  ولی با توجه به حوزه‌ی خاص کاری این پروژه، نیاز به داده‌هایی با 
شرایط مطرح در این پروژه (ویدئوی با\LoR به همراه تصاویر با\HR از همان صحنه) نیز وجود دارد، که نمونه‌هایی با دوربین های متفاوت 
فراهم شده است.

\section{محک مقایسه}
از نظر محک مقایسه، برخی از مقالات به مقایسه‌ی کیفی (بصری) نتایج کارشان با دیگر شیوه‌ها بسنده نموده‌اند. در حالتی که خروجی فقط یک 
تصویر است، برخی از روی یک تصویر اصلی تصاویر دیگری با وضوح پایین‌تر و احتمالاً افزودن نویز تولید نموده و نتایج خود را با تصویر
 اولیه به صورت بصری و یا میانگین مربعات خطا \footnote{\lr{Mean Square Error}}\lr{(MSE)}
مقایسه نموده‌اند. شکل  \ref{fig:Saheb_Orig} ۴ عکس تولید شده با این شیوه را ازروی یک عکس خاص نشان می‌دهند. کادر پایین هر شکل 
بزرگ شده‌ی قسمت ثبت تاریخ 
عکسبرداری را نشان می‌دهد که به دلیل پایین آمدن وضوح قابل خواندن نیستند. 
تصویر پایینِ شکل \ref{fig:Saheb_Res} نتیجه‌ی یک تکنیک \SR  روی تصاویر شکل \ref{fig:Saheb_Orig}
را نشان می‌دهد و شکل بالایی  بزرگ شده‌ی یکی از تصاویر شکل \ref{fig:Saheb_Orig} است .
 در پایین هر شکل قسمت مربوط به تاریخ به صورت بزرگ دیده می‌شود.
 همانگونه که ملاحظه می شود در پایینی، تاریخ تقریباً قابل خواندن است
 (رص‌ع$25-Jul-07\ 3:51$).\\
مهمترین ابزار مقایسه‌ی متدهای \SR  به شرح ذیل می‌باشند:
\begin{itemize}
\item مقایسه‌ی بصری (\lr{Visual Inspection})
\item میانگین مربعات خطا (\lr{Mean Square Error})
\item نرخ سیگنال به نویز (\lr{Signal to noize ratio})
\item میزان تیزبودن لبه‌ها(\lr{Edge Sharpness})
\item میزان بازسازی جزئیات کوچک (\lr{Reconstruction of small details})
\item تعداد اشیاء درست شناسائی شده در کابردهای شناسائی شییٔ
\end{itemize}
گرچه که در کاربردهای واقعی و بدون داشتن تصویر یا ویدئوی اصلی، مقایسه‌ی بصری مرسوم‌ترین محک مقایسه می‌باشد، برای داشتن مقایسات  کمّی، 
 به صورت مصنوعی از روی داده‌های با\HR ، تصاویر و ویدئوهایی با \LoR تولید شده، از محک‌هایی  همانند \lr{MSE} استفاده خواهد شد. مقایسه‌ی کیفی 
نتایج جزو لاینفکی از تحقیقات حوزه‌ی \SR بوده و این نکته خود سختی کار را دوچندان می‌کند، چرا که مقایسات بصری درواقع نشان‌دهنده‌ی قدرت
شیوه‌ی پیشنهادی در عمل می‌باشند.


%در پروژه‌ی Yong به محک دیداری DMOS اشاره شده است (صفحه ۱۰۴ شکل ۹.۴):
%Degradation Mean Opinion Score (DMOS) ranging from 1 to 5, corresponding
%to the worst quality to the best quality based on the perceived impairment when
%comparing the adapted video with the reference sequence

%فعلاً به همین ذکر نام بسنده نموده و از نحوه‌ی محاسبه‌ی آنها چشم‌پوشی می کنیم.
%اما در مورد ویدئو هنوز از این تکنیک مقایسه استفاده نشده و صرفاً از مقایسه های بصری استفاده شده است.
 

\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=12cm]{fig/Saheb_Orig}}
\farsi
\caption[تصاویر \LoR تولید شده]
{تصاویر فوق از روی یک عکس \HR به صورت مصنوعی با پایین آوردن وضوح و انتقال در راستای محور
\lr{x}ها و\lr{y}هاایجاد شده‌اند. قسمت پایین و سمت راست هر عکس- که بزرگ شده است - نمایش دهنده‌ی تاریخ 
عکس می‌باشد که توسط دوربین ثبت شده ولی در عکس‌های فوق تاریخ قابل خواندن نیست.}
\english
\label{fig:Saheb_Orig}
\end{figure*}
\farsi


\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=8cm]{fig/Saheb_Res}}
\farsi
\caption[نتیجه  تکنیک \SR روی تصاویر شکل قبل ]%\ref{fig:Saheb_Res}]
{شکل پایین  نتیجه  تکنیک \SR روی تصاویر شکل 
\ref{fig:Saheb_Orig} 
را نشان می دهد و شکل بالا بزرگ شده‌ی یکی از آنهاست.
 در پایین هر شکل قسمت مربوط به تاریخ به صورت بزرگ دیده می‌شود.
 همانگونه که ملاحظه می‌شود در پایینی، تاریخ تقریباً قابل خواندن است
 (رص‌ع$25-Jul-07\ 3:51$).{\small (نکته: بهبود کیفیت در نسخه‌ی چاپی به خوبی قابل رؤیت نیست.)}
}
\english
\label{fig:Saheb_Res}
\end{figure*}
\farsi

\section{امکان توسعه و آینده‌ی پروژه}
می‌توان به توسعه‌ی این گونه‌ی خاص از تکنیکهای \SR مورد نظر در این پروژه از سه منظر نگریست:
%تمرکز اصلی این پروژه بر روی این نوع از مسائلِ \SR 
%-که آنرا در بخش قبل \recogstruction نامیدیم- می‌باشد که در هر یک از موارد  زیر قابل کاربرد و توسعه  خواهد بود:
\begin{enumerate}
\item توسعه‌ی یک سیستمِ بلادرنگِ   \SR \footnote{ \lr{Real time SR technique}}؛
\item توسعه‌ی یک سیستمِ کارایِ   \SR \footnote{\lr{Efficient SR technique}}؛
\item توسعه‌ی یک سیستمِ لایه‌ای  \SR برای فشرده‌سازی ویدئو\footnote{\lr{A Layered SR technique for video comression}}
\end{enumerate}

در مورد اول توجه اصلی بر توسعه‌ی یک سیستم بلادرنگ \SR می‌باشد. در کاربردهایی همچون سیستم‌های کمک یار راننده، پردازش بلادرنگ مورد نیاز می باشد؛
در این سیستمها از طریق یک دوربین کوچکِ نصب شده در پشت آیینه‌ی خودرو، اطلاعات صحنه اخذ شده و بلافاصله جهت کمک به راننده به عنوان مثال برای پیشگیری 
از تصادف، پردازش صورت پذیرفته و درصورت نیاز به راننده اخطار داده می‌شود
\cite{Fathy07TTC7a,Fathy07TTC7b}. در چنین کاربردهایی سرعت اجرا از اهمیت شایانی برخوردار است. امروزه بسیاری از دوربین‌های ارزان قیمتی 
که برای چنین کاربردهایی مناسب هستند -همچون وب‌کم‌ها\footnote{\lr{Webcam}}- قادر به فیلمبرداری با \LoR و عکسبرداری با \HR
می باشند. استفاده از این دوربین‌های ارزان قیمت در کنار یک  نرم‌افزارِ\SR ،جزئیات بیشتری از صحنه را در اختیار ما قرار خواهد داد.
در این حالت ممکن است افزایش \res تمام تصویر مدنظر نبوده و صرفاً اشیاء خاصی از صحنه مانند خودروی روبرو برای سیستم با اهمیت باشند.
مبحث ضریب افزایش \res متغیر با مکان \lr{(SAMF)}\footnote{\lr{Spatially Adaptive Magnifying Factor (SAMF)}} از جمله مواردی در حوزه‌ی \SR است که می‌توان 
گفت هنوز کاری  روی آن انجام نشده است \cite{Katsaggelos07book}. در مرجع اخیر \lr{SAMF}، مرتبط با اشیاء متحرک صحنه درنظر گرفته 
شده است؛ یعنی در نواحی متناظر با شییٔ در حال حرکت، افزایش \res را داشته باشیم. اما آنچه که در اینجا پیشنهاد می‌شود، متناظر با 
کاربرد فوق‌الذکر، افزایش \res برای قسمتهای نسبتاً غیرمتحرک صحنه (همچون خودروی روبرویی خودروی در حال حرکت) می‌باشد.
 بالطبع الگوریتمهایی که در این موارد بکارگرفته می شوند
نبایستی از پیچیدگی محاسباتی زیادی برخوردار باشند. 

از طرفی در برخی کاربردها مانند میکس و مونتاژ عکس و فیلم،
سرعت، فاکتور مهمی نبوده و کیفیت دارای اهمیت بالاتری است؛ لذا  پیچیدگی محاسباتی بالای  الگوریتمهای این دسته مسئله‌ی مهمی نخواهد بود.
\\
گونه‌ی خاص \SR مورد مطالعه در این پروژه قابل  استفاده در فشرده‌سازی نیز می‌باشد. نگاهی به آخرین استانداردهای فشرده سازی ویدئو
همچون \lr{H.264} و \lr{MPEG-4} \cite{Ghanbari03book} روشن می‌سازد که جهت گیریِ متدهای فشرده‌سازی به طرف استاندردهای مبتنی بر شییٔ و لایه‌ای 
می‌باشد\cite{Ghanbari03book}. امکان بکارگیری تکنیکهای \SR برای افزایش کیفیت ویدئوهای فشرده و همچنین دخیل کردن این متدها در 
کدکنندهای ویدیوئی آینده نیز به تازگی مطرح شده است\cite{Pham06thesis,Katsaggelos07book}.\\

\section{مشکلات باقی مانده }
همانگونه که از قسمتهای قبلِ این نوشتار مشخص است در مورد فرمولبندی، فرم واحدی هنوز اتخاذ نشده است. 
افراد مختلف از فرمولبندی های مختلف استفاده نموده‌اند. به عنوان مثال فرمولبندی استفاده شده توسط دکتر سینا فارسیو
و پروفسور میلانفر \cite{Farsiu05thesis} با فرمولبندی هامبلوت و پروفسور جعفری \cite{Humblot05superresolution} متفاوت 
است. فرض بر آن است که انتشار مقالات ما را به سمت یک فرمولبندی واحد سوق  خواهد داد. جدای از این مسئله هم اکنون نیز مسائل و مشکلات 
متعددی در پیش رو وجود دارند که امید می‌رود حل هر یک از آنها به مقاله‌ای مفید منجر شود.
%انشاء الله بزودی تکلیف این مسئله را یکسره خواهیم نمود.\\
%در مورد بافت‌ها و الگوهای تکراری مشکل خواهیم داشت که از مقاله‌ی \cite{Zhang06generalized} بهره خواخیم گرفت.

\section{زمانبندی }
این پروژه به علت ماهیتش، نیازمند مطالعات و تحقیق در حوزه‌های مختلفی شامل \SR ، \panorama ، \registration ، جبرخطی و 
بهینه‌سازی است. برطبق ساختار کلی پیشنهادی در شکل \ref{fig:Framework1} و راهکارهای ارائه شده در بخش‌های قبل، جدول زمانبندی پروژه
مطابق  شکل \ref{fig:ProjectTimetable} شامل چهار مرحله‌ی ذیل درنظر گرفته  شده است:
\begin{description}
\item[فاز مطالعاتی ] مرحله‌ی اول فاز مطالعاتی می‌باشد. در این مرحله که می‌توان گفت تا حدود زیادی انجام شده است،
 تکنیکهای موجود \SR و نقایص آنها و برخی روشهای معمول در \panorama بررسی شده، و آن دسته از این شیوه‌ها که امکان نگاشت آنها به مسئله‌ی
\SR وجود دارد استخراج می‌گردد. چکیده‌ی این مطالعات و متدهای منتخب در قالب مدل‌های ریاضی و الگوریتم‌های پیشنهادی در فاز دوم مورد استفاده 
قرار می‌گیرد.
\item[فاز جمع‌آوری داده و پیاده‌سازی ]
 مرحله‌ی دوم که طولانی‌ترین مرحله نیر می‌باشد مربوط به جمع‌آوری دادگان، پیاده‌سازی و مواجهه با مشکلات عملی شیوه‌های پیشنهادی می‌باشد. ماهیت مسئله و
پیشنهادات پروژه، ما را ناگزیر ساخته است  که وقت بسیاری به پیاده‌سازی تخصیص دهیم. برخلاف برخی از دیگر پروژه‌ها که شاید بتوان روی 
اجزاء مسئله به صورت مجزا عمل نمود، زیرمسائلِ \SR ارتباط تنگاتنگی با یکدیگر داشته، لزوم یک پیاده‌سازی منسجم و دقیق را دیکته می‌نمایند.
% خطای  موجود در هر مرحله به مرحله‌ی بعد منتقل خواهد شد.
 به جز این برخلاف بسیاری از پروژها که صزفاً {\iranic شبیه‌سازی}  برای اهدافشان کفایت می‌کند، در این پروژه حتماً بایستی 
{\iranic پیاده‌سازی} صورت گیرد. از آنجا که موضوع رساله، جدید می‌باشد، هنوز مجموعه دادگانی برای محک الگوریتم‌های آن وجود ندارد.
 تهیه و جمع‌آوری فیلم‌ها و تصاویری که
بتوانند به خوبی نقاط قوت شیوه‌های پیشنهادی را منعکس نموده و در مقایسات کیفی  و کمی مورد استفاده قرار گیرند از تنگناهای دیگر این پروژه 
می‌باشد.  برخلاف پروژه‌های متکی بر شبیه‌سازی، در پروژه‌ی حاضر گاهی عدم انطباق مدل‌های تئوری با داده‌های واقعی باعث بروز 
مشکلات و ایجاد نتایجی خلاف نتایج موردنظر خواهد شد که در نتیجه، اصلاح مدل و یا جمع‌آوری دادگان جدید ضرورت پیدا خواهد نمود. 

\item[مدون‌سازی نتایج راهکارها و انتشار مقالات ] 
 به موازات مرحله‌ی قبل سعی خواهد شد پیشنهادات ارائه شده در قالب مقالات، مدون و منتشر گردند. 
 پس از پیاده‌سازی و اصلاح هر راهکار، نتایج و ارزیابی‌های مربوطه در قالب مقالاتی گزارش خواهد شد.
جهت حصول نتایج قابل ارائه در مقالات، معمولاً لازم است که پیاده‌سازی‌ها جهت اجرا بر روی دادگان مختلف، بازنویسی شده و حتی دادگان 
جدیدی تهیه گردند. 
همانگونه که گفته شد در راستای شناسائی اشیاء متحرک و یکی از راهکارهای پیشنهادی، نگارندگان  دو مقاله را به چاپ رسانیده
 \cite{Amintoosi07icics,Amintoosi07icassp} و یک مقاله نیز مورد پذیرش قرار گرفته است \cite{Amintoosi08cvpr}. به جز این انتظار می‌رود
از اولین راهکار پیشنهادی مقاله‌ای استخراج گردد. در حال حاضر یک مقاله در خصوص راهکار پیشنهادی دوم جهت ارسال به کنفرانس 
ماشین بینائی و پردازش تصویر ایران در دست نگارش می‌باشد. امید می‌رود ارسال مقالات به کنفرانس‌ها و دریافت نظرات داوران، 
ما را در جهت افزایش بار علمی مقالات و ارسال به مجلات رهنمون سازد.

\item [تدوین رساله ]
در مرحله‌ی آخر، ماحصل مطالعات، نتایج و ارزیابی‌ها در قالب رساله نهایی تدوین خواهد شد.
بدون تردید تدوین یک رساله‌ی منسجم نیاز به کار فراوان و منجمله انتخاب یک فرمولبندی واحد خواهد داشت.
% با توجه به آنکه در مدت زمان سپری شده تاکنون مطالعات و پیاده‌سازی های نسبتاً کافی انجام شده است، می‌توان گفت عمده 
%زمان باقیمانده بایستی صرف پرداختن به ایده‌های مطرح شده و نوشتن مقاله گردد.
\end{description}
\english

%\epsfysize=6cm
\begin{figure*}
\centerline{\includegraphics[width=14cm]{fig/ProjectTimetable}}
\farsi
\caption
{جدول زمانبندی پروژه}
\english
\label{fig:ProjectTimetable}
\end{figure*}
\farsi
%هنوز از نظر خودم ایراداتی به استفاده از QR-Decomposition در برابر روشهای ساده ای همچون متد میانگین گیری و تفاضل وارد است 
%که سعی در برجسته نمودن امتیازات اولی نسبت به دومی دارم.
%%%%%% پایان فصل{پیشنهاد رساله } «پیشنهادات و سؤالات من»
