\chapter{محک‌های مقایسهٔ کیفیت تصاویر و ویدئو}\label{Chap:VideoQuality}

بسیاری از محک‌های مقایسهٔ تصاویر برای ویدئو نیز بکار رفته‌اند. در این قسمت به بیان محک‌های معمول مقایسه کیفیت در تصاویر و ویدئو خواهیم پرداخت. 

قبل از ادامه تقسیم‌بندی روش‌های مقایسه را  که معمولاً با آن مواجه می‌شویم را ذکر می‌کنیم. بسته به اطلاعاتی که می‌توان در روش مقایسه بکار برد، الگوریتم‌های مقایسه به سه گروه تقسیم می‌شوند:
\begin{description}
\item[\lr{Full Reference}]، در این حالت دنباله تصاویر اصلی برای مقایسه در دسترس است و می‌توان از مقایسهٔ پیکسل به پیکسل دو دنباله استفاده کرد. این روش بالاترین دقت را دارد.
\item[\lr{Reduced Reference}]، هنگامی‌که دنباله تصویر اصلی در دسترس یا قابل انتقال نباشد اما بتوان از مبدأ ویژگیهایی از دنبالهٔ اصلی را برای مقایسه منتقل نمود از این شیوه استفاده می‌شود.
\item[\lr{No Reference}]، حالتی که فقط می‌توان از سیگنال تغییریافته برای سنجش کیفیت استفاده کرد.
\end{description}
در رسالهٔ حاضر عموماً از روش اول و هنگامی‌که تصویر با وضوح بالا در دسترس نبوده است از روش سوم استفاده شده است.
\section{محک مقایسهٔ \texorpdfstring{\lr{SSIM}}{SSIM}}
\citet{Wang04image} این محک  را برای اندازه‌گیری کیفیت یک تصویر تعریف نموده و سپس آنرا به ویدئو تعمیم داده‌اند
\citep{Wang04video}\LTRfootnote{\citeauthor*{Wang04video}}
. ابتدا حالت تصویر را توضیح داده و پس از آن به ویدئو خواهیم پرداخت.
\subsection{محک شباهت ساختاری در تصویر}
\citet{Wang04image} $MSSIM$\LTRfootnote{Mean Structural SIMilarity}  را به صورت زیر تعریف نموده است:
\begin{equation}\label{eq:MSSIM}
    MSSIM(X,Y) = \frac{1}{M}\sum_{j=1}^M SSIM(x_j,y_j)
\end{equation}
که در آن $X$ تصویر مرجع، $Y$ تصویر تخریب شده؛ $x_j$ و $y_j$ اجزاء $j$امین پنجره در تصاویر و $M$، تعداد پنجره‌ها می‌باشد. 
$SSIM(x,y)$ مطابق زیر تعریف می‌شود:
\begin{equation}\label{eq:SSIM}
    SSIM(x,y)=\frac{(2\mu_x\mu_y+C_1)(2\sigma_{xy}+C_2)}{(\mu_x^2+\mu_y^2+C_1)(\sigma_x^2+\sigma_y^2+C_2)}
\end{equation}
که در آن $C_1,C_2$ ثوابتی برای پایداری و \lr{$\mu_x, \sigma_x$, $\sigma_{xy}$} تخمین آمارگان محلی تصویر هستند.% که در \cite{Wang04image} تعریف شده‌اند. 

$MSSIM$ به گونه‌ای تعریف شده است که هر چه دو تصویر به هم شبیه‌تر باشند، خروجی آن بزرگتر و به یک نزدیک‌تر باشد. اگر به ازای هز زوج پیکسل متناظر در دو تصویر، مقدار $SSIM$ محاسبه گردد، تصویری حاصل خواهد شد که «تصویر نقشهٔ $SSIM$»\LTRfootnote{SSIM map image} نامیده شده می‌شود. 

در ادامه رابطهٔ \eqref{eq:SSIM} را توضیح بیشتری خواهیم داد. 
محک $SSIM$ دارای سه جزء است: روشنایی\LTRfootnote{Luminance}، کنتراست و ساختار. روشنایی ($l(x,y)$) و کنتراست ($c(x,y)$) بر اساس میانگین و واریانس شدت روشنایی پیکسل‌ها برآورد می‌شود:
\begin{align}
\mu_x=\frac{1}{N}\sum_{i=1}^Nx_i,\\
l(x,y)=\frac{2\mu_x\mu_y+C_1}{\mu_x^2+\mu_y^2+C_1},\\
c(x,y)=\frac{2\sigma_x\sigma_y+C_2}{\sigma_x^2+\sigma_y^2+C_2}
\end{align}
در اینجا رابطهٔ مربوط به روشنایی را توضیح می‌دهیم، رابطهً مربوط به کنتراست هم مشابه آن است.
اگر در رابطهٔ مربوط به روشنایی از $C_1$ صرفنظر نموده و صورت و مخرج کسر را بر $\mu_x\mu_y$ تقسیم کنیم خواهیم داشت:
\begin{align}
l(x,y)=\frac{2\mu_x\mu_y}{\mu_x^2+\mu_y^2} = \frac{2}{\frac{\mu_x}{\mu_y}+\frac{\mu_y}{\mu_x}}
\end{align}
اگر میانگین شدت روشنایی دو تصویر نزدیک به هم باشد ($\mu_x\simeq\mu_y$)، مخرج کسر فوق نزدیک به ۲ و $l(x,y)$  به یک نزدیک خواهد شد. از طرفی هر چه اختلاف این دو میانگین بیشتر باشد، مخرج کسر فوق بزرگتر می‌شود؛ اگر $\mu_x\gg\mu_y$ آنگاه در حالت حدی $\frac{\mu_x}{\mu_y}\rightarrow\infty$  و 
$\frac{\mu_y}{\mu_x}\rightarrow0$  و لذا $\l(x,y)\rightarrow0$. 
ثابت $C_1$ برای جلوگیری از ناپایداری سیستم در حالتی که $\mu_x^2+\mu_y^2$ نزدیک به صفر است به رابطه اضافه شده است.

در مورد کنتراست هم به همین صورت می‌توان استدلال نمود.

جزء سوم از اجزاء تشکیل دهندهٔ $SSIM$  مقایسهٔ ساختار دو تصویر است که بر اساس همبستگی\LTRfootnote{Correlation: $\rho_{x,y} = \frac{cov(x,y)}{\sigma_x\sigma_y}$} دو تصویر تعریف شده است:
\begin{align}
s(x,y)=\frac{\sigma_{x,y}+C_3}{\sigma_x\sigma_y+C_3}
\end{align}

محک ساختاری $SSIM$ از ترکیب مناسب سه جزء $l(x,y),c(x,y),s(x,y)$ حاصل می‌شود:
\[ SSIM(x,y) = [l(x,y)]^\alpha.[c(x,y)]^\beta.[s(x,y)]^\gamma \]
با فرض $\alpha=\beta=\gamma=1$ و $C_3=C_2/2$ رابطهٔ فوق به صورت زیر در خواهد آمد:

\begin{equation}
    SSIM(x,y)=\frac{(2\mu_x\mu_y+C_1)(2\sigma_{xy}+C_2)}{(\mu_x^2+\mu_y^2+C_1)(\sigma_x^2+\sigma_y^2+C_2)}
\end{equation}
که همان رابطهٔ \eqref{eq:SSIM} می‌باشد.
\subsection{محک شباهت ساختاری در ویدئو}
\citep{Wang04image} محک فوق‌الذکر را برای ویدئو -و البته با تغییراتی- ارائه نموده است. با فرض فضای رنگ \lr{YCbCr}، محک $SSIM$ روی هر یک از اجزای \lr{Y}، \lr{Cb} و \lr{Cr} به صورت مجزا محاسبه و سپس با هم ترکیب می‌گردند. فرض کنید $SSIM_{ij}^Y$، $SSIM_{ij}^{Cb}$ و $SSIM_{ij}^{Cr}$ به ترتیب بیانگر مقدار $SSIM$ برای اجزای  \lr{Y}، \lr{Cb} و \lr{Cr}  از $j$امین پنجره در $i$امین فریم باشد، مقدار $SSIM$ برای این پنجره به صورت زیر محاسبه می‌گردد:

\begin{equation}
SSIM_{ij} = W_YSSIM_{ij}^{Y} + W_{Cb}SSIM_{ij}^{Cb} + W_{Cr}SSIM_{ij}^{Cr}
\end{equation}
با استفاده از تعریف فوق،‌ کیفیت $i$امین فریم به صورت زیر محاسبه می‌شود:
\begin{equation}
Q_i = \frac{\sum_{j=1}^{R_s}w_{ij}SSIM_{ij}}{\sum_{j=1}^{R_s}w_{ij}}
\end{equation}
که در آن$Q_i$ بیانگر مقدار کیفیت $i$امین فریم،  $R_s$ تعداد پنجره‌های مورد نمونه‌گیری و $w_{ij}$  وزن داده شده  به پنجرهٔ $j$ام در فریم $i$ام است. 

میزان کیفیت کل ویدئو با استفاده از میانگین‌گیری وزن‌دار روی تمام $Q_i$ها محاسبه می‌شود:
\begin{equation}
Q = \frac{\sum_{i=1}^FW_iQ_i}{\sum_{i=1}^FW_i}
\end{equation}
که در آن $F$ تعداد فریم‌ها و $W_i$ وزن مربوط به فریم $i$ام است. اگر تمام $w_{ij}$ها برابر یک و وزن تمام فریمها هم مساوی درنظر گرفته شود، معیار $Q$ همان میانگین $SSIM$ خواهد بود. ونگ دو روش وزن‌دهی پیشنهاد داده است. در روش اول به نواحی تیره  و در روش دوم به فریمهای دارای بردارحرکت بزرگ وزن کمتری داده شده است.  البته مطابق آزمایشات انجام شده توسط ونگ، روش پیشنهادی ایشان - با یا بدون وزن‌دهی- نتایج خوبی در مقایسه با سایر روشها داشته است.

\section{سایر معیارها}
معیارهای \lr{MSE}، \lr{RMS}، \lr{MAE}\LTRfootnote{Mean Absolute Error} (یا \lr{MSAD}) و \lr{PSNR}\LTRfootnote{Power Signal to Noise Ratio} که در این رساله مورد استفاده قرار گرفته‌اند، به صورت زیر تعریف می‌شوند:
\begin{equation}
MSE = \frac{\Sigma_{i=1}^N\Sigma_{j=1}^M\Sigma_{q=1}^Q(F^q(i, j)-\hat{F}^q(i,j))^2}{N.M.Q}
\end{equation}
\begin{equation}
RMS = \sqrt{MSE}
\end{equation}

\begin{equation}
MSAD = MAE = \frac{\Sigma_{i=1}^N\Sigma_{j=1}^M\Sigma_{q=1}^Q|F^q(i, j)-\hat{F}^q(i,j)|}{N.M.Q}
\end{equation}
و
\begin{equation}
PSNR = 10\times log \Big( \frac{255^2}{\frac{1}{N.M.Q}\Sigma_{i=1}^N\Sigma_{j=1}^M\Sigma_{q=1}^Q\big(F^q(i, j)-\hat{F}^q(i,j)\big)^2}\Big) 
\end{equation}
که در آن $M$ و$N$، ابعاد تصویر، $Q$ تعداد کانالهای تصویر، $F^q(i, j)$ و $\hat{F}^q(i,j)$، مقدار پیکسل در موقعیت $(i, j)$ و سطح رنگ $q$ از تصاویر اصلی و تصویر اعوجاج یافته (در اینجا خروجی یک روش افزایش وضوح) هستند.

سه معیار اخیر به عنوان محک‌های مقایسهٔ ویدئو در \citet{Wang01book} معرفی شده‌اند. 
معیارهای \lr{PSNR}، \lr{SIMM}، \lr{MSE} و \lr{MSAD} از جمله معیارهایی هستند که توسط \lr{MSU Video Quality Measurement Tool}
\LTRfootnote{\url{http://compression.ru/video/quality_measure/video\_measurement\_tool\_en.html}}
بکار گرفته شده‌اند. در برنامه مذکور معیارهای دیگری هم ارائه شده که از آنجا که مستندات خوبی نداشتند در اینجا ذکر نشده‌اند.
بسیاری از مراجع منجمله \citep{Wang10multifocus}\LTRfootnote{\citeauthor*{Wang10multifocus}} از محک‌های  \lr{SIMM} و  \lr{RMSE}  برای ارزیابی‌های خود استفاده کرده‌اند. در رساله حاضر نیز در فصول مختلف از معیارهای فوق استفاده شده است.
محک‌های دیگری همچون \lr{Minkowsky Metric(MM)} و {\lr{Czenakowski Distance (CZD)}} نیز تعریف شده‌اند 
\citep{Dosselmann05existing}\LTRfootnote{\citeauthor*{Dosselmann05existing}}
که همچون \lr{PSNR} معیارهایی مبتنی بر مقایسهٔ پیکسلها هستند.


برای ارزیابی میزان مات‌شدگی و وضوح\LTRfootnote{Clarity} تصویر نیز معیارهای مختلفی ارائه شده است که از آن جمله می‌توان موارد زیر را نام برد:
\begin{description}
\item[فرکانس مکانی\lr{(SF)}]  \LTRfootnote{Spatial Frequency}، این معیار برای تصویر سطح خاکستری  \lr{f} با اندازه $K\times L$ به صورت زیر تعریف شده است:
\[SF = \sqrt{(RF)^2+(CF)^2} \]
که در آن \lr{RF} و \lr{CF} فرکانسهای سطری و ستونی تصویر هستند:
\[ RF = \sqrt{\frac{1}{K*L}\sum_{x=1}^K\sum_{y=2}^L[f(x,y)-f(x,y-1)]^2} \]
\[ CF = \sqrt{\frac{1}{K*L}\sum_{y=1}^L\sum_{x=2}^K[f(x,y)-f(x-1,y)]^2} \]

\item[انرژی گرادیان تصویر\lr{(EOG)}]\LTRfootnote{Energy Of image Gradient} ، که به صورت زیر تعریف  می‌شود:
\[EOG = \sum_x\sum_y(f_x^2+f_y^2) \]
که در آن:
\[ f_x = f(x+1,y) - f(x,y) \]
\[ f_y = f(x,y+1) - f(x,y) \]

\item[انرژی لاپلاسین تصویر\lr{(EOL)}]\LTRfootnote{Energy Of image Laplacian}، که به صورت زیر تعریف می‌شود:
\[EOL = \sum_x\sum_y(f_{xx}^2+f_{yy}^2) \]
که در آن $f_{xx}$ و $f_{yy}$ مشتقات جزیی مرتبه دوم تصویر در راستای دو محور هستند.

\end{description}
\citep{Huang07multifocus}\LTRfootnote{\citeauthor*{Huang07multifocus}}
از معیارهای \lr{EOG}، \lr{SF} و \lr{EOL} بر روی بلاکهای تصویر استفاده کرده است.
در فصل \ref{Chap:CSICC2009} از معیار انرژی تصویر که به صورت زیر تعریف می‌شود\citep{Avidan07seam} استفاده کردیم:
\[e(f) = |f_x|+|f_y| \]
همانگونه که از روابط فوق مشخص است،  \lr{EOG}و  \lr{SF} و انرژی تصویر ماهیت یکسانی دارند.
%\end{pdfsidelinecomment}