Hodnocení kvality IPTV

Autor: J. Krejčí, T. Zeman <krejcj1(at)fel.cvut.cz>, Pracoviště: České vysoké učení technické v Praze, FEL, Téma: QoS, Vydáno dne: 27. 05. 2010

Quality Assessment of IPTV. Článek pojednává o různých metodách hodnocení kvality televizního vysílání prostřednictvím sítí s protokolem IP. V článku jsou uvedeny výsledky testů v souvislosti s impulsním rušením u přípojek ADSL.


Quality Assessment of IPTV

This paper deals with the methods of assessment quality of television broadcasting in the data network based on IP protocol. Paper also contains results of measuring quality IPTV in connection with the impulse noise in ADSL.

Keywords: IPTV; assessment; impulse noise; ADSL; MOS; PSNR


Digitální televize - IPTV

Analogové televizní vysílání je postupně ukončováno a místo něj nastupuje digitální televizní vysílání. Digitální televizní vysílání má několik různých podob, a to především satelitní vysílání (DVB-S, DVB-S2), kabelové vysílání (DVB-C), pozemní digitální vysílání (DVB-T, DVB-T2), mobilní vysílání (DVB-H) a dále také digitální televizní vysílání prostřednictvím datové sítě (IPTV).

IPTV představuje televizní a rozhlasové vysílání a také video na přání (VoD) poskytované přes vysokorychlostní datové sítě. Pro koncového uživatele IPTV služba vypadá a funguje jako standardní televizní vysílání. Z pohledu poskytovatele IPTV služba představuje zpracování a bezpečné poskytování video obsahu prostřednictvím datových sítí založených na IP protokolu. IPTV je definována jako multimediální služba realizovaná na datové síti založené na IP protokolu s poskytovanou úrovní kvality služeb (QoS) a prožitku (QoE), dále také bezpečností, interaktivitou a spolehlivostí. Digitální televizní tok je přenášen do televizního přijímače prostřednictvím datové sítě, kde pomocí tzv. IP set-top boxu (IP STB) na straně uživatele dojde k dekódování přicházejících IP paketů a k převedení video toků na plynulý obraz do uživatelova televizoru.

Metody pro stanovení kvality IPTV

Předpokladem úspěchu služby IPTV je subjektivní kvalita vnímaná uživatelem. Bude-li kvalita špatná, zákazník si vybere jiný způsob příjmu televizního vysílání. Proto je nutné zajistit, aby byl obraz vizuálně čistý a bez výpadků. Kvalita IPTV služby je ovlivňována aktuálním stavem parametrů v datové síti (QoS), která přenáší video toky. Kvalita služeb (QoS) se určuje z technických vlastností sítě a dovoluje poskytovatelům IPTV garantovat a kontrolovat kvalitu nabízených služeb. Problémem však zůstává, jak je tato kvalita služeb vnímána koncovými uživateli. Přenášené video toky mohou být v různých formátech (SDTV a HDTV) a s použitím různé komprese (MPEG-2, MPEG-4/H.264). Tento datový signál má potom různé nároky na přenos v datové síti.

Tabulka 1 ukazuje různé deformace obrazu a zvuku způsobné při přenosu video toku prostřednictvím datové sítě, v tabulce jsou také vyznačeny možné příčiny vzniku jednotlivých chyb.

Tab. 1 Mohou nastat tyto deformace při zobrazování

 

Deformace

Možná příčina

Deformace zvuku

Ztráta synchronizace zvuku a obrazu (Lip Sync)

Ztráta synchronizace mikrofonu, špatné A/V multiplexování, chyba set-top boxu

Šum ve zvuku

Ztráta paketů

Ztráta zvuku

Ztráta paketů

Deformace videa

Kostičkování obrazu – Typ 1

IPTV_01

Ztráta paketů, malá přenosová rychlost

Kostičkování obrazu – Typ 2

IPTV_02

Ztráta paketů, malá přenosová rychlost

Trhání obrazu

Ztráta paketů, vysoký jitter, chybný systémový čas, ztráta synchronizace

Zamrznutí obrazu

Hlavně ztráta paketů, vysoký jiter, chybný systémový čas, ztráta synchronizace

Žádný obraz

Výpadek příjmu video signálu, přílišná ztráta paketů, ztráta synchronizace

Rozostření obrazu

Chyba kodéru, set-top boxu, kamery

Šum v obraze

Chyba kodéru, set-top boxu, kamery

Obrázky (obr. 1 a obr. 2) znázorňují, v jakých místech a jaké chyby mohou nastat na přenosové cestě při distribuci video toku k uživateli a jaké jsou následky na výsledný obraz a zvuk.

IPTV_03

Obr. 1 Kvalita prožitku (QoE) a kvalita služeb( QoS) [5]

IPTV_04

Obr. 2 Vznik různých problému při přenosu video toku [3]


Kvalitu služby (QoS) ovlivňují do značné míry aktuální parametry přístupové sítě (xDSL, WiMax, FTTx,…). Přenášený video tok vyžaduje dodržování těchto parametrů: dostatečnou šířku pásma, malé zpoždění, malé kolísání zpoždění, malou ztrátovost paketů. Vlivem zhoršování těchto parametrů nastává zhoršení kvality služby IPTV u koncového uživatele. Kvalita služeb (QoS) Kvalita služby (QoS – Quality of Service) je soubor opatření, které zajistí určitý stupeň uspokojení koncového uživatele s danou službou. Zajišťuje přidělení dostatečných prostředků používané sítě tak, aby umožňovaly poskytnout danou službu v kvalitě garantované poskytovatelem. Přenosové prostředky sítě, které jsou využívány mnoha aplikacemi a uživateli, jsou přerozděleny tak, aby umožnily fungování každé službě s předem zaručenými vlastnostmi sítě. Jako příklad můžeme uvést různé úrovně služeb (SLA) nabízené v metropolitní síti založené na třídách služeb (CoS - Class of service), viz Tab. 2. Paketový režim přenosu dat použitý v IP sítích představuje skutečnost, která negativně ovlivní kvalitu přenášeného videotoku v několika ohledech. Jde zejména o zpoždění (latency), změnu pořadí paketů (packet order), kolísání zpoždění (jitter) a ztrátu paketů (packet loss), také viz [1].

Tab. 2 Základní provozní vlastnosti podle třídy služeb (Metro ethernet)

Třída služby

Charakteristika služby

CoS ID

Základní provozní vlastnosti

Premium

IP telefonie v reálném čase nebo IP video aplikace

6, 7

Delay < 5ms
Jitter < 1ms
Loss < 0.001%

Silver

Přenos důležitých datových souborů s kolísavým zatížením, vyžadující nízké ztráty a malé zpoždění

4, 5

Delay < 5ms
Jitter = N/S (není specif.)
Loss < 0.01%

Bronze

Přenos dat s kolísavým profilem zátěže a potřebou zaručit jistou šířku pásma

3, 4

Delay < 15ms
Jitter = N/S
(není specif.)
Loss < 0.1%

Standard

Best effort service

0, 1, 2

Delay < 30ms
Jitter = N/S
(není specif.)
Loss < 0.5%

Subjektivní metody hodnocení

Tyto metody jsou užívány skupinou uživatelů k posouzení kvality obrazu. Jsou založeny na dojmu, který testovaný videozáznam zanechá na skupině pozorovatelů. Výhodou subjektivního hodnocení je skutečnost, že dokáže popsat, jak je technická kvalita videozáznamu vnímána člověkem a díky tomu lze omezit informace nepostřehnutelné lidskými smysly. Metody pro subjektivní testování jsou například MOS, DSCQS, DSIS a SSCQE. Typické kroky spojené se subjektivním hodnocením kvality IPTV služby zahrnuje následující:

Stupnice MOS
Systém testování byl definován ITU pod názvem MOS (Mean Opinion Score) a probíhá v těchto krocích: Nejprve je sestavena série krátkých videí určených pro test. Poté se určí sestava parametrů, které budou předmětem hodnocení vybraného vzorku lidí (doporučeno 18 a více). Po nalezení vhodné skupiny osob a vytvoření přívětivého prostředí pro test je zahájeno samotné testování. Skupina osob číselně ohodnotí dojem z pozorovaného videa podle stupnice hodnocení zobrazené v Tab. 3. Výsledná hodnota MOS je pak dána průměrem naměřených výsledků. MOS hodnocení je definováno ve 4 různých variantách viz Tab. 4

Tab. 3 Mean Opinion Score

MOS

Kvalita

Znehodnocení

5

výborná (excellent)

nepostřehnutelné

4

dobrá (good)

postřehnutelné, ale neobtěžující

3

slušná (fair)

mírně obtěžující

2

špatná (poor)

obtěžující

1

nevhodná (bad)

velmi obtěžující


Tab. 4 Varianty MOS

Varianta

Hodnocení kvality

MOS-V

videa

MOS-A

zvuku

MOS-AV

videa a zvuku

MOS-C

dojem z interakce IPTV služeb

Stupnice DSCQS (Double Stimulus Continuous Quality Scale)
Jedná se o subjektivní hodnocení dvojice sekvencí, referenční a testované. Hodnocení probíhá při zobrazení relativně po krátkou dobu (8 až 10 sekund) a v náhodném pořadí. Pozorovatel neví, která sekvence je reference a která testovaná sekvence. Kvalita je hodnocena podle stupnice v rozsahu 0 až 100 a měla by být vybavena slovy označující kvalitu: výborná, velmi dobrá, ještě dobrá, špatná a velmi špatná. K testování je třeba alespoň 15 pozorovatelů různých věkových a profesních skupin s dobrým stavem zraku. Stav zraku je testován před hodnocením pomocí Smelkova optotestu (pozorovatel by měl přečíst poslední řádek testu ze vzdálenosti 5 m).

IPTV_05

Obr. 3 Spojitá stupnice kvality používaná u metody DSCQS

Objektivní metody hodnocení
Tyto metody používají k určení kvality především matematických výpočtů. Testuje se kvalita videosignálu na základě porovnání obrazových snímků s komprimovanou verzí a degradovanou kvalitou signálu. Jako objektivní metody se používají MSE, PSNR, MDI, MPQM, SSIM a další.

Parametry MSE (Mean Square Error) a PSNR (Paek signal-to-nois ratio)
MSE reprezentuje střední kvadratickou odchylku přijatého video signálu od původního. PSNR představuje poměr mezi nejvyšší hodnotou signálu vůči MSE, udává se v decibelech.

 

IPTV_06

(1)


kde: x originální obraz, y přijatý obraz, i, j prvky obrazové matice, M počet pixelů na výšku obrazu, N počet pixelů obrazu na šířku.

 

IPTV_07

(2)


kde m je maximální hodnota, kterou může pixel získat.

Parametr MDI (Media delivery index)
MDI lokalizuje a charakterizuje problémy v síti, které mohou nepříznivě ovlivnit kvalitu přenášeného A/V toku. MDI se zobrazuje jako dvě čísla oddělená dvojtečkou a obsahuje faktor zpoždění (DF – delay factor) a poměr ztrátovosti (MLR – media loss rate).

DF:MLR

Delay factor je časová hodnota v milisekundách a udává, jak velká musí být vyrovnávací paměť, aby byl eliminováno kolísání zpoždění. Běžné set-top boxy eliminují kolísání zpoždění do 9 ms, nejlepší STB až 50 ms. U každého přijatého paketu se počítá rozdíl mezi přijatými a zpracovanými bajty. X je šířka virtuální vyrovnávací paměti.

 

IPTV_08

(3)

Pak,

 

IPTV_09

(4)


kde „media rate“ se vyjadřuje v Bytech/sekundu a max(x) a min(x) jsou maximální a minimální hodnoty měřené v intervalu.

Media loss rate je definován jako počet ztracených paketů nebo pakety mimo pořadí za sekundu. Pakety mimo pořadí jsou důležité, protože zařízení nepřeorganizují pakety před doručením k dekodéru. Nenulový MLR nepříznivě ovlivňuje kvalitu videa a může představovat deformovaný obraz nebo špatně přehrávané video.
MLR je vypočítáno jako rozdíl media paketů přijatých a počet media paketů očekávaných během intervalu 1 sekundy.

 

IPTV_10

(5)

Všechny ztracené pakety vyprodukují viditelnou chybu v přehrávaném video streamu. WT-126 doporučuje maximální ztrátu až do pěti IP paketů za třicet minut pro SDTV a VoD, a pro HDTV za čtyři hodiny (viz tab. 5).

Tab. 5 MLR podle doporučení WT-126

Service (All Codes)

Max Avg MLR

SDTV

0,004

VoD

0,004

HDTV

0,0005

Parametr MPQM (Moving Pictures Quality Metric)
Používá se pro posouzení kvality komprimovaného video toku MPEG. Zahrnuje technologie, která kopíruje prožitek lidského pozorovatele a hodnotí na stupnici od 1 do 5 (viz tab. 6).

Tab. 6 Hodnocení podle MPQM

hodnocení

popis

1

Výborné (Excellent)

2

Dobré (Good)

3

Slušné (Fair)

4

Špatné (Poor)

5

Nevhodné (Bad)

Parametr SSIM (Structural similarity index)
Nová metoda, která zohledňuje lidský vizuální systém. Měří podobnost mezi dvěma obrázky. SSIM je navržen ke zlepšení tradičních metrik jako MSE a PSNR, které se ukázaly být v rozporu s lidským vnímáním. Referenční hodnoty SSIM jsou v intervalu [0,1], kde 0 znamená nulový vztah originálnímu obrázku a 1 je docíleno při porovnání dvou totožných obrázcích.

 

IPTV_11

(6)

Člen l(x,y) porovnává jas signálu, c(x,y) porovnává kontrast signálu a s(x,y) měří strukturální korelaci (rce (7)).

IPTV_12
 

IPTV_13
 

IPTV_14
 

(7)

kde μx a μy představuje průměr ze vzorků x a y (rce (8)), σx a σy představuje rozptyl ze vzorků x a y (rce (9)).

IPTV_15
 

IPTV_16
 

(8)


IPTV_17
 

IPTV_18
 

(9)

σxy představuje kovarianci vzorků x a y. Konstanty C1, C2, C3 se užívají ke stabilizaci v případě, že průměr a rozptyl jsou velmi malé. Parametry α > 0, β > 0 a γ > 0 se používají k nastavení relativní důležitosti ze tří složek. Pro zjednodušení SSIM je užíváno toto nastavení parametrů (α=β=γ=1 a C3=C2/2 ) pak rovnice (6) bude vypadat zjednodušeně podle rovnice (10), více viz [4].

 

IPTV_19
 

(10)

Metrika video kvality VQM: DCT

Metoda video kvality (VQM), vychází z Watsonového návrhu a využívá vlastnosti lidského vnímání obrazu. Je založená na funkci prostoro-časové citlivosti kontrastu, kde můžeme reprezentovat vysokou prostorovou a časovou informaci s menší přesností. DCT (Discrete Cosine Transformation) využívá přímo tuto vlastnost. Oproti MSE poskytuje porovnatelnější výsledky, neboť hodnocení obrazu ve frekvenční oblasti pomocí DCT koeficientů je bližší lidskému vnímání na rozdíl od MSE.

IPTV_20

Obr. 4 Blokové schéma VQM [8]

Na obrázku je znázorněný algoritmus výpočtu VQM metriky. Nejprve je nutné vytvořit transformaci originálního a testovaného signálu do stejného barevného prostoru; toto znázorňuje blok transformace barev (color transform). V následujícím kroku se aplikuje na barevně upravený signál DCT transformace. Zde se oddělí vstupní obrázky do různých prostorových frekvenčních komponent. V dalším kroku se konvertuje každý DCT koeficient na lokální kontrast (LC) použitím vztahu:

 

IPTV_21
 

(11)

kde DC je stejnosměrná komponenta pro každý blok. Pro 8bitový obrázek je 1024 střední hodnota DCT. Hodnota 0,65 je nejlepší parametr pro přizpůsobení. Po tomto kroku se většina údajů nachází v intervalu [-1,1] [13]. Tyto první tři kroky jsou identické s Watsonovým DVQ modelem.
Ve čtvrtém kroku se aplikuje časové filtrování a funkce prostorového vnímání kontrastu (SCSF). Použije se SCSF matice pro statické snímky a jedna matice pro dynamické snímky v jednom kroku. Tímto se sníží výpočetní nároky a paměťové nároky. DCT koeficienty jsou konvertované do právě pozorovatelných rozdílů vynásobením každého DCT koeficientu s odpovídajícím údajem v SCSF matici.
V posledním kroku se provádí vážený průměr a stanovuje maximální zkreslení. Tyto dvě části jsou odečteny jako první. Následuje maskování kontrastu a určení maxima. Výsledek je potom váhován se střední hodnotou zkreslení. To zaručí, že velké zkreslení v jedné oblasti potlačí citlivost na ostatní malé zkreslení.

 

IPTV_22
 

(12-14)

Maximální váhovací parametr zkreslení 0,005 je vybraný na základě několika psychofyzických experimentů. Parametr 1000 je standardizační poměr. Výsledky ukázaly, že tato metrika má lepší vlastnosti v případech, kdy MSE selhala; viz [8].

Vliv impulsního rušení v přístupové síti DSL na kvalitu IPTV

V současné době je v České republice služba IPTV nejčastěji provozována na přípojkách DSL (Digital Subscribe Line). Hlavní nevýhodou této technologie je pokles přenosové rychlosti s rostoucí vzdáleností modemu od ústřednové jednotky DSLAM.

Mezi rušivé vlivy působící na přenos dat lze považovat vzájemné těsné vazby mezi páry v profilu kabelu (kabel může obsahovat až tisíce párů). Tyto páry se vzájemně ovlivňují pronikáním signálu z vysílače na sousední páry ve stejném kabelu – jedná se tzv. přeslechy na blízkém (NEXT – Near End CrossTalk) a vzdáleném (FEXT - Far End CrossTalk) konci. Dále se jedná o vysokofrekvenční rušení, impulsní rušení; vážným zdrojem rušení jsou ostatní přenosové systémy nasazované v tomtéž kabelu.

Impulsní rušení je velmi specifické a úroveň tohoto rušení velmi záleží například na místě uložení metalického vedení. Jeho zdrojem je elektromagnetické vyzařování silnoproudých kabelů, vysokonapěťových vedení a dalších zařízení, zejména při spínání a regulaci velkých výkonů. Impulsní rušení je specifické krátkou dobou trvání, náhodným charakterem výskytu a realtivně vysokou amplitudou. Je tvořeno napěťovými špičkami se strmými náběžnými i sestupnými hranami, které se navíc vyskytují ve shlucích, což způsobuje v přenášených datech tzv. blokové chyby.

IPTV_23

Obr. 5 Ukázka impulsního rušení od mixéru v telefonním vedení

Simulovaný přenos IPTV s uměle vloženým rušením Pro zkoumání vlivu rušení na přenášený obrazový tok jsme navrhli a zprovoznili měřící pracoviště (viz schéma na obr. 6).

IPTV_24

Obr. 6 Schéma měřícího pracoviště [2]

Simulované měření bylo provozováno na přípojce ADSL2+ over ISDN v režimu bez prokládání, o délce vedení 1,2 km. Byla použitá nahrávka (SDTV kvalita) zapouzdřená do transportního toku MPEG-TS (komprese MPEG-2, poměr stran 16:9, rozlišení 720x576, bitová rychlost 4-5 Mbit/s), která byla uložena na počítačové stanici. Počítačová stanice obsahuje volně dostupný program VLC (Video přehrávač), který vysílá video metodou multicast (bylo použito při simulaci) nebo unicast.

Přenos videosignálu probíhal následujícím způsobem: Z PC stanice byla videonahrávka vysílána multicastovou metodou do jednotky DSLAM, následně po metalickém vedení do ADSL2+ modemu a k IP settop boxu. Do vedení bylo uměle vloženo rušení typu A (přeslechy Upp = 100mV), vysíláno na pozadí pro reálný stav v přístupové síti a impulsní rušení podle ITU-T G.996.1. Impulsní rušení bylo vysíláno podle tabulky. (N – počet impulsů, T prodleva mezi skupinou impulsů)

IPTV_25

IPTV_26

Obr. 7 Rušící profil – model A

Obr. 8 Nastavení testovacího impulsu


Tab. 7 Tabulka nastavení různých variant impulsního rušení:

T = 0,5 s

T = 1 s

T = 1 min

Upp [mV]

N

Upp [mV]

N

Upp [mV]

N

50

15

50

15

50

15

500

500

500

150

15

150

15

150

15

500

500

500

Vyhodnocení

Deformace video obrazu jsou způsobené impulsním rušením a projevují se kostičkováním, rozmazáním obrazu a dále také chybami způsobenými změnami pořadí při zpracování a dekódování doručených paketů. Deformace zvuku se projevuje praskáním, toto se děje až při vyšším počtu impulsů (od 100). Největší vliv na deformaci má doba prodlevy T, čím vyšší je doba prodlevy, tím je deformace méně častá, i když počet impulsů roste. Lze tedy očekávat menší výskyt artefaktů v obraze a tím i lepší subjektivní dojem při sledování TV programů. Ukázka deformace obrazu impulsním rušením také viz [1]. Při zkoumání deformace skupiny snímků (GOP), která má strukturu podle obr. 9

IPTV_27

Obr. 9 Skupina snímků (GOP)

jsme zjistili, že dochází k výskytu artefaktů v B snímcích, které se projevuje i na ostatních snímcích B a P v jedné skupině snímků (GOP), artefakty jsou ve snímcích obsaženy až do příchodu I snímku (klíčový snímek – není závislý na ostatních snímcích). Je-li zasažen i tento snímek dochází k artefaktům i v následující skupině snímků (GOP) dokud nebude přijat I snímek nevykazující artefakty. Toto ukazuje obr. 10.

IPTV_28

Obr. 10 Artefakty ve skupině snímků (GOP)

K výpočtu hodnot pro metody SSIM a PSNR jsme využili volně šiřitelný program MSU VQMT (MSU Video Quality Measurement Tool).

IPTV_29
 

IPTV_30
 

IPTV_31
 

Originál

Impulsní rušení (T = 1 min, Upp = 150 mV, N = 500)
SSIM = 0,48959
PSNR = 16,22595

Impulsní rušení (T = 1 min, Upp = 150 mV, N = 500)
SSIM = 0,36531
PSNR = 12,71387

Obr. 11 Kvalita obrázku určená metodami SSIM a PSNR (při T = 1 min, Upp= 150 mV, N = 500)


IPTV_32
 

IPTV_33
 

Originál

Impulsní rušení (T = 1 s, Upp = 50 mV, N=15)
SSIM = 0,76205
PSNR = 17,92446

Obr. 12 Kvalita obrázku určená metodami SSIM a PSNR (při T = 1 s, Upp= 50 mV, N = 15)


IPTV_34
 

IPTV_35
 

Originál

Impulsní rušení (T = 0,5 s, Upp = 150 mV, N=500)
SSIM = 0,85492
PSNR = 21,78200

Obr. 13 Kvalita obrázku určená metodami SSIM a PSNR (při T = 0,5 s, Upp= 150 mV, N = 500)

Závěr

Impulsní rušení je náhodný jev a nedá se dopředu odhadnout jeho výskyt. Dopad impulsního rušení na přenášená data v síti je však výrazný. Impulsní rušení již i při hodnotách podle doporučení ITU-T G.996.1 (N = 15 T = 1 s Upp = 50 mV) má výrazný dopad na přenášený videotok, což se projevuje jeho degradací – kostičkováním, zamrzáním obrazu, praskáním zvuku. Proto je třeba chránit se účinnými prostředky užitými v systémech ADSL, a to zabezpečením korekčním kódem (FEC) a prokládáním (interleaving).

Tento článek vznikl za podpory grantu FRVŠ 1378/2009.

Literatura

[1] Krejčí, J. - Zeman, T.: Úvod do IPTV. Access server [online]. 2008, roč. 6., č. 2008100002, s. 1-8.
Dostupné z WWW: http://access.fel.cvut.cz/view.php?cisloclanku=2008100002. ISSN 1214-9675.
[2] Krejčí, J.: Influence of Noise on IPTV over xDSL. In Workshop 09 [CD-ROM]. Prague: CTU, 2009, vol. A, p. 90-91. ISBN 978-80-01-04286-1.
[3] A Guide to IPTV : The Technologies, the Challenges and How to Test IPTV [online]. U.S. : Tektronix, 2008 [cit. 2010-03-19]. Dostupné z WWW: http://www.tek.com/applications/video/iptv2.html.
[4] DOSSELMANN, Richard; DONG YANG, Xue. A Formal Assessment of the Structural Similarity Index. Electrical and Computer Engineering, 2009. CCECE '09. . 3-6 May 2009, 1, s. 112 - 116. ISSN 0840-7789.
[5] HENS, Francisco J., CABELLERO, José M. Triple Play : Building the converged network for IP, VoIP and IPTV. 1st edition. [s.l.] : Wiley, 2008. 416 s. ISBN 978-0470753675.
[6] Mardiak, M., Filanová, J.: Quality of a video signal, In: International Conference New Information and Multimedia Technologies NIMT-2008, Brno, Czech Republic, Sept. 18-19, 2008, pp. 33-37, ISBN 987-80-214-3708-1
[7] Mardiak, M., Filanová, J.: Služba videokonferencia a meranie kvality videokonferencie, In: EE časopis pre elektrotechniku a energetiku, ročník XIII., október 2007, mimoriadne číslo, pp. 160-162
[8] Xiao, F.: DCT-based Video Quality Evaluation: Final Project for EE392J. 2000. Dostupné z WWW: http://compression.ru/video/quality_measure/vqm.pdf