Fast computer vision algorithms applied to motion detection and mosaicing

Aquesta tesi està centrada en la detecció de moviment i el seu aprofitament per la sumarització de les escenes de vídeo en imatges mosaic. Mentre construir la imatge mosaic amb càmeres pivotants és un tema ben conegut, no es aquest el cas per les càmeres amb moviment. El primer pas consisteix en ali...

ver descrição completa

Detalhes bibliográficos
Autor: Vivet Tañà, Marc
Formato: tesis doctoral
Fecha de publicación:2013
País:España
Recursos:Universitat Autònoma de Barcelona
Repositorio:Dipòsit Digital de Documents de la UAB
Idioma:inglés
OAI Identifier:oai:ddd.uab.cat:115342
Acesso em linha:https://ddd.uab.cat/record/115342
Access Level:acceso abierto
Palavra-chave:Reconeixement òptic de formes
Imatges
Visió per ordinador
id ES_b45c5ca3b7cf07e40428bcb597d99cde
oai_identifier_str oai:ddd.uab.cat:115342
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Fast computer vision algorithms applied to motion detection and mosaicing
title Fast computer vision algorithms applied to motion detection and mosaicing
spellingShingle Fast computer vision algorithms applied to motion detection and mosaicing
Vivet Tañà, Marc
Reconeixement òptic de formes
Imatges
Visió per ordinador
title_short Fast computer vision algorithms applied to motion detection and mosaicing
title_full Fast computer vision algorithms applied to motion detection and mosaicing
title_fullStr Fast computer vision algorithms applied to motion detection and mosaicing
title_full_unstemmed Fast computer vision algorithms applied to motion detection and mosaicing
title_sort Fast computer vision algorithms applied to motion detection and mosaicing
dc.creator.none.fl_str_mv Vivet Tañà, Marc
author Vivet Tañà, Marc
author_facet Vivet Tañà, Marc
author_role author
dc.contributor.none.fl_str_mv Universitat Autònoma de Barcelona. Departament de Ciències de la Computació
Binefa i Valls, Xavier
Martí Gòdia, Enric
dc.subject.none.fl_str_mv Reconeixement òptic de formes
Imatges
Visió per ordinador
topic Reconeixement òptic de formes
Imatges
Visió per ordinador
description Aquesta tesi està centrada en la detecció de moviment i el seu aprofitament per la sumarització de les escenes de vídeo en imatges mosaic. Mentre construir la imatge mosaic amb càmeres pivotants és un tema ben conegut, no es aquest el cas per les càmeres amb moviment. El primer pas consisteix en alinear totes les imatges en un únic sistema de coordenades. Aquest procés, anomenat alineament d'imatges, prové de l'estimació de la transformació que projecta cada imatge de vídeo en aquest sistema de coordenades comú. La imatge mosaic es genera assignant a cada punt, un cert valor derivat de la informació transmesa per les diferents imatges amb informació sobre aquest punt. Moviment i mosaics estan profundament relacionats. La tesi s'estructura en sis capítols. Després d'una introducció als aspectes de percepció del moviment en una seqüència de vídeo i exposar el pla de la tesi, el segon capítol aborda el problema de la detecció de moviment amb càmeres estàtiques. Amb aquesta finalitat, es presenta una àmplia descripció dels algoritmes de separació del fons de la imatge descrits en la literatura. Es presenta a continuació l'algoritme de sostracció de fons desenvolupat en la tesi. Aquest algorisme combina diferents senyals visuals i utilitza un model gràfic probabilístic per garantir la coherència espai- -temporal per al model de fons. Aquest model representa cada píxel com una variable aleatòria amb dos estats, de fons i de primer pla. Llavors, s'utilitza un camps probabilístic de Markov (MRF) per descriure la correlació entre els píxels veïns en el volum de l'espai- -temps. A més a més , es presenta un marc general de combinar diferents fonts d'informació relacionades amb el moviment per tal d'augmentar la precisió de la màscara de moviment. El següent pas és fer front al problema de la detecció de moviment quan la càmera no és estàtica, que s'analitza en el capítol 3. En particular, es considera el cas sense paral·laxi. Aquest és un cas comú, en càmeres PTZ o perspectives aèries no produeixen paral·laxi de moviment. Per a compensar les transformacions afins 2D causades per la càmera es proposa utilitzar un seguiment de nucli múltiple, assumint que la major part de la trama pertany al fons. El primer pas és introduir Seguiment de Nucli Múltiple i es descriu com es pot formular per aquest propòsit en particular. A continuació, la generació del mosaic de fons es defineix i es valida la capacitat d'adaptació a través del temps. El capítol 4 presenta un nou algorisme d'alineació de imatges, el Directe- -Local, Indirecte- -Global (DLIG), que compensa el moviment 2D mitjançant una transformació projectiva. La idea clau de l'alineació DLIG és dividir el problema d'alineació de imatges en el problema de registrar un conjunt de trossos d'imatge espacialment relacionats. El registrament d'un tros d'imatge es realitza iterativament imposant tan una bona concordança local com una bona coherència espacial global. L'alineament d'un tros d'imatge es porta a terme utilitzant un algoritme de seguiment, de manera que es molt eficient per aconseguir una concordança local. L'algorisme utilitza el registrat de trossos d'imatge per obtenir un registrat multiimatge i utilitza les coordenades mosaic per relacionar el tros actual de la imatge a trossos provinents de altres imatges que comparteixen parcialment el camp de vista. La registració multimatge impedeix el problema d'acumulació d'errors, un dels problemes més importants en mosaics. També es mostra com incrustar un algoritme de seguiment basat en nucli per tal d'obtenir un algoritme de construcció de mosaics precís i eficient. El capítol 5 encara el problema de la generació de mosaics quan l'escena gravada conté paral·laxi de moviment. La solució desenvolupada proposa alinear la seqüència de vídeo en un volum d'espai- -temps basat en el seguiment eficient de característiques utilitzant un algoritme de seguiment de nucli. El càlcul és ràpid i, com el moviment, es calcula només per a unes poques regions de la imatge, i tot i així proporciona una estimació del moviment 3D precisa. Aquest càlcul és més ràpid i més precís que l'estat de l'art que es basen en un mètode d'alineació directa. La síntesi de la imatge del mosaic encara amb el mètode innovador presentat a la tesi barcode Blending , un nou mètode per utilitzar el blending piràmidal en les imatges mosaic, que és molt eficient. Barcode Blending permet superar la complexitat de la construcció de piràmides per a múltiples tires estretes, en base a combinar totes les tires en una sola etapa de mescla. Finalment la tesi acaba am les conclusions i el treball futur a fer en el capítol sisè.
publishDate 2013
dc.date.none.fl_str_mv 2
2013-01-01
2013
2013-01-01
dc.type.none.fl_str_mv Tesi doctoral
http://purl.org/coar/resource_type/c_db06
VoR
http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.openaire.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
dc.identifier.none.fl_str_mv https://ddd.uab.cat/record/115342
url https://ddd.uab.cat/record/115342
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
https://rightsstatements.org/vocab/InC/1.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
https://rightsstatements.org/vocab/InC/1.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Autònoma de Barcelona
publisher.none.fl_str_mv Universitat Autònoma de Barcelona
dc.source.none.fl_str_mv reponame:Dipòsit Digital de Documents de la UAB
instname:Universitat Autònoma de Barcelona
instname_str Universitat Autònoma de Barcelona
reponame_str Dipòsit Digital de Documents de la UAB
collection Dipòsit Digital de Documents de la UAB
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869417254424150016
spelling Fast computer vision algorithms applied to motion detection and mosaicingVivet Tañà, MarcReconeixement òptic de formesImatgesVisió per ordinadorAquesta tesi està centrada en la detecció de moviment i el seu aprofitament per la sumarització de les escenes de vídeo en imatges mosaic. Mentre construir la imatge mosaic amb càmeres pivotants és un tema ben conegut, no es aquest el cas per les càmeres amb moviment. El primer pas consisteix en alinear totes les imatges en un únic sistema de coordenades. Aquest procés, anomenat alineament d'imatges, prové de l'estimació de la transformació que projecta cada imatge de vídeo en aquest sistema de coordenades comú. La imatge mosaic es genera assignant a cada punt, un cert valor derivat de la informació transmesa per les diferents imatges amb informació sobre aquest punt. Moviment i mosaics estan profundament relacionats. La tesi s'estructura en sis capítols. Després d'una introducció als aspectes de percepció del moviment en una seqüència de vídeo i exposar el pla de la tesi, el segon capítol aborda el problema de la detecció de moviment amb càmeres estàtiques. Amb aquesta finalitat, es presenta una àmplia descripció dels algoritmes de separació del fons de la imatge descrits en la literatura. Es presenta a continuació l'algoritme de sostracció de fons desenvolupat en la tesi. Aquest algorisme combina diferents senyals visuals i utilitza un model gràfic probabilístic per garantir la coherència espai- -temporal per al model de fons. Aquest model representa cada píxel com una variable aleatòria amb dos estats, de fons i de primer pla. Llavors, s'utilitza un camps probabilístic de Markov (MRF) per descriure la correlació entre els píxels veïns en el volum de l'espai- -temps. A més a més , es presenta un marc general de combinar diferents fonts d'informació relacionades amb el moviment per tal d'augmentar la precisió de la màscara de moviment. El següent pas és fer front al problema de la detecció de moviment quan la càmera no és estàtica, que s'analitza en el capítol 3. En particular, es considera el cas sense paral·laxi. Aquest és un cas comú, en càmeres PTZ o perspectives aèries no produeixen paral·laxi de moviment. Per a compensar les transformacions afins 2D causades per la càmera es proposa utilitzar un seguiment de nucli múltiple, assumint que la major part de la trama pertany al fons. El primer pas és introduir Seguiment de Nucli Múltiple i es descriu com es pot formular per aquest propòsit en particular. A continuació, la generació del mosaic de fons es defineix i es valida la capacitat d'adaptació a través del temps. El capítol 4 presenta un nou algorisme d'alineació de imatges, el Directe- -Local, Indirecte- -Global (DLIG), que compensa el moviment 2D mitjançant una transformació projectiva. La idea clau de l'alineació DLIG és dividir el problema d'alineació de imatges en el problema de registrar un conjunt de trossos d'imatge espacialment relacionats. El registrament d'un tros d'imatge es realitza iterativament imposant tan una bona concordança local com una bona coherència espacial global. L'alineament d'un tros d'imatge es porta a terme utilitzant un algoritme de seguiment, de manera que es molt eficient per aconseguir una concordança local. L'algorisme utilitza el registrat de trossos d'imatge per obtenir un registrat multiimatge i utilitza les coordenades mosaic per relacionar el tros actual de la imatge a trossos provinents de altres imatges que comparteixen parcialment el camp de vista. La registració multimatge impedeix el problema d'acumulació d'errors, un dels problemes més importants en mosaics. També es mostra com incrustar un algoritme de seguiment basat en nucli per tal d'obtenir un algoritme de construcció de mosaics precís i eficient. El capítol 5 encara el problema de la generació de mosaics quan l'escena gravada conté paral·laxi de moviment. La solució desenvolupada proposa alinear la seqüència de vídeo en un volum d'espai- -temps basat en el seguiment eficient de característiques utilitzant un algoritme de seguiment de nucli. El càlcul és ràpid i, com el moviment, es calcula només per a unes poques regions de la imatge, i tot i així proporciona una estimació del moviment 3D precisa. Aquest càlcul és més ràpid i més precís que l'estat de l'art que es basen en un mètode d'alineació directa. La síntesi de la imatge del mosaic encara amb el mètode innovador presentat a la tesi barcode Blending , un nou mètode per utilitzar el blending piràmidal en les imatges mosaic, que és molt eficient. Barcode Blending permet superar la complexitat de la construcció de piràmides per a múltiples tires estretes, en base a combinar totes les tires en una sola etapa de mescla. Finalment la tesi acaba am les conclusions i el treball futur a fer en el capítol sisè.This thesis is focused on motion detection and its use for the summarization of video scenes in mosaic images. While mosaicing with pivoting cameras is a well-known topic, this is not the case with full motion cameras. The first step is to align all the images into a single coordinate system. This process, named image alignment, comes from the estimation of the transform that projects every video image into this common coordinate system. The mosaic image is generated assigning to each point some value derived from the information conveyed for the different images with information about that point. Motion and Mosaicing are deeply related. The thesis is organized in six chapters. After an introduction to the perceptual aspects of motion in a video sequence and exposing the plan of the thesis, the second chapter deals with the problem of detecting motion using static cameras. To this end, an extensive description of the main background subtraction algorithms in the literature is presented. The original background subtraction algorithm developed in the thesis is presented. This algorithm combines different visual cues and uses a probabilistic graphical model to provide spatio-temporal consistency to the background model. This model represents each pixel as a random variable with two states, background and foreground. Then, Markov Random Fields (MRF) is used to describe the correlation between neighbouring pixels in the space-time volume. In addition, a general framework to combine different motion related information sources is presented in order to increase the accuracy of the motion mask. The next step is to face the problem of detecting motion when the camera is not static, which is analysed in the chapter 3. In particular, the case with no parallax is considered. This is a common case as PTZ cameras or aerial perspectives do not produce motion parallax. It is proposed to compensate for 2D affine transformations caused by the camera by using Multiple Kernel Tracking, assuming that the major part of the frame belongs to the background. The first step is to introduce Multiple Kernel Tracking describing how it can be formulated for this particular purpose. Then the generation of the background mosaic is defined and it adaptability over time. Chapter 4 presents a new frame alignment algorithm, the Direct Local Indirect global (DLIG), which compensates the 2D motion using a projective transformation. The key idea of the DLIG alignment is to divide the frame alignment problem into the problem of registering a set of spatially related image patches. The registration is iteratively computed by sequentially imposing a good local match and global spatial coherence. The patch registration is performed using a tracking algorithm, so a very efficient local matching can be achieved. The algorithm uses the patch-based registration to obtain multiframe registration, using the mosaic coordinates to relate the current frame to patches from different frames that partially share the current field of view. Multiframe registration prevents the error accumulation problem, one of the most important problems in mosaicing. It is also show how to embed a Kernel Tracking algorithm in order to obtain a precise and efficient mosaicing algorithm. The chapter 5 moves to the problem of generating mosaics when the recorded scene contains motion parallax. The developed solution proposes to align the video sequence in a space-time volume based on efficient feature tracking using a Kernel Tracking algorithm. Computation is fast and, as the motion, is computed only for a few regions of the image, yet still gives accurate 3D motion. This computation is faster and more accurate than the previous work that is based on a direct alignment method. The synthesis of the mosaic image is faced with the novel Barcode Blending , a new approach for using pyramid blending in video mosaics, which is very efficient. Barcode Blending overcomes the complexity of building pyramids for multiple narrow strips, combining all strips in a single blending step. This thesis finishes with the conclusions and future work in chapter 6.Universitat Autònoma de BarcelonaUniversitat Autònoma de Barcelona. Departament de Ciències de la ComputacióBinefa i Valls, XavierMartí Gòdia, Enric 22013-01-0120132013-01-01Tesi doctoralhttp://purl.org/coar/resource_type/c_db06VoRhttp://purl.org/coar/version/c_970fb48d4fbd8a85info:eu-repo/semantics/doctoralThesisapplication/pdfhttps://ddd.uab.cat/record/115342reponame:Dipòsit Digital de Documents de la UABinstname:Universitat Autònoma de BarcelonaInglésengopen accesshttp://purl.org/coar/access_right/c_abf2Aquest material està protegit per drets d'autor i/o drets afins. Podeu utilitzar aquest material en funció del que permet la legislació de drets d'autor i drets afins d'aplicació al vostre cas. Per a d'altres usos heu d'obtenir permís del(s) titular(s) de drets.https://rightsstatements.org/vocab/InC/1.0/info:eu-repo/semantics/openAccessoai:ddd.uab.cat:1153422026-06-06T12:50:31Z
score 15,301629

Registos relacionados