Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection

This paper addresses the laborious, time-consuming and error- prone process of generating ground truth data to perform instance segmentation of fish in their natural habitat. Our proposal is to use the Segment Anything Model (SAM), which allows zero- shot inference, to automatically build the segmen...

ver descrição completa

Detalhes bibliográficos
Autores: Rovira Coll, Xènia, Burguera Burguera, Antoni
Formato: artículo
Fecha de publicación:2024
País:España
Recursos:Universitat Politècnica de Catalunya (UPC)
Repositorio:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglés
OAI Identifier:oai:upcommons.upc.edu:2117/411427
Acesso em linha:https://hdl.handle.net/2117/411427
https://dx.doi.org/10.5821/iwp.2024.23.14134
Access Level:acceso abierto
Palavra-chave:Animals -- Identification
Machine learning
Instance segmentation
Deep learning
SAM
YOLO
Animals -- Identificació
Aprenentatge profund
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la imatge i del senyal vídeo
id ES_332ea8c9c8a1f55dfd3423f846737935
oai_identifier_str oai:upcommons.upc.edu:2117/411427
network_acronym_str ES
network_name_str España
repository_id_str
spelling Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detectionRovira Coll, XèniaBurguera Burguera, AntoniAnimals -- IdentificationMachine learningInstance segmentationDeep learningSAMYOLOAnimals -- IdentificacióAprenentatge profundÀrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàticÀrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la imatge i del senyal vídeoThis paper addresses the laborious, time-consuming and error- prone process of generating ground truth data to perform instance segmentation of fish in their natural habitat. Our proposal is to use the Segment Anything Model (SAM), which allows zero- shot inference, to automatically build the segmentation masks, significantly reducing the dataset creation time and enhancing scalability to larger datasets. Experimental results using You Only Look Once (YOLO) demonstrate only marginal performance differences between our approach –with segmentation masks created with no human intervention– and a standard training using a fully human-labeled dataset. The results underscore the effectiveness of the automated workflow discussed herein, showcasing substantial reduction in dataset creation time, particularly in demanding underwater scenarios.Peer ReviewedSARTI20242024-01-0120242024-07-10journal articlehttp://purl.org/coar/resource_type/c_6501NAhttp://purl.org/coar/version/c_be7fb7dd8ff6fe43info:eu-repo/semantics/articleapplication/pdfhttps://hdl.handle.net/2117/411427https://dx.doi.org/10.5821/iwp.2024.23.14134reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2Attribution-NonCommercial-NoDerivatives 4.0 Internationalhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/4114272026-05-27T15:37:01Z
dc.title.none.fl_str_mv Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
title Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
spellingShingle Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
Rovira Coll, Xènia
Animals -- Identification
Machine learning
Instance segmentation
Deep learning
SAM
YOLO
Animals -- Identificació
Aprenentatge profund
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la imatge i del senyal vídeo
title_short Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
title_full Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
title_fullStr Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
title_full_unstemmed Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
title_sort Automated mask generation for efficient YOLO-based instance segmentation in marine environments for fish detection
dc.creator.none.fl_str_mv Rovira Coll, Xènia
Burguera Burguera, Antoni
author Rovira Coll, Xènia
author_facet Rovira Coll, Xènia
Burguera Burguera, Antoni
author_role author
author2 Burguera Burguera, Antoni
author2_role author
dc.subject.none.fl_str_mv Animals -- Identification
Machine learning
Instance segmentation
Deep learning
SAM
YOLO
Animals -- Identificació
Aprenentatge profund
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la imatge i del senyal vídeo
topic Animals -- Identification
Machine learning
Instance segmentation
Deep learning
SAM
YOLO
Animals -- Identificació
Aprenentatge profund
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la imatge i del senyal vídeo
description This paper addresses the laborious, time-consuming and error- prone process of generating ground truth data to perform instance segmentation of fish in their natural habitat. Our proposal is to use the Segment Anything Model (SAM), which allows zero- shot inference, to automatically build the segmentation masks, significantly reducing the dataset creation time and enhancing scalability to larger datasets. Experimental results using You Only Look Once (YOLO) demonstrate only marginal performance differences between our approach –with segmentation masks created with no human intervention– and a standard training using a fully human-labeled dataset. The results underscore the effectiveness of the automated workflow discussed herein, showcasing substantial reduction in dataset creation time, particularly in demanding underwater scenarios.
publishDate 2024
dc.date.none.fl_str_mv 2024
2024-01-01
2024
2024-07-10
dc.type.none.fl_str_mv journal article
http://purl.org/coar/resource_type/c_6501
NA
http://purl.org/coar/version/c_be7fb7dd8ff6fe43
dc.type.openaire.fl_str_mv info:eu-repo/semantics/article
format article
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/411427
https://dx.doi.org/10.5821/iwp.2024.23.14134
url https://hdl.handle.net/2117/411427
https://dx.doi.org/10.5821/iwp.2024.23.14134
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2
Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2
Attribution-NonCommercial-NoDerivatives 4.0 International
http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv SARTI
publisher.none.fl_str_mv SARTI
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869405730223685632
score 15.812455

Registos relacionados