Next-generation LLM inference: scalable, multimodal, and composable

Global interest in LLM research and development has sparked a race in both algorithmic and systems developments. The pre-training paradigm, brought forth by the scaling revolution, seems to be reaching the point of diminishing returns. As such, inference is becoming increasingly important, enabling...

ver descrição completa

Detalhes bibliográficos
Autor: Antoñanzas Acero, Jesús Maria
Tipo de documento: dissertação
Data de publicação:2025
País:España
Recursos:Universitat Politècnica de Catalunya (UPC)
Repositório:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglês
OAI Identifier:oai:upcommons.upc.edu:2117/448586
Acesso em linha:https://hdl.handle.net/2117/448586
Access Level:Acesso embargado
Palavra-chave:Machine learning
Sistemes d'IA
Inferència amb LLMs
Intel·ligència artificial
Aprenentatge automàtic
Systems for AI
LLM inference
Artificial intelligence
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
id ES_80310e58dd2cdddbbdadb61cbd42fb83
oai_identifier_str oai:upcommons.upc.edu:2117/448586
network_acronym_str ES
network_name_str España
repository_id_str
spelling Next-generation LLM inference: scalable, multimodal, and composableAntoñanzas Acero, Jesús MariaMachine learningSistemes d'IAInferència amb LLMsIntel·ligència artificialAprenentatge automàticSystems for AILLM inferenceArtificial intelligenceMachine learningAprenentatge automàticÀrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàticGlobal interest in LLM research and development has sparked a race in both algorithmic and systems developments. The pre-training paradigm, brought forth by the scaling revolution, seems to be reaching the point of diminishing returns. As such, inference is becoming increasingly important, enabling the next generation of models: multi-modal reasoners with massive context lengths. In this work, we present a production-grade LLM inference system created for the coming generation of AI applications. Designed and built from the ground-up, it's uncompromisingly efficient and scalable, supporting extreme context lengths and dynamically allocating resources across 100s of GPUs. Featuring elegant abstractions, our system is robust yet simple and advances the state-of-the-art in inference systems with novel engineering solutions.El interés global en la investigación de LLMs (Large Language Models) ha generado un gran crecimiento en desarrollos tanto algorítmicos como de sistemas. El paradigma del preentrenamiento, impulsado por la revolución del escalado, parece estar llegando a su límite. De esta forma, la inferencia está adquiriendo cada vez mayor importancia, haciendo posible la siguiente generación de modelos: razonadores multimodales con ventanas de contexto masivas. En este trabajo, presentamos un sistema de inferencia de LLMs creado para la próxima generación de aplicaciones de IA. Diseñado y construido desde cero, ofrece eficiencia y escalabilidad, a la vez que soporta ventanas de contexto extremas, asignando recursos a través de cientos de GPUs. Sus elegantes abstracciones hacen que el sistema sea robusto pero simple, y sus contribuciones técnicas avanzan el estado del arte en el campo.L’interès global en la recerca de LLMs (Large Language Models) ha causat un fort increment en els desenvolupaments tant algorítmics com de sistemes. El paradigma del pre-training, engrandit per la revolució de l’escalat, sembla que s’està apropant al seu límit. D’altra banda, la inferència s’està tornant cada cop més important, fent possible la següent generació de models: multimodals, que raonen i amb finestres de context formidables. En aquest treball presentem un sistema d’inferència per a LLMs, creat per a la següent generació d’aplicacions d’IA. Dissenyat i construït de zero, és eficient i escalable, amb suport per a finestres de context extremes i que pot assignar recursos de forma dinàmica a través de centenars de GPUs. Conté abstraccions elegants i és robust alhora que simple. Avança l’estat de la qüestió en sistemes d’inferència amb noves contribucions.Universitat Politècnica de CatalunyaTumanov, AlexeyArias Vicente, Marta20252025-06-3020252025-12-0320272027-01-01master thesishttp://purl.org/coar/resource_type/c_bdccNAhttp://purl.org/coar/version/c_be7fb7dd8ff6fe43info:eu-repo/semantics/masterThesisapplication/pdfhttps://hdl.handle.net/2117/448586reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengembargoed accesshttp://purl.org/coar/access_right/c_f1cfinfo:eu-repo/semantics/embargoedAccessoai:upcommons.upc.edu:2117/4485862026-05-27T15:37:01Z
dc.title.none.fl_str_mv Next-generation LLM inference: scalable, multimodal, and composable
title Next-generation LLM inference: scalable, multimodal, and composable
spellingShingle Next-generation LLM inference: scalable, multimodal, and composable
Antoñanzas Acero, Jesús Maria
Machine learning
Sistemes d'IA
Inferència amb LLMs
Intel·ligència artificial
Aprenentatge automàtic
Systems for AI
LLM inference
Artificial intelligence
Machine learning
Aprenentatge automàtic
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
title_short Next-generation LLM inference: scalable, multimodal, and composable
title_full Next-generation LLM inference: scalable, multimodal, and composable
title_fullStr Next-generation LLM inference: scalable, multimodal, and composable
title_full_unstemmed Next-generation LLM inference: scalable, multimodal, and composable
title_sort Next-generation LLM inference: scalable, multimodal, and composable
dc.creator.none.fl_str_mv Antoñanzas Acero, Jesús Maria
author Antoñanzas Acero, Jesús Maria
author_facet Antoñanzas Acero, Jesús Maria
author_role author
dc.contributor.none.fl_str_mv Tumanov, Alexey
Arias Vicente, Marta
dc.subject.none.fl_str_mv Machine learning
Sistemes d'IA
Inferència amb LLMs
Intel·ligència artificial
Aprenentatge automàtic
Systems for AI
LLM inference
Artificial intelligence
Machine learning
Aprenentatge automàtic
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
topic Machine learning
Sistemes d'IA
Inferència amb LLMs
Intel·ligència artificial
Aprenentatge automàtic
Systems for AI
LLM inference
Artificial intelligence
Machine learning
Aprenentatge automàtic
Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Aprenentatge automàtic
description Global interest in LLM research and development has sparked a race in both algorithmic and systems developments. The pre-training paradigm, brought forth by the scaling revolution, seems to be reaching the point of diminishing returns. As such, inference is becoming increasingly important, enabling the next generation of models: multi-modal reasoners with massive context lengths. In this work, we present a production-grade LLM inference system created for the coming generation of AI applications. Designed and built from the ground-up, it's uncompromisingly efficient and scalable, supporting extreme context lengths and dynamically allocating resources across 100s of GPUs. Featuring elegant abstractions, our system is robust yet simple and advances the state-of-the-art in inference systems with novel engineering solutions.
publishDate 2025
dc.date.none.fl_str_mv 2025
2025-06-30
2025
2025-12-03
2027
2027-01-01
dc.type.none.fl_str_mv master thesis
http://purl.org/coar/resource_type/c_bdcc
NA
http://purl.org/coar/version/c_be7fb7dd8ff6fe43
dc.type.openaire.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/448586
url https://hdl.handle.net/2117/448586
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv embargoed access
http://purl.org/coar/access_right/c_f1cf
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/embargoedAccess
rights_invalid_str_mv embargoed access
http://purl.org/coar/access_right/c_f1cf
eu_rights_str_mv embargoedAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de Catalunya
publisher.none.fl_str_mv Universitat Politècnica de Catalunya
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869411880376729600
score 15,812455

Registros relacionados