[en] AUTOMATIC GENERATION OF BENCHMARKS FOR EVALUATING KEYWORD AND NATURAL LANGUAGE INTERFACES TO RDF DATASETS
[pt] Os sistemas de busca textual fornecem aos usuários uma alternativa amigável para acessar datasets RDF (Resource Description Framework). A avaliação de desempenho de tais sistemas requer benchmarks adequados, consistindo de datasets RDF, consultas e respectivas respostas esperadas. No entanto, o...
| Autor: | |
|---|---|
| Tipo de documento: | tese |
| Estado: | Versão publicada |
| Data de publicação: | 2022 |
| País: | Brasil |
| Recursos: | Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
| Repositório: | Repositório Institucional da PUC-RIO (Projeto Maxwell) |
| Idioma: | inglês |
| OAI Identifier: | oai:MAXWELL.puc-rio.br:61091 |
| Acesso em linha: | https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61091&idi=1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=61091&idi=2 http://doi.org/10.17771/PUCRio.acad.61091 |
| Access Level: | Acceso aberto |
| Palavra-chave: | [pt] BENCHMARK [pt] INTERFACE EM LINGUAGEM NATURAL [pt] DATASETS [en] BENCHMARK [en] NATURAL LANGUAGE INTERFACE [en] DATASETS |
| Resumo: | [pt] Os sistemas de busca textual fornecem aos usuários uma alternativa amigável para acessar datasets RDF (Resource Description Framework). A avaliação de desempenho de tais sistemas requer benchmarks adequados, consistindo de datasets RDF, consultas e respectivas respostas esperadas. No entanto, os benchmarks disponíveis geralmente possuem poucas consultas e respostas incompletas, principalmente porque são construídos manualmente com a ajuda de especialistas. A contribuição central desta tese é um método para construir benchmarks automaticamente, com um maior número de consultas e com respostas mais completas. O método proposto aplica-se tanto a consultas baseadas em palavras-chave quanto em linguagem natural e possui duas partes: geração de consultas e geração de respostas. A geração de consultas seleciona um conjunto de entidades relevantes, chamadas de indutores, e, para cada uma, heurísticas orientam o processo de extração de consultas relacionadas. A geração de respostas recebe as consultas produzidas no passo anterior e computa geradores de solução (SG), subgrafos do dataset original contendo diferentes respostas às consultas. Heurísticas também orientam a construção dos SGs evitando o desperdiço de recursos computacionais na geração de respostas irrelevantes. |
|---|