[en] A FRAMEWORK FOR THE CONSTRUCTION OF MEDIATORS OFFERING DEDUPLICATION
[pt] À medida em que aplicações web que combinam dados de diferentes fontes ganham importância, soluções para a detecção online de dados duplicados tornam-se centrais. A maioria das técnicas existentes são baseadas em algoritmos de aprendizado de máquina, que dependem do uso de bases de treino criad...
| Autor: | |
|---|---|
| Tipo de documento: | tese |
| Estado: | Versão publicada |
| Data de publicação: | 2011 |
| País: | Brasil |
| Recursos: | Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
| Repositório: | Repositório Institucional da PUC-RIO (Projeto Maxwell) |
| Idioma: | português |
| OAI Identifier: | oai:MAXWELL.puc-rio.br:16775 |
| Acesso em linha: | https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=16775&idi=1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=16775&idi=2 http://doi.org/10.17771/PUCRio.acad.16775 |
| Access Level: | Acceso aberto |
| Palavra-chave: | [pt] FRAMEWORK [pt] INTEGRACAO DE DADOS [pt] WEB [en] FRAMEWORK [en] DATA INTEGRATION [en] WEB |
| Resumo: | [pt] À medida em que aplicações web que combinam dados de diferentes fontes ganham importância, soluções para a detecção online de dados duplicados tornam-se centrais. A maioria das técnicas existentes são baseadas em algoritmos de aprendizado de máquina, que dependem do uso de bases de treino criadas manualmente. Estas soluções não são adequadas no caso da Deep Web onde, de modo geral, existe pouca informação acerca do tamanho das fontes de dados, da volatilidade dos mesmos e do fato de que a obtenção de um conjunto de dados relevante para o treinamento é uma tarefa difícil. Nesta dissertação propomos uma estratégia para extração (scraping), detecção de duplicatas e incorporação de dados resultantes de consultas realizadas em bancos de dados na Deep Web. Nossa abordagem não requer o uso de conjuntos de testes previamente definidos, mas utiliza uma combinação de um classificador baseado no Vector Space Model, com funções de cálculo de similaridade para prover uma solução viável. Para ilustrar nossa proposta, nós apresentamos um estudo de caso onde o framework é instanciado para uma aplicação do domínio dos vinhos. |
|---|