Comparativa de técnicas de análisis de sentimiento en contextos competitivos
Cada vez es más común utilizar sistemas automáticos como IBM Watson para tareas tales como detectar la opinión en textos, el llamado análisis de sentimiento. Estos sistemas reemplazan a los modelos específicos en los que se seleccionaba un subconjunto de textos que se etiquetaban manualmente para lu...
| Autor: | |
|---|---|
| Formato: | tesis de maestría |
| Fecha de publicación: | 2021 |
| País: | España |
| Recursos: | Universidad Complutense de Madrid (UCM) |
| Repositorio: | Docta Complutense |
| Idioma: | español |
| OAI Identifier: | oai:docta.ucm.es:20.500.14352/5122 |
| Acesso em linha: | https://hdl.handle.net/20.500.14352/5122 |
| Access Level: | acceso abierto |
| Palavra-chave: | 004(043.3) Análisis de sentimiento CRISP-DM IBM Watson Kappa de Cohen Cohen’s Kappa Sentiment analysis Informática (Informática) 1203.17 Informática |
| Resumo: | Cada vez es más común utilizar sistemas automáticos como IBM Watson para tareas tales como detectar la opinión en textos, el llamado análisis de sentimiento. Estos sistemas reemplazan a los modelos específicos en los que se seleccionaba un subconjunto de textos que se etiquetaban manualmente para luego generar un modelo para cada corpus concreto. En este trabajo mostramos experimentalmente que, a pesar de los avances logrados por estos sistemas automáticos, la generación de modelos con entrenamiento manual sigue resultando útil en ciertas situaciones. Para ello hemos elegido textos de dos tipos de ejemplos: un primer tipo al que llamamos de contexto competitivo que incluye comentarios en redes sociales acerca de acontecimientos como procesos electorales, y un segundo tipo que incluye reseñas online acerca de productos o servicios. Nuestros resultados concluyen que incluso un método de clasificación sencillo basado en el entrenamiento manual puede superar la eficiencia de IBM Watson cuando se consideran ejemplos del primer tipo, mientras que IBM Watson sí supera a este método entrenado manualmente en los casos del segundo tipo. Además, analizamos varios factores que pueden afectar a los resultados de estos experimentos, descartando la influencia en nuestros ejemplos de aspectos tales como la complejidad del texto o los errores ortográficos. También examinamos el papel de elementos específicos de las redes sociales y en particular de los tweets, tales como hashtags, menciones o enlaces externos, encontrando que estos elementos sirven para transmitir al menos parte del contexto que Watson no puede detectar. Como contribución adicional que también merece ser comentada, presentamos una nueva métrica basada en la popular Kappa de Cohen a la que hemos llamado Kappa Penalizada. Aunque ya existen variantes de Kappa que buscan penalizar el resultado de Kappa teniendo en cuenta la distancia entre el valor predicho y el real, hemos encontrado que estas propuestas tienen un comportamiento anómalo al ser sus valores a menudo mayores que el valor de la Kappa original. Nuestra propuesta reduce significativamente el número de veces que esto sucede. |
|---|