Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce

Vista sencilla de ítem
dc.contributor.advisorCalderón Benavides, Liliana
dc.contributor.authorGalvis Quintero, Jorge Luisspa
dc.contributor.cvlacCalderón Benavides, Liliana [0000068900]
dc.contributor.googlescholarCalderón Benavides, Liliana [XihGBWoAAAAJ]
dc.contributor.orcidCalderón Benavides, Liliana [0000-0001-8658-9036]
dc.contributor.researchgroupGrupo de Investigación Tecnologías de Información - GTIspa
dc.contributor.researchgroupGrupo de Investigaciones Clínicasspa
dc.coverageBucaramanga (Colombia)spa
dc.coverage.campusUNAB Campus Bucaramangaspa
dc.date.accessioned2020-06-26T21:35:05Z
dc.date.available2020-06-26T21:35:05Z
dc.date.issued2015
dc.degree.nameMagíster en Software Librespa
dc.description.abstractEn esta investigación se construyó una aplicación Web que permite hacer seguimiento de los productos ofertados en cuatro plataformas de comercio electrónico con presencia en Colombia (Mercado Libre Colombia, Amazon, eBay y Linio Colombia) por un periodo específico de tiempo, con el objetivo de predecir sus comportamientos en el futuro reciente y comparar estos contra los comportamientos reales. El problema que intenta resolver esta investigación es: ¿cómo determinar de forma automática las tendencias comerciales que surgen en sitios de comercio electrónico con presencia en Colombia? El seguimiento a los productos se hizo a través de tareas programadas (crons) que extraen datos específicos (precio, cantidad vendida, cantidad disponible) de dichas plataformas a través del consumo de sus APIs o con la técnica de Web Scraping, una vez recolectados los datos y, con el método estadístico de los mínimos cuadrados, se proyectó su comportamiento por el mismo nú - mero de días que duró su recolección, cuando una tarea programada termina su objetivo de extracción, se visualizan los resultados con respecto a las variables extraídas en la página de estadística individual de cada producto. Los entregables obtenidos como resultado de la ejecución de las fases de la investigación fueron: La especificación DOM/API de cada sitio seleccionado: contiene una descripción general del funcionamiento de cada sitio seleccionado a nivel de API o a nivel de DOM, esto de acuerdo a la estrategia de extracción seleccionada para cada sitio. Modelo del repositorio de datos: describe el modelo utilizado para almacenar los datos a extraer y los datos a graficar. Scripts de extracción y proyección de comportamientos: son un conjunto de programas esvii critos en Python que permiten la extracción de datos desde los sitios seleccionados, además de calcular su comportamiento en el futuro reciente. Interfaz Web: es una aplicación Web escrita en el framework de desarrollo Django, que permite visualizar los resultados que calcula el script de proyección de comportamiento de productos, además permite administrar las tareas programadas, los sitios y las categorías. Palabras claves: Tendencias comerciales, comercio electrónico, búsqueda de tendencias comerciales, tendencias comerciales en Internet, análisis de tendencias de e-commerce, identificación automática de tendencias comerciales, e-commerce tendencias, repositorios de tendencias comerciales, software de búsqueda de tendencias comerciales, software de tendencias comercia - les, algoritmos de tendencias comerciales, método de los mínimos cuadrados.spa
dc.description.abstractenglishIn this research, a Web application was built that allows monitoring of the products offered on four e-commerce platforms with a presence in Colombia (Mercado Libre Colombia, Amazon, eBay and Linio Colombia) for a specific period of time, with the aim of predicting their behavior in the recent future and comparing these against actual behaviors. The problem that this research tries to solve is: how to automatically determine the trading trends that arise on trading sites with a presence in Colombia? The monitoring of the products was done through scheduled tasks (crons) that extract data (price, quantity sold, quantity available) of said platforms through the consumption of its APIs or with the Web Scraping technique, once the data has been collected and, with the statistical method of least squares, its behavior was projected by the same number - number of days your collection lasted, when a scheduled task finishes its extraction goal, the results are displayed with respect to the extracted variables on the statistics page individually for each product. The deliverables obtained as a result of the execution of the research phases were: The DOM/API specification of each selected site: contains a general description of the operation of each site selected at the API level or at the DOM level, this according to the extraction strategy selected for each site. Data repository model: describes the model used to store the data to be extracted and the data to be plotted. Behavior extraction and projection scripts: they are a set of programs esvii scripts in Python that allow the extraction of data from the selected sites, in addition to calculate its behavior in the recent future. Web interface: it is a Web application written in the Django development framework, which allows view the results calculated by the product behavior projection script, It also allows you to manage scheduled tasks, sites and categories. Keywords: Business trends, electronic commerce, search for business trends, business trends on the Internet, analysis of e-commerce trends, identification automatic commercial trends, e-commerce trends, trend repositories trading, trading trend search software, trading trend software - les, trading trend algorithms, least squares method.eng
dc.description.degreelevelMaestríaspa
dc.description.learningmodalityModalidad Presencialspa
dc.description.sponsorshipUniversitat Oberta de Catalunya UOCspa
dc.description.tableofcontents1. Introducción 17 1.1 Antecedentes 17 1.2 Definición del problema 19 1.3 Justificación 19 1.4 Objetivos 20 1.4.1 Objetivo general 20 1.4.2 Objetivos específicos 20 1.5 Estructura del documento 20 2. Revisión bibliográfica 23 2.1 Estado del Arte 23 2.1.1 eCommerce, comportamientos y tendencias 24 2.1.2 eCommerce y clasificación 31 2.1.3 Consulta y extracción Web 32 2.2 Marco Teórico 35 2.2.1 e-Commerce 37 2.2.2 Tendencias comerciales 38 2.2.3 Information Retrieval (IR, recuperación de información) 38 2.2.4 Application Programming Interface (API) 38 2.2.5 Crawler 39 2.2.6 Buscadores Web 41 2.2.7 Ingeniería de Software 42 .2.8 Metodologías ágiles 46 2.2.9 Métodos de tendencia lineal 46 2.2.9.1 Método gráfico (diagrama de dispersión) 46 2.2.9.2 Regresión lineal simple 47 2.2.9.3 Regresión lineal por mínimos cuadrados 47 3. Marco Legal 49 4. Método de la Investigación 53 4.1 Enfoque metodológico 53 4.2 Definición de población y muestra 53 4.3 Descripción general de los sitios 54 4.3.1 Mercado libre Colombia. 54 4.3.2 Tiendas Monomi 55 4.3.3 OLX Colombia 55 4.3.4 Linio Colombia 55 4.3.5 eBay 55 4.3.6 Amazon 55 4.3.7 Tmart 55 4.3.8 BangGood 56 4.3.9 Dafiti 56 4.3.10 Éxito. 56 4.3.11 Falabella Colombia 56 4.3.12 Alibaba 56 4.3.13 Alkosto 56 .3.14 HomeCenter 57 4.4 Selección de sitios Web 57 4.4.1 Criterios de selección para los Sitios Web de comercio electrónico a modelar 57 4.4.2 Método de selección de sitios: matriz de selección 58 4.4.3 Proceso de selección de sitios de comercio electrónico 59 4.5 Técnicas de Recolección de Datos 68 4.6 Método de Proyección de Comportamiento: Mínimos Cuadrados 69 4.6.1 Criterios de selección de métodos estadísticos. 69 4.6.2 Selección del método estadístico. 70 4.7 Fases desarrolladas para la construcción del producto de software 70 4.8 Algunos Aspectos de Diseño 72 4.9 Plan de Presentación de Resultados 73 5. Resultados de la Investigación 74 5.1 Análisis DOM y API de los Sitios Seleccionados 74 5.1.1 Mercado libre 74 5.1.2 eBay 78 5.1.3 Amazon 81 5.1.4 Linio Colombia 86 5.2 Modelo del Repositorio de Datos 89 5.3 Aspectos de Diseño de la Aplicación 91 5.3.1 Aspectos visuales de la interfaz Web de consulta 91 5.3.2 Aspectos visuales de la interfaz Web de administración 93 5.3.3 Modelo de clases de la aplicación 95 5.3.4 Consideraciones de despliegue y código fuente 99 5.3.5 Ejemplos de categorías y productos 99 5.3.6 Descripción y uso de la herramienta 102 5.3.6.1 Listar sitios 102 5.3.6.2 Listar categorías 103 5.3.6.3 Listar tareas programadas 104 5.3.6.4 Listar productos 105 5.4 Descripción de resultados para un producto específico 107 6. Conclusiones 113 7. Recomendaciones y Trabajos Futuros 116 Bibliografía 118 Anexos
dc.format.mimetypeapplication/pdfspa
dc.identifier.instnameinstname:Universidad Autónoma de Bucaramanga - UNABspa
dc.identifier.reponamereponame:Repositorio Institucional UNABspa
dc.identifier.urihttp://hdl.handle.net/20.500.12749/3533
dc.language.isospaspa
dc.publisher.facultyFacultad Ingenieríaspa
dc.publisher.grantorUniversidad Autónoma de Bucaramanga UNABspa
dc.publisher.programMaestría en Software Librespa
dc.relation.referencesGalvis Quintero, Jorge Luis (2015). Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce. Bucaramanga (Colombia) : Universidad Autónoma de Bucaramanga UNAB, Universitat Oberta de Catalunya UOCspa
dc.relation.referencesAdam, Z. (2003). e-Commerce and e-Business. E-primers. e-ASEAN Task Force, UNDP-APDIP. Modern Information Retrieval: Pearson Education.
dc.relation.referencesAponte, F. (2011). Prototipo para la detección automática de perfiles de navegación de usuarios de una empresa aplicando técnicas de minería de datos y algoritmos de aprendizaje. Universidad Autónoma de Bucaramanga: Bucaramanga.
dc.relation.referencesBaeza, R., & Ribeiro, B. (2007). Modern Information Retrieval: Pearson Education.
dc.relation.referencesBaeza, R. (2011). Modern Information Retrieval, the concepts and t e chnology behind search. (2 edición). Inglaterra: Pearson Education
dc.relation.referencesBaeza, R. (2006). The intention behind web queries. In Crestani, F., Ferragina, P., and Sanderson, M., editors, String Processing and Information Retrieval, volume 4209 of Lecture Notes in Computer Science, chapter 9, pages 98–109. Springer Berlin Heidelberg, Berlin: Heidelberg
dc.relation.referencesBlankenship, J. (2011). Pro Agile .NET Development with Scrum. New York: Apress
dc.relation.referencesBootstrap. (2015). Página Web. Recuperado de http://getbootstrap.com/.
dc.relation.referencesCaicedo, J. (2008). Aplicación de técnicas de web mining para la búsqueda de patrones de comportamiento en clientes dentro de la web en la Universidad de Nariño. Universidad Antonio Nariño: San Juan de Pasto.
dc.relation.referencesCalderón, L. (2011). Unsupervised Identification of the User’s Query Intent in Web Search. Universitat Pompeu Fabra: Barcelona
dc.relation.referencesCámara Colombiana de Comercio Electrónico (2014). Página Web. Recuperado de: http://ccce. org.co/
dc.relation.referencesCe r i , A. ( 2 0 1 3 ) . Web Information Retrieval. Springer. Recuperado de http://itebooks. info/read/2816/ comScore (2014). Página Web. Recuperado de: http://www.comscore.com/
dc.relation.referencesDan, Shen., & Ruvini, Jean., & Somaiya, Manas., & Sundaresan, Neel. (2011). Item Categorization in the e-Commerce Domain. eBay Research Labs. San José: USA.
dc.relation.referencesDa-sheng, W., & Qin-fen, Y., & Li-juan, L. (2009). An Efficient Text Classification Algorithm in E-commerce Application. School of Information Engineering, Zhejiang Forestry College, Lin'an, Zhejiang: China.
dc.relation.referencesDebian (2015). Página Web. Recuperado de https://www.debian.org/ D i a g r a m a d e D i s p e r s i ó n ( 2 0 1 5 ) . P á g i n a We b . R e c u p e r a d o d e http://www.ub.edu/aplica_infor/spss/cap3-7.htm
dc.relation.referencesDjango (2015). Página Web. Recuperado de https://djangoproject.com/
dc.relation.referencesDocumentación API Mercado Libre. (2014). Página Web. Recuperado de http://developers.mercadolibre. com
dc.relation.referencesD o c u m e n t a c i ó n A P I e B a y . ( 2 0 1 4 ) . P á g i n a We b . http://go.developer.ebay.com/developers/ebay/documentation-tools
dc.relation.referencesDocumentación API Amazon. (2014). Página Web. http://docs.aws.amazon.com/AWSECommerceService/ latest/DG/Welcome.html
dc.relation.referencesDuckDuck. (2104). Motor de búsqueda. Recuperado de: https://duckduckgo.com/
dc.relation.referencesDumitru, H., Gibiec, M., Hariri, N., Huang, J. C., Mobasher, B., Herrera, C. C., and Mirakhorli, M. (2011). On-demand feature recommendations derived from mining public product descriptions. In Proceeding of the 33rd international conference on Software engineering, ICSE New York: USA
dc.relation.referenceseBay. (2014). Página Web. Recuperado de: http://www.ebay.com/
dc.relation.referencesE-commerce Application. School of Information Engineering, Zhejiang Forestry College, Lin'an, Zhejiang.
dc.relation.referencesFlórez, E. (2002).Prototipo para la detección automática de perfiles de usuarios. Universidad Autónoma de Bucaramanga, Bucaramanga.
dc.relation.referencesGginx (2015). Página Web. Recuperado de: https://www.nginx.org/en/
dc.relation.referencesGunicorn (2015). Página Web. Recuperado de: https://www.gunicorn.org/
dc.relation.referencesHafernik, Carolyn., & Jansen, Bernard. (2013). Understanding the specificity of web search queries. The Pennsylvania State University: USA.
dc.relation.referencesHTML. (2015). Página Web. Recuperado de https://developer.mozilla.org/en- US/docs/Web/HTML.
dc.relation.referencesJansen, B. (2006). How are we searching the world wide web?: a comparison of nine search engine transaction logs. Inf. Process.
dc.relation.referencesJSON. (2015). Página Web. Recuperado de http://www.json.org/.
dc.relation.referencesKumar, Sanjay., & Rizvi, SAM. (2011). Information Extraction using Web Usage Mining, Web Scrapping and Semantic Annotation. University School of Information Technology, GGS Indraprastha University, New Delhi: New Delhi
dc.relation.referencesLaudon, K., & Traver. C. (2011). E-Commerce Businness, Technology, Society. Boston: Prentice Hall.
dc.relation.referencesLaudon, Kennet C. Guercio Traver, Carol. (2011). E-commerce 2011: Business, Technology, Society. Pearson, Pretince Hall.
dc.relation.referencesLewandowski, Dirk. (2011). The Influence of Commercial Intent of Search Results on Their Perceived Relevance. Hamburg: University of Applied Sciences.
dc.relation.referencesLinio Colombia. (2014). Página Web. Recuperado de: http://www.linio.com.co/
dc.relation.referencesLinoff, G., & Berry, M. (2011). Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management. Wiley.
dc.relation.referencesLong, Bo., & Bian, J., & Dong, Anlei., & Chang, Yi. (2012). Enhancing Product Search by Best-Selling Prediction in eCommerce. Yahoo! Labs: USA.
dc.relation.referencesManning, Christoper D., & Raghavan, Prabhakar., & Schütze, Hinrich. (2009). An Introduction to Information Retrieval. (Online edition) .Cambridge UP.
dc.relation.referencesMartínez, Ciro. (2012). Estadística y muestreo. Bogotá: Ecoe Ediciones.
dc.relation.referencesMcCreary, D. Kelly, Ann. (2013). Making Sense of NoSQL. USA: Manning Publications.
dc.relation.referencesMcKinney, Wes. (2012). Python for Data Analysis; Agile Tools for Real World Data. O'Really Media.
dc.relation.referencesMejía Orozco, W. (2011). Prototipo computacional para identificar patrones de comportamiento de usuarios de servicio a domicilio aplicando minería de datos. Universidad Autónoma de Bucaramanga. Valledupar.
dc.relation.referencesMercado Libre. (2014). (Página Web). Recuperado de http://www.mercadolibre.com.co/
dc.relation.referencesM í n i m o s C u a d r a d o s . ( 2 0 1 5 ) . P á g i n a We b . R e c u p e r a d o d e http://catarina.udlap.mx/u_dl_a/tales/documentos/lad/mercado_g_ja/apendiceC.pdf
dc.relation.referencesMongoDB. (2015). Página Web. Recuperado de http://www.mongodb.org/
dc.relation.referencesMonomi. (2014). Página Web. Recuperado de: http://monomi.co/
dc.relation.referencesMurphy, J. (1999). Technical analysis of the financial markets.New York: Pretince Hall.
dc.relation.referencesNa, Li., & Geng, Peng., & Hang, Chen., & Jiaxing, Bao. (2013) A Prediction Study on E-commerce Orders Based on Site Search Data. University of Chinese Academy of Sciences, UCAS. Beijing, China.
dc.relation.referencesNewsha Ghoreishi, Seyyedeh., & Sun, Aixin. (2013). Predicting Event-Relatedness of Popular Queries. School of Computer Engineering, Nanyang Technological University. Singapore.
dc.relation.referencesNumpy. (2015). Página Web. Recuperado de http://www.numpy.org/
dc.relation.referencesOLX. (2014). Página Web. Recuperado de www.olx.com
dc.relation.referencesOuyang, L., & Dong, R., & Zou, B. (2009). Information Extraction Based on Table Area Locating for E-Commerce Websites. Central: South University Changsha
dc.relation.referencesParikh, N. & Sriram, P. & Al Hasan, M. (2013). On segmentation of eCommerce Queries. Ebay Inc. San Jose, CA. Indiana University – Purdue University, Indianapolis, IN. USA.
dc.relation.referencesPitt, David. (2014). Modern Web Essentials, using JavaScript and HTML5. Kansas: Keyhole Software.
dc.relation.referencesPostgreSQL (2015). Página Web. Recuperado de https://www.postgresql.org/.
dc.relation.referencesPython Library for Amazon Product Adversiting API. (2014). Página Web. Recuperado de https://github.com/yoavaviram/python-amazon-simple-product-api.
dc.relation.referencesRakuten. (2014). Página Web. Recuperado de http://www.rakuten.co.jp/ http://global.rakuten.- com/en/.
dc.relation.referencesREST Tutorial (2015). Página Web. Recuperado de http://www.restapitutorial.com/.
dc.relation.referencesREST Vs SOAP (2015). Página Web. Recuperado de http://spf13.com/post/soap-vs-rest.
dc.relation.referencesRegresión Lineal Simple (2015). Página Web. Recuperado de http://www.vitutor.net/2/16/regresion_ lineal.html
dc.relation.referencesSchema of Product. (2014). Página Web. Recuperado de http://schema.org/Product
dc.relation.referencesSchmarzo, B. (2013). Big Data; Understanding How Data Powers Big Business. Wiley.
dc.relation.referencesSchrenk, M. (2012). Webbots, Spiders, and Screen Scrapers; A Guide to Developing Internet Agents with PHP/CURL: Starch Press.
dc.relation.referencesScrapy. (2015). Página Web. Recuperado de http://scrapy.org/
dc.relation.referencesSDK Python eBay. (2015). Página Web. Recuperado de https://github.com/timotheus/ebaysdkpython.
dc.relation.referencesSDK Python Mercado Libre. (2015). Página Web. Recuperado de http://github.com/mercadolibre/ python-sdk
dc.relation.referencesShen, Zegian., & Sundaresan, Neel. (2011). eBay: an E-commerce marketplace as a complex network. eBay Research Labs. San Jose: CA, USA.
dc.relation.referencesSieg, A., Mobasher, B., and Burke, R. (2007). Representing context in web search with ontological user profiles. In Kokinov, B., Richardson, D. C., Roth-Berghofer, T. R., Vieu L.
dc.relation.referencesSpink, A., Jansen, B. J., Wolfram, D., and Saracevic, T. (2002). From E-Sex to E-Commerce: Web search changes. Computer..
dc.relation.referencesStella (2015). Página Web. Recuperado de https://github.com/jorlugaqui/stella
dc.relation.referencesTaobao. (2014). Página Web. Recuperado de http://www.taobao.com/market/global/index_new.- php
dc.relation.referencesUbuntu (2015). Página Web. Recuperado de https://www.ubuntu.com/
dc.relation.referencesUTF-8. (2015). Página Web. Recuperado de http://tools.ietf.org/html/rfc3629
dc.relation.referencesUsability. (2014). Pagina web. Recuperado de: Usability Best Practices For eCommerce Web- 121 sites: http://spyrestudios.com/usability-best-practices-for-ecommerce-websites/
dc.relation.referencesXiaojing, Liu., & Liwei, Zhang., & Weiqing, Wang. (2012). The Mechanism Analysis of the Impact of Ecommerce to the Changing of Economic Growth Mode. ChangChun University of Chinese Medicine. Inner Mongolia Academy of Social Science Institute of Urban Development. Shijiazhuang City Vocational College: China
dc.relation.referencesXML. (2015). Página Web. Recuperado de http://www.w3schools.com/xml/.
dc.relation.referencesZhou, Y., Mobasher, B. (2006). Web User Segmentation Based on a Mixture of Factor Analyzers. K. Bauknecht: Berlin
dc.rights.accessrightsinfo:eu-repo/semantics/openAccessspa
dc.rights.accessrightshttp://purl.org/coar/access_right/c_abf2spa
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 2.5 Colombia*
dc.rights.localAbierto (Texto Completo)spa
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/2.5/co/*
dc.subject.keywordsSystems Engineeringeng
dc.subject.keywordsFree softwareeng
dc.subject.keywordsElectronic commerceeng
dc.subject.keywordsInvestigationseng
dc.subject.keywordsAnalysiseng
dc.subject.lembIngeniería de sistemasspa
dc.subject.lembSoftware librespa
dc.subject.lembComercio electrónicospa
dc.subject.lembInvestigacionesspa
dc.subject.lembAnálisisspa
dc.titleIdentificación automática de tendencias comerciales a través del análisis de sitios de ecommercespa
dc.title.translatedAutomatic identification of business trends through analysis of e-commerce siteseng
dc.type.coarhttp://purl.org/coar/resource_type/c_bdcc
dc.type.driverinfo:eu-repo/semantics/masterThesis
dc.type.hasversioninfo:eu-repo/semantics/acceptedVersion
dc.type.localTesisspa
dc.type.redcolhttp://purl.org/redcol/resource_type/TM

Archivos

Bloque original

Mostrando 1 - 3 de 3
Miniatura
Nombre:
2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf
Tamaño:
4.2 MB
Formato:
Adobe Portable Document Format
Descripción:
Tesis
Descargar
Miniatura
Nombre:
2015_Articulo_ Galvis_Quintero_Jorge_Luis.pdf
Tamaño:
553.13 KB
Formato:
Adobe Portable Document Format
Descripción:
Artículo
Descargar
Miniatura
Nombre:
2015_Anexos_Galvis_Quintero_Jorge_Luis.zip
Tamaño:
1.97 MB
Formato:
Unknown data format
Descripción:
Anexos
Descargar

Colecciones

Maestría en Software Libre
Grupo de Investigaciones Clínicas
Grupo de Investigación Tecnologías de Información - GTI