京东天猫商品评论爬取及分析系统

京东天猫商品评论爬取及分析系统，该系统能实时响应使用者需求抓取对应商品相关信息，并进行后续分析。
整体采用DjangoMTV进行架构，在前端引入Vue以单组件模式来设计响应式布局的template，在后端仍以Django-View为基础，配置Django自带路由映射进行渲染。 爬取模块使用scrapyd部署scrapy，并用Django的standalone模式来唤起爬虫进程。 分析模块完成分词、清洗筛选等一系列操作后，使用tf-idf算法进行关键词提取，同时借助gensim进行LDA建模分析，提取潜在主题。 前后端的数据交互使用Axios实现。数据库采用Mysql，数据抓取存储至Mysql数据库使用adbapi异步多线程提高效率。