基于(anyproxy)中间人注入方式,抓取微信公众号文章

wechat_sprider

基于(anyproxy)中间人注入方式,抓取微信公众号文章列表,阅读数,点赞数,评论列表

#快速启动

1 依赖安装

npm install 2 生成anyproxy证书 进入项目根目录

cd node_modules/anyproxy/bin/ node anyproxu-ca 3 启动

Book-Air:wechat_sprider chen$ node index.js [AnyProxy Log][2019-09-06 23:58:21]: throttle :10000kb/s [2019-09-06 23:58:21 <lvl:4> ]<Parser handler> Load [article_list] success [2019-09-06 23:58:21 <lvl:4> ]<Mysql connection Success> [AnyProxy Log][2019-09-06 23:58:21]: Http proxy started on port 8001 [AnyProxy Log][2019-09-06 23:58:21]: web interface started on port 8002 [AnyProxy Log][2019-09-06 23:58:21]: Active rule is: 抓取微信公众号历史文章 proxyServer is ready 4 证书下载,安装 (手机和电脑要在同一局域网下)

手机浏览器访问:http://ip:8002/ 点击RootCA > download。然后进行证书安装

如果是IOS>=10.3系统,设置->通用->关于本机->证书信任设置 中把AnyProxy证书的开关打开

5 手机连接代理 ifconfig/ipconfig 查看电脑内网ip (不懂怎么看的,google去~) 手机打开 设置>wifi>高级>代理设置>手动> ip：电脑内网ip 端口：8001 6 数据库配置 sql文件存放在/sql/wechat_article.sql 导入本地数据库 打开配置文件 /config/config.js 找到DB_CONFIG,配置自己的数据库信息 7 打开微信,访问微信公众号,打开文章列表

连接成功的话,在文章列表页面会出现 <请翻页,以便数据采集>字样。手动往下滑动,即会自动将采集到的数据保存至mysql

仅是业余时间编写的demo,可能存在很多问题,仅供参考