查看: 1937|回复: 0

[帮助] 关于使用夜神模拟器操作微信公众号爬虫(一)

23

主题

504

帖子

3196

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
3196

论坛元老勤奋版主

夜神-迪迦 发表于 2019-1-23 15:02:49 | 显示全部楼层 |阅读模式
本帖最后由 迪迦 于 2019-1-25 17:21 编辑

简介:微信爬虫,微信爬取公众号的历史信息 是很常见的获取信息手段。本期我们将使用夜神模拟器模拟安卓手机设备,完成相关操作。
           需要用到的工具:
  •                                   夜神模拟器   6.2.6.3                                          
  •                                   NodeJs        8.14.1
  •                                   AnyProxy
  •                                   ADB工具包  Android Debug Bridge version 1.0.40
  •                                   Python        3.6.8

此教程会有分成几节来写。本节主要记录:使用Node环境下安装Anyproxy,在夜神模拟器内安装证书,成为受监听设备。
                                         第二节记录:   夜神模拟器打开桥接模式,设置监听端口,在AnyProxy界面查看到模拟器内应用相关数据请求
                                         第三节记录:   简要说明夜神模拟器Adb常用命令,通过Python脚本模拟在微信内的浏览公众号操作
                                         第四节记录:   分析拦截得到的相关请求,编写爬虫命令,获得和保存具体数据(第四节会视情况是否放出,如风头比较紧~~~)
                                       
教程环境为win10    读者需要一定软件工具使用经验

重要提示:通过此教程您能获得的经验
                                         1.  通过第一节 第二节 足够解释类似监听相关软件如Fiddler配合模拟器的相关使用方法,使用AnyProxy是因为更好用
                                         2.  通过第三节             获得夜神模拟器ADB相关命令使用举例,如左右滑动、点击、下拉
                                         3.  第四节不一定会有详细代码,但会对get请求进行分析,即便是读者自行编码,进行公众号爬虫,也只是临门一脚而已



第一节正文开始:

                                     我们的目标是使用AnyProxy监听模拟器。                                                                          
                                              因此先安装AnyProxy,使其可用,还需要其他的东西:   
  •                                    先安装NodeJs       anyproxy需要node环境
                                                          下载 | Node.js:https://nodejs.org/zh-cn/download/                                                         
                                                                   安装完成后,cmd窗口下执行如下命令能正常显示版本号即可:     
                                                          node --version
  •                                    安装npm               npm用来管理node
                                                         cmd窗口下 输入如下命令进行安装:
                                                          apt install npm
                                                         检查是否安装完成:
                                                          npm --version

  •                                    用npm安装anyproxy
                                                        cmd窗口下 输入如下命令进行安装:
                                                          npm install anyproxy -g
                                                       检查是否安装完成:
                                                         anyproxy --version
安装状态.png


      启动AnyProxy
  •                                  cmd窗口下直接输入 anyproxy  
  •                                  cmd窗口下直接输入 anyproxy -i 可监听https,此教程内我们需要使用这种

启动anyproxy.png


   安装证书:          电脑端、手机端(夜神模拟器)都需要安装。                                  
  •                            电脑端整数安装方式:在cmd窗口输入 anyproxy-ca
                                  会生成一个证书,将此证书点击设置为受信任的证书  我这是已经安装完成后的状态

电脑端证书状态.png

  •                             电脑端浏览器访问:本机ip:8002
                                   例如我的:http://192.168.0.105:8002/ 即可查看到AnyProxy页面
                                        点击RootCA 下载得到证书文件,传入模拟器内,进行安装证书

RootCA.png

打开模拟器,点击桌面  设置图标--安全--从SD卡安装证书,这个时候稍有麻烦,需要将刚才下载得到的rootCA.crt文件传入到模拟器内sd目录下,具体可见此教程:
关于夜神模拟器内手动安装证书 - 新手引导 夜神游戏论坛
https://bbs.yeshen.com/forum.php?mod=viewthread&tid=17440&extra=


第一节结束,我们成功的在电脑端 和模拟器端 都安装了证书,建立了监听,具体监听得到的数据请查看第二节













上一篇:画面上下倒转,无法正确显示
下一篇:每日手游资讯!《龙之谷》制作人最新力作《百魂战记》!
电脑玩手游,就用夜神安卓模拟器,www.yeshen.com免费下载使用夜神安卓模拟器。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则