PHP cURL实现模拟登录与采集使用方法详解教程

添加时间:17-06-29 所属分类:PHP工具与代码
  http://www.zjmainstay.cn/php-curl

工具
火狐浏览器(FireFox) + Firebug

“工欲善其事,必先利其器。” 在分析案例之前,先让我们学习一下如何利用神器Firebug获取我们必要的信息。
使用F12打开Firebug,我们可以得到如图(一)界面:
Firebug

箭头图标是“元素选择”工具,单击一次会高亮图标,同时,鼠标在页面内的移动会同时在HTML菜单中选定相应的内容,此时单击内容则表示选定了该元素,图标高亮取消。如图(二)所示:
Firebug查看元素

控制台
JS里面的console.log系列函数的打印就是在这里输出。
HTML
HTML内容,注意这里看到的不一定是采集要解析的内容,采集时候对内容的分析,一律以查看源码(Ctrl+U)为准,这里只是能快速定位元素的结构,然后再选择一个比较特殊的参照,在源码中定位相应的位置。
比如,你在HTML里面看到一个标签是<div id="demo" class="demo">Demo</div>,但是你查看源码时候看到的内容可能是<div class="demo" id="demo">Demo</div>,如果你对采集内容按照前者去做正则匹配,那么你会得不到结果。
CSS
这里是CSS文件内容
脚本
这里是Javascript文件内容
DOM
Dom节点内容
网络
每一个请求链接的数据,这里是我们采集要关注和分析的地方,它能够显示每一个请求的参数、请求头、Cookie数据等。在页面提交会刷新的情况下,需要使用保持,使得页面请求内容在刷新后仍然留着控制台中,如图(三)所示:
Firebug网络保持
另外,火狐还有一款 Tamper data 扩展也能得到请求数据,必要时可以安装使用。


Cookies
Cookie数据

在图(一)中还看到下面有很多可选的小菜单项,其中保持是我们要关注的,当选择它的时候,即使提交表单刷新了页面,下面内容区域的数据还是会保留,这个对于分析提交数据特别关键。

总结

我们在分析采集请求的时候,主要关心“网络”菜单里的请求数据,必要时候使用“保持”以查看刷新页面的请求数据,请求前可以使用“清除”先清除下面的内容。

项目地址https://github.com/Zjmainstay/php-curl
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

前篇:PHP curl函数模拟爬虫(操作cookie) 后篇:cURL、file_get_contents、snoopy.class.ph...
发表我的评论


推荐文章   济南老鞋匠5年做了100多只微型鞋 最小的...   济南辅警“飙”英语教育闯红灯老外 业余...   澳16岁少女,独自一人驾驶小船环游地球...   北漂女拳手赚“血汗钱”   岛上小学”唯一老师:坚守28年,每天划...
随机文章   php读取mysql数据库内容   PHP 时间函数date() 在国外服务器上的8...   用iconv将utf-8中文编码转为gb2312字符...   strftime()函数将月份和时间显示转换成...   PHP字符串截取函数
广告

其他推荐

因为本站所有内容均转载自其它媒体,本意为公众提供免费服务,但并不代表本网赞同其观点,也不能对其真实性验证负责,如稿件版权单位或个人不想在本网发布,请与我联系,本人会立即将其撤除,谢谢.联系方式:atseashawk@163.com QQ:99289555