Re: PHP cURL实现模拟登录与采集使用方法详解教程

添加时间:17-06-29 所属分类:PHP工具与代码
  (二)自动模拟登录实现

最近研究出来一个自动模拟登录的类,请查看《PHP基于cURL实现自动模拟登录》了解。(补充于2016.7.31)
http://www.zjmainstay.cn/php-curl-auto-login

五、压缩网页采集(gzip)

有些没有接触过压缩页面的朋友估计会在这里被坑死,因为他们会发现采集回来的内容是乱码,并且无论使用iconv还是强大的mb_convert_encoding都无法还原数据,然后又没有概念,各种抓狂却找不到方法,哈哈,我曾经也是这样~
如图(五)是乱码表现形式:
cURL 乱码 解决
还好最后功夫不负有心人,还是找到了,它就是CURLOPT_ENCODING参数。
比如,采集搜狐的新闻时候就遇到gzip压缩问题,下面是示例:

[code] $url = 'http://news.sohu.com/';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回数据不直接输出
curl_setopt($ch, CURLOPT_ENCODING, "gzip"); //指定gzip压缩
$content = curl_exec($ch); //执行并存储结果
curl_close($ch);
echo $content;[/code]

手册说明:支持的编码有"identity","deflate"和"gzip"。如果为空字符串"",请求头会发送所有支持的编码类型。
后面一句表明,使用curl_setopt($ch, CURLOPT_ENCODING, "");也是可以的,但是不能不加这个参数。
六、SSL链接的采集

有些请求链接是https类型的,这时候使用cURL采集可能会失败,这时候,我们可以使用 var_dump(curl_error($ch));的方法打印错误提示,然后根据错误提示查找相应的解决方案。比如SSL错误常见提示:SSL certificate problem: unable to get local issuer certificate,这时候,我们就需要利用参数:CURLOPT_SSL_VERIFYPEER 和 CURLOPT_SSL_VERIFYHOST 来禁用SSL证书的验证,我尝试过只使用CURLOPT_SSL_VERIFYPEER参数禁用失败,所以大家最好同时使用两个参数。
下面是代码示例:

[code] $searchStr = 'RC376981638HK';
$post = 'accion=LocalizaUno&numero='.$searchStr.'&ecorreo=&numeros=';
$url = 'https://aplicacionesweb.correos.es/localizadorenvios/track.asp';
$ch = curl_init($url); //初始化curl
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回数据不直接输出
curl_setopt($ch, CURLOPT_POST, 1); //发送POST类型数据
curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST数据,$post可以是数组,也可以是拼接参数串
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //SSL 报错时使用
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //SSL 报错时使用
$contents = curl_exec($ch); //执行并存储结果
// var_dump(curl_error($ch)); //获取失败是使用(采集错误提示)
curl_close($ch);
echo $contents;[/code]

今天(2016.8.20)遇到一个错误error:14077458:SSL routines:SSL23_GET_SERVER_HELLO:reason(1112),测试追加参数

//值有0-6,请参考手册,值1不行试试其他值
[code] curl_setopt($ch, CURLOPT_SSLVERSION, 1);[/code]

可解决问题。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

前篇:PHP curl函数模拟爬虫(操作cookie) 后篇:cURL、file_get_contents、snoopy.class.ph...
发表我的评论


推荐文章   环卫女工落户上海18年清扫一条路,曾以...   在擅长的领域做到极致,是普通人为数不...   摧毁一个中年人有多容易?   707分考入北大,她的这篇文章看哭所有人   《给女儿的一封信》
随机文章   javascript/php实现comet(ajax长轮询)...   用 Json 来实现 PHP 与 JavaScript 间数...   PHP验证码登陆校验   install.php简单制作   万网面试PHP笔试题
广告

其他推荐

因为本站所有内容均转载自其它媒体,本意为公众提供免费服务,但并不代表本网赞同其观点,也不能对其真实性验证负责,如稿件版权单位或个人不想在本网发布,请与我联系,本人会立即将其撤除,谢谢.联系方式:atseashawk@163.com QQ:99289555