Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
十二、POST提交大数据（超过1024字节）异常解决方法
在使用cURL做POST的时候，当要POST的数据大于1024字节的时候,cURL并不会直接就发起POST请求, 而是会分为俩步：
1. 发送一个请求, 包含一个Expect:100-continue, 询问Server是否愿...
分类:PHP工具与代码
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
十一、发送与获取json数据
发送json数据，在控制台中的表现主要如图（七）所示：
ajax发送json的控制台信息
第一条发送的是json格式的数据，
第二条发送的是以\n分割的数据，
第三条发送的是以&分割的数据。
这个在ajax请求的时候，只...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
（二）基于采集文件内容上传
对于数据采集回来的文件内容，有时候需要再次上传到其他的文件服务器上，此时，如果本地先存储再利用上面的方式提交到文件服务器，显然会多了一次IO写入和读取操作，对于这种情况，我们可以利用构造模拟上传...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
十、模拟上传文件
（一）基于本地文件上传
在PHP手册的curl_setopt函数中，关于CURLOPT_POSTFIELDS有如下描述：
全部数据使用HTTPhtml的form表单中：
[code:2pvaa63h] <form method="post" action="upload&#...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
九、302跳转（301跳转）
对于一些应用，比如模拟登录，如果遇上302跳转，会导致cookie丢失而使得模拟登录失败，请求现象如图（六）所示：
curl 302跳转
这个时候，可以使用：
[code:3iadqh6u] curl_setopt($ch, CURLOPT_FOLLOWLOC...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
八、 多线程采集
对于大量采集工作，为了提高采集效率，使用PHP cURL提供的多线程采集是必不可少的。手册上提供的多线程采集例子好像都不太好用，我刚开始也从里面测试了几个例子，但是发现都是执行卡死，根本无法执行完成，前几天突然又...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
七、代理采集
大家都知道，国内存在万恶的墙，所以，假如我们需要获取某些被墙数据时，就需要用到国外代理服务器；又或者我们需要采集大量数据时，需要不断切换IP，也会用到代理。
使用代理在PHP cURL里面有几个相对应的参数：CURLOPT_P...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
（二）自动模拟登录实现
最近研究出来一个自动模拟登录的类，请查看《PHP基于cURL实现自动模拟登录》了解。（补充于2016.7.31）
五、压缩网页采集（gzip）
有些没有接触过压缩页面的朋友估计会在这里被坑死，因为他们会发现采集回来的...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
三、需要Referer的采集
对于一些程序，它可能判断来源网址，如果发现referer不是自己的网站，则拒绝访问，这时候，我们就需要添加CURLOPT_REFERER参数，模拟来路，使得程序能够正常采集。
[code:1nz5hdpm] $keyword = 'PHP c...
Re: PHP cURL实现模拟登录与采集使用方法详解教程
17-06-29
下面是我做的一个POST模拟搜索PHP POST 搜索，后端是使用了前面的百度关键词搜索，基本原理就是，客户端提交一个关键词到我服务器，我服务器使用该关键词请求百度的搜索，然后得到结果，返回到客户端。
[img:2mff3k7k][/img:2mff3k7k]
如...