是否可以使用cURL部分下载远程文件?假设远程文件的实际文件大小是1000 KB。我怎么能只下载它的前500 KB?
p5cysglq1#
您还可以使用php-curl扩展设置range header参数。
$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.spiegel.de/'); curl_setopt($ch, CURLOPT_RANGE, '0-500'); curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); $result = curl_exec($ch); curl_close($ch); echo $result;
但如前所述,如果服务器不荣誉这个头文件,而是发送整个文件,curl将下载所有文件。例如,http://www.php.net会忽略header。但是你可以(另外)设置一个写函数回调,当接收到更多的数据时中止请求,例如。
// php 5.3+ only // use function writefn($ch, $chunk) { ... } for earlier versions $writefn = function($ch, $chunk) { static $data=''; static $limit = 500; // 500 bytes, it's only a test $len = strlen($data) + strlen($chunk); if ($len >= $limit ) { $data .= substr($chunk, 0, $limit-strlen($data)); echo strlen($data) , ' ', $data; return -1; } $data .= $chunk; return strlen($chunk); }; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.php.net/'); curl_setopt($ch, CURLOPT_RANGE, '0-500'); curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1); curl_setopt($ch, CURLOPT_WRITEFUNCTION, $writefn); $result = curl_exec($ch); curl_close($ch);
dtcbnfnu2#
获取文档的前100个字节:
curl -r 0-99 http://www.get.this
从手册一定要弄个现代卷发
fzwojiic3#
谢谢你的好解决方案VolkerK。然而,我需要使用这个代码作为一个函数,所以这里是我想出的。我希望它对其他人有用。主要的区别是**use($limit,&$datadump)**这样可以传递一个limit,并使用通过引用的变量$datadump来返回它作为结果。我还添加了CURLOPT_USERAGENT,因为有些网站不允许没有user-agent头的访问。检查http://php.net/manual/en/functions.anonymous.php
function curl_get_contents_partial($url, $limit) { $writefn = function($ch, $chunk) use ($limit, &$datadump) { static $data = ''; $len = strlen($data) + strlen($chunk); if ($len >= $limit) { $data .= substr($chunk, 0, $limit - strlen($data)); $datadump = $data; return -1; } $data .= $chunk; return strlen($chunk); }; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); //curl_setopt($ch, CURLOPT_RANGE, '0-1000'); //not honored by many sites, maybe just remove it altogether. curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1); curl_setopt($ch, CURLOPT_WRITEFUNCTION, $writefn); $data = curl_exec($ch); curl_close($ch); return $datadump; }
使用方法:$page = curl_get_contents_partial(' http://some.webpage.com ',1000);//读取前1000个字节echo $page //或者对结果做任何处理。
xuo3flqw4#
这可能是您的解决方案(下载前500KB到output.txt)
curl -r 0-511999 http://www.yourwebsite.com > output.txt
511999
500*1024-1
4条答案
按热度按时间p5cysglq1#
您还可以使用php-curl扩展设置range header参数。
但如前所述,如果服务器不荣誉这个头文件,而是发送整个文件,curl将下载所有文件。例如,http://www.php.net会忽略header。但是你可以(另外)设置一个写函数回调,当接收到更多的数据时中止请求,例如。
dtcbnfnu2#
获取文档的前100个字节:
从手册
一定要弄个现代卷发
fzwojiic3#
谢谢你的好解决方案VolkerK。然而,我需要使用这个代码作为一个函数,所以这里是我想出的。我希望它对其他人有用。主要的区别是**use($limit,&$datadump)**这样可以传递一个limit,并使用通过引用的变量$datadump来返回它作为结果。我还添加了CURLOPT_USERAGENT,因为有些网站不允许没有user-agent头的访问。
检查http://php.net/manual/en/functions.anonymous.php
使用方法:
$page = curl_get_contents_partial(' http://some.webpage.com ',1000);//读取前1000个字节
echo $page //或者对结果做任何处理。
xuo3flqw4#
这可能是您的解决方案(下载前500KB到output.txt)
511999
是500*1024-1