×

抓取 搜索结果 轻松 实现 Google

PHP轻松抓取Google搜索结果，教你实现！

jnlyseo998998 jnlyseo998998 发表于2023-04-10 08:26:02 浏览18 评论0

抢沙发发表评论

如果你需要从Google上爬取数据，那么PHP是一个非常好的选择。PHP作为一门流行的服务器端脚本语言，可以轻松地与搜索结果。

1.探索Google搜索页面结构

在使用PHP抓取Google搜索结果之前，我们需要先了解一下Google搜索页面的结构。通过检查元素工具，我们可以看到每个搜索结果都包含在一个class为“g”的div元素中。

2.使用cURL获取HTML内容

cURL是一个强大的命令行工具和库，用于与各种协议（包括内容。

php <?php //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); echo $html; ?>

3.解析HTML内容

我们可以使用PHP内置的DOMDocument类来解析HTML文档。通过遍历DOM树，我们可以找到每个搜索结果的标题、描述和链接。

php <?php //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('div'); foreach ($results as $result){ if ($result->getAttribute('class')=='g'){ //获取标题、描述和链接 $title =$result->getElementsByTagName('h3')->item(0)->nodeValue; $description =$result->getElementsByTagName('span')->item(0)->nodeValue; $link =$result->getElementsByTagName('a')->item(0)->getAttribute('href'); echo '<h3>'.$title .'</h3>'; echo '<p>'.$description .'</p>'; echo '<a href="'.$link .'">Read More</a>'; } } ?>

4.处理Google搜索结果分页

如果搜索结果超过一页，我们需要能够处理分页。我们可以使用PHP的字符串函数和正则表达式来获取下一页的URL。

php <?php function getNextPageUrl($html){ //获取下一页的URL preg_match('/<a[^>]+id="pnnext"[^>]+href="([^"]+)"/',$html,$matches); if (isset($matches[1])){ return ''.$matches[1]; } } //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('div'); foreach ($results as $result){ if ($result->getAttribute('class')=='g'){ //获取标题、描述和链接 $title =$result->getElementsByTagName('h3')->item(0)->nodeValue; $description =$result->getElementsByTagName('span')->item(0)->nodeValue; $link =$result->getElementsByTagName('a')->item(0)->getAttribute('href'); echo '<h3>'.$title .'</h3>'; echo '<p>'.$description .'</p>'; echo '<a href="'.$link .'">Read More</a>'; } } //处理分页 while ($nextPageUrl = getNextPageUrl($html)){ //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,$nextPageUrl); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('div'); foreach ($results as $result){ if ($result->getAttribute('class')=='g'){ //获取标题、描述和链接 $title =$result->getElementsByTagName('h3')->item(0)->nodeValue; $description =$result->getElementsByTagName('span')->item(0)->nodeValue; $link =$result->getElementsByTagName('a')->item(0)->getAttribute('href'); echo '<h3>'.$title .'</h3>'; echo '<p>'.$description .'</p>'; echo '<a href="'.$link .'">Read More</a>'; } } } ?>

5.处理Google搜索结果中的图片

如果搜索结果包含图片，我们可以使用PHP的cURL库来下载这些图片。

php <?php //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl&tbm=isch'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('img'); foreach ($results as $result){ //获取图片的URL $imageUrl =$result->getAttribute('src'); //下载图片到本地文件夹 if ($imageUrl){ $ch = curl_init($imageUrl); $fp = fopen('images/'. basename($imageUrl),'wb'); curl_setopt($ch, CURLOPT_FILE,$fp); curl_setopt($ch, CURLOPT_HEADER,0); curl_exec($ch); curl_close($ch); fclose($fp); } } ?>

6.处理Google搜索结果中的视频

如果搜索结果包含视频，我们可以使用PHP的cURL库来下载这些视频。

php <?php //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl&tbm=vid'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('a'); foreach ($results as $result){ //获取视频的URL preg_match('/^\/url\?q=(.+)&sa/',$result->getAttribute('href'),$matches); if (isset($matches[1])){ $videoUrl = urldecode($matches[1]); } //下载视频到本地文件夹 if ($videoUrl){ $ch = curl_init($videoUrl); $fp = fopen('videos/'. basename($videoUrl),'wb'); curl_setopt($ch, CURLOPT_FILE,$fp); curl_setopt($ch, CURLOPT_HEADER,0); curl_exec($ch); curl_close($ch); fclose($fp); } } ?>

7.处理Google搜索结果中的新闻

如果搜索结果包含新闻，我们可以使用PHP的cURL库来下载这些新闻。

php <?php //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl&tbm=nws'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('a'); foreach ($results as $result){ //获取新闻的URL preg_match('/^\/url\?q=(.+)&sa/',$result->getAttribute('href'),$matches); if (isset($matches[1])){ $newsUrl = urldecode($matches[1]); } //下载新闻到本地文件夹 if ($newsUrl){ $ch = curl_init($newsUrl); $fp = fopen('news/'. basename($newsUrl),'wb'); curl_setopt($ch, CURLOPT_FILE,$fp); curl_setopt($ch, CURLOPT_HEADER,0); curl_exec($ch); curl_close($ch); fclose($fp); } } ?>

8.处理Google搜索结果中的地图

如果搜索结果包含地图，我们可以使用PHP的cURL库来下载这些地图。

php <?php //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,'+curl&tbm=map'); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('img'); foreach ($results as $result){ //获取地图的URL $mapUrl =$result->getAttribute('src'); //下载地图到本地文件夹 if ($mapUrl){ $ch = curl_init($mapUrl); $fp = fopen('maps/'. basename($mapUrl),'wb'); curl_setopt($ch, CURLOPT_FILE,$fp); curl_setopt($ch, CURLOPT_HEADER,0); curl_exec($ch); curl_close($ch); fclose($fp); } } ?>

9.避免Google反爬虫机制

Google有一些反爬虫机制，如果我们频繁地请求Google搜索结果页面，我们的IP地址可能会被封禁。为了避免这种情况，我们可以使用代理服务器或减缓请求速度。

php <?php function getPageHtml($url){ //设置代理服务器（可选） //$proxy ='127.0.0.1:8080'; //curl_setopt($ch, CURLOPT_PROXY,$proxy); //设置请求间隔（可选） sleep(5); //初始化cURL $ch = curl_init(); //设置URL和其他选项 curl_setopt($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); //抓取URL并传递给浏览器 $html = curl_exec($ch); //关闭cURL资源，并且释放系统资源 curl_close($ch); return $html; } //获取Google搜索结果页面的HTML内容 $html = getPageHtml('+curl'); //解析HTML内容 $dom = new DOMDocument(); @$dom->loadHTML($html); $results =$dom->getElementsByTagName('div'); foreach ($results as $result){ if ($result->getAttribute('class')=='g'){ //获取标题、描述和链接 $title =$result->getElementsByTagName('h3')->item(0)->nodeValue; $description =$result->getElementsByTagName('span')->item(0)->nodeValue; $link =$result->getElementsByTagName('a')->item(0)->getAttribute('href'); echo '<h3>'.$title .'</h3>'; echo '<p>'.$description .'</p>'; echo '<a href="'.$link .'">Read More</a>'; } } ?>

10.总结

在本文中，我们介绍了如何使用PHP抓取Google搜索结果。我们探索了Google搜索页面的结构，使用cURL库获取HTML内容，使用DOMDocument类解析HTML内容，。