想知道 Python 怎么扒网页吗？说实话，这问题问到点子上了！我当年刚开始接触编程的时候，最感兴趣的就是这个——从互联网上“偷”数据。当然，我们得在法律允许和道德约束的范围内操作。

Python 爬虫，简直就是一门艺术！它允许你用代码自动地浏览网页，提取你感兴趣的信息。这不光是程序员的玩具，也是数据分析、市场研究的利器。想想看，你要做一个竞品分析，手动复制粘贴？太 low 了！用 Python 爬虫，分分钟搞定。

那么，Python 怎么扒网页？简单来说，你需要掌握几个关键的技术点：

1. 请求网页 (Request)： 就像你用浏览器访问一个网页一样，你的 Python 代码也需要先“请求”网页。最常用的库是 requests，超级好用。

   “`python
   import requests

   url = ‘https://www.example.com’ #替换成你想抓取的网址
   response = requests.get(url)

   if response.status_code == 200:
   print(‘网页请求成功！’)
   html_content = response.text # 获取网页的HTML内容
   else:
   print(f’网页请求失败，状态码：{response.status_code}’)
   ``
你看，几行代码就搞定了！这里response.status_code`是状态码，200表示成功。
   这就像你跟服务员点菜，服务员告诉你“好嘞，没问题！”

2. 解析网页 (Parsing)： 拿到网页的 HTML 代码后，你得把它“解析”成程序能理解的结构。这就好像你要把一篇古文翻译成现代文一样。常用的库有 Beautiful Soup 和 lxml。Beautiful Soup 容易上手，lxml 速度更快。

   “`python
   from bs4 import BeautifulSoup

   soup = BeautifulSoup(html_content, ‘html.parser’) #也可以使用’lxml’

   找到所有的

   标签

   h1_tags = soup.find_all(‘h1’)
   for tag in h1_tags:
   print(tag.text) # 打印

   标签里的文字
   ``
这里，我们用Beautiful Soup把 HTML 代码转换成了一个soup对象，然后用find_all方法找到了所有的

   ` 标签。这就像你在找一篇文章的标题。

3. 提取数据 (Extracting)： 解析完网页后，就可以提取你想要的数据了。比如，提取所有的链接、图片、文字等等。这就像你在从文章里摘抄重要的句子。
   比如，要提取所有的链接：
   python
for link in soup.find_all('a'): # 找到所有的<a>标签 (链接)
print(link.get('href')) # 打印链接的href属性
   很简单，对吧？

4. 存储数据 (Storing)： 提取完数据后，你需要把数据存储起来。你可以存到 CSV 文件、Excel 文件、数据库等等。这就像你把摘抄的句子记到笔记本上。
   比如，存到 CSV 文件：
   “`python
   import csv

   data = [[‘Title’, ‘URL’], [‘Example Title’, ‘https://www.example.com’]] #你的数据

   with open(‘output.csv’, ‘w’, newline=”) as csvfile:
   writer = csv.writer(csvfile)
   writer.writerows(data)
   “`

实战案例：扒取豆瓣电影 Top 250

好，理论讲完了，来点实际的。我们来扒取豆瓣电影 Top 250 的电影名称和链接。

首先，确定目标 URL：https://movie.douban.com/top250

然后，分析网页结构。用浏览器打开这个网页，按下 F12，打开开发者工具，查看 HTML 代码。你会发现，电影名称在 <span> 标签里，class 是 title；链接在 <a> 标签里。

接下来，就可以写代码了：

“`python
import requests
from bs4 import BeautifulSoup

url = ‘https://movie.douban.com/top250’
headers = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3’} #伪装成浏览器

response = requests.get(url, headers=headers) #加上headers
soup = BeautifulSoup(response.text, ‘html.parser’)

movie_list = soup.find(‘ol’, class_=’grid_view’).find_all(‘li’) #找到包含所有电影的列表

for movie in movie_list:
title = movie.find(‘span’, class_=’title’).text #提取电影名称
link = movie.find(‘a’)[‘href’] #提取电影链接
print(title, link) #打印出来
``
注意，这里我们加了一个headers`，这是为了伪装成浏览器，防止被豆瓣服务器识别为爬虫，从而拒绝访问。很多网站都有反爬虫机制，要小心应对。

但是，豆瓣 Top 250 电影是分页显示的，我们需要抓取所有页面的数据。怎么办？很简单，分析一下 URL 的规律：

• 第一页：https://movie.douban.com/top250?start=0&filter=
• 第二页：https://movie.douban.com/top250?start=25&filter=
• 第三页：https://movie.douban.com/top250?start=50&filter=

发现了吗？start 参数控制页码，每页 25 部电影。所以，我们可以用一个循环来抓取所有页面的数据：

“`python
import requests
from bs4 import BeautifulSoup

base_url = ‘https://movie.douban.com/top250?start={}&filter=’
headers = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3’}

for i in range(0, 250, 25): #循环抓取所有页面
url = base_url.format(i)
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, ‘html.parser’)
movie_list = soup.find(‘ol’, class_=’grid_view’).find_all(‘li’)

for movie in movie_list:
    title = movie.find('span', class_='title').text
    link = movie.find('a')['href']
    print(title, link)

“`

这样，你就成功地扒取了豆瓣电影 Top 250 的所有电影名称和链接！是不是很有成就感？

注意事项

• 遵守 Robots 协议： 网站通常会有一个 robots.txt 文件，里面规定了哪些页面可以爬，哪些页面不能爬。一定要遵守这个协议，不要去爬不允许爬的页面。
• 控制爬取速度： 不要过于频繁地请求网站，否则可能会被封 IP。可以使用 time.sleep() 函数来控制爬取速度。
• 处理异常： 爬虫程序可能会遇到各种各样的异常，比如网络连接超时、网页不存在等等。要学会处理这些异常，保证程序的稳定性。
• 使用代理 IP： 如果你的 IP 被封了，可以使用代理 IP 来继续爬取。

进阶技巧

• 使用 Scrapy 框架： Scrapy 是一个强大的 Python 爬虫框架，可以让你更高效地编写爬虫程序。
• 使用 Selenium 模拟浏览器： 有些网站使用 JavaScript 动态生成内容，requests 无法抓取这些内容。这时，可以使用 Selenium 模拟浏览器，让浏览器自动加载网页，然后抓取网页的内容。

总结

Python 怎么扒网页？其实并不难，只要掌握了 requests、Beautiful Soup 等库，就可以轻松地抓取网页数据。但是，要注意遵守法律法规和道德规范，做一个有良知的程序员。爬虫虽然好玩，但也要适度哦！希望这篇文章能帮助你入门 Python 爬虫，开启你的数据挖掘之旅！加油！