想用 Python 抓取网页数据？那可太有趣了！网页就像一座座宝藏，等着我们用代码去挖掘。不过别怕，这门技术并不难，只是需要一点耐心和技巧。我这就带你一步步揭开它的神秘面纱。

首先，要明确一点：Python 抓取网页数据的核心在于模拟浏览器的行为，然后解析网页的 HTML 结构，提取出我们需要的信息。就好比我们伪装成用户，偷偷溜进网站，然后找到藏宝图上的标记，把宝藏据为己有。

那么，用什么“工具”呢？这就不得不提到两个神器：requests 和 Beautiful Soup。requests 负责发送 HTTP 请求，获取网页的 HTML 源代码，而 Beautiful Soup 负责解析 HTML 代码，方便我们从中提取数据。它们就像一把锄头和一把筛子，一个负责挖土，一个负责筛金子。

requests 的用法很简单，几行代码就能搞定：

“`python
import requests

url = ‘https://www.example.com’ # 这里换成你要抓取的网址
response = requests.get(url)

if response.status_code == 200:
html = response.text
print(html) # 打印网页源代码
else:
print(‘请求失败，状态码：’, response.status_code)
“`

这段代码的作用是，向 https://www.example.com 发送一个 GET 请求，如果请求成功（状态码为 200），就打印网页的 HTML 源代码。

拿到 HTML 代码后，就要用到 Beautiful Soup 了。Beautiful Soup 可以将 HTML 代码解析成一个树形结构，方便我们通过标签、属性等方式查找元素。

“`python
from bs4 import BeautifulSoup

假设 html 变量里已经存储了网页的 HTML 源代码

soup = BeautifulSoup(html, ‘html.parser’)

查找所有的 a 标签

a_tags = soup.find_all(‘a’)

for tag in a_tags:
print(tag.get(‘href’)) # 打印每个 a 标签的 href 属性值
“`

这段代码先用 Beautiful Soup 解析 HTML 代码，然后找到所有的 a 标签，并打印每个 a 标签的 href 属性值，也就是链接地址。

是不是感觉有点意思了？但这只是最基本的用法。在实际应用中，我们会遇到各种各样的情况，比如网页使用了 JavaScript 动态加载数据，或者网站设置了反爬虫机制等等。

对于 JavaScript 动态加载的数据，我们需要使用一些更高级的工具，比如 Selenium 或者 Pyppeteer。这些工具可以模拟浏览器的行为，执行 JavaScript 代码，获取动态加载的数据。它们就像我们的替身，可以完全模拟用户的操作，绕过一些反爬虫机制。

而对于反爬虫机制，我们需要采取一些反反爬虫的策略，比如设置请求头、使用代理 IP、控制访问频率等等。这些策略就像我们的伪装术，可以让我们更好地隐藏自己，避免被网站识别出来。

设置请求头很简单，只需要在 requests.get() 方法中添加 headers 参数即可：

“`python
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3’
}

response = requests.get(url, headers=headers)
“`

这段代码设置了一个 User-Agent 请求头，模拟浏览器的身份。

使用代理 IP 则需要先获取一些可用的代理 IP 地址，然后在 requests.get() 方法中添加 proxies 参数：

“`python
proxies = {
‘http’: ‘http://10.10.1.10:3128’,
‘https’: ‘http://10.10.1.10:1080’,
}

response = requests.get(url, proxies=proxies)
“`

这段代码使用了两个代理 IP 地址，一个用于 HTTP 请求，一个用于 HTTPS 请求。

控制访问频率则可以使用 time.sleep() 方法，让程序在每次请求之间暂停一段时间：

“`python
import time

for i in range(10):
response = requests.get(url)
# … 处理数据 …
time.sleep(1) # 暂停 1 秒
“`

这段代码在每次请求之后暂停 1 秒，避免过于频繁地访问网站。

当然，反爬虫和反反爬虫是一个永无止境的博弈过程。网站会不断更新反爬虫策略，我们也需要不断学习新的反反爬虫技巧。这就像一场猫鼠游戏，充满了挑战和乐趣。

好了，说了这么多，不如来个实战案例吧！

假设我们要抓取豆瓣电影 Top250 的电影名称和评分。我们可以先分析一下豆瓣电影 Top250 的网页结构，找到电影名称和评分所在的 HTML 标签。然后，使用 requests 和 Beautiful Soup 抓取数据。

“`python
import requests
from bs4 import BeautifulSoup
import time

def scrape_douban_top250():
url = ‘https://movie.douban.com/top250’
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3’
}
movie_list = []

for i in range(0, 250, 25): # 豆瓣电影 Top250 分页显示
    params = {
        'start': i,
        'filter': ''
    }
    response = requests.get(url, headers=headers, params=params)
    if response.status_code == 200:
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')
        movies = soup.find_all('div', class_='item') # 找到每个电影的 div 标签

        for movie in movies:
            title = movie.find('span', class_='title').text # 找到电影名称
            rating = movie.find('span', class_='rating_num').text # 找到电影评分
            movie_list.append({'title': title, 'rating': rating})

        time.sleep(1) # 暂停 1 秒，避免过于频繁地访问网站
    else:
        print('请求失败，状态码：', response.status_code)
        return None

return movie_list

if name == ‘main‘:
movie_list = scrape_douban_top250()
if movie_list:
for movie in movie_list:
print(movie[‘title’], movie[‘rating’])
else:
print(‘抓取失败’)
“`

这段代码首先定义了一个 scrape_douban_top250() 函数，用于抓取豆瓣电影 Top250 的电影名称和评分。然后，在 if __name__ == '__main__': 中调用该函数，并打印抓取到的数据。

怎么样，是不是感觉很有成就感？通过这个案例，你应该对 Python 抓取网页数据 有了一个更直观的了解。

当然，Python 抓取网页数据 还有很多其他的应用场景，比如抓取商品价格、抓取新闻资讯、抓取社交媒体数据等等。只要掌握了基本的技巧，你就可以利用 Python 抓取网页数据 做很多有趣的事情。

总而言之，Python 抓取网页数据 是一项非常有用的技能。它可以帮助我们快速获取网络上的信息，并进行分析和利用。虽然它需要一定的学习成本，但只要你坚持下去，一定能掌握它，并用它创造出更多的价值。相信你也可以从 Python 抓取网页数据 的过程中，体会到编程的乐趣和成就感！