Python爬虫：如何爬取网页图片

在Python中，我们可以使用requests库来发送HTTP请求，获取网页内容，然后使用BeautifulSoup库来解析HTML代码。以下是一个简单的爬取网页图片的代码示例：

import requests
from bs4 import BeautifulSoup
def get_images(url):
# 发送HTTP请求，获取网页内容
response = requests.get(url)
if response.status_code == 200:
# 解析HTML代码
soup = BeautifulSoup(response.text, 'html.parser')
# 查找所有img标签
img_tags = soup.find_all('img')
# 存储图片URLs
image_urls = []
for img in img_tags:
# 获取img标签的src属性，即图片URL
image_url = img.get('src')
if 'http' in image_url:  # 如果图片URL是绝对路径
image_urls.append(image_url)
else:  # 如果图片URL是相对路径
image_urls.append(url + '/' + image_url)  # 将相对路径转换为绝对路径
return image_urls
else:
print('Failed to get the web page.')
return None

在这个示例中，我们定义了一个名为get_images的函数，它接受一个网页URL作为参数，返回一个包含所有图片URLs的列表。我们首先使用requests库发送HTTP GET请求，获取网页内容。然后，我们使用BeautifulSoup库解析HTML代码，查找所有的img标签。对于每个img标签，我们获取其src属性，即图片的URL。如果图片URL是绝对路径，我们直接将其添加到image_urls列表中；如果图片URL是相对路径，我们将相对路径转换为绝对路径，然后将其添加到image_urls列表中。最后，我们返回image_urls列表。
需要注意的是，在实际应用中，网页中的图片可能使用了不同的方式来引用，例如使用了CDN、绝对路径、相对路径等。此外，有些网站可能会对爬虫进行限制，例如检查User-Agent头信息、限制访问频率等。因此，在使用爬虫爬取网页图片时，需要注意遵守网站的使用条款和法律法规，避免对网站造成不必要的负担和干扰。