使用Python结合Selenium、Requests和BeautifulSoup爬取12306火车票信息

一、引言

火车票作为中国人出行的重要选择，其信息的获取一直是人们关注的焦点。然而，12306网站的反爬机制非常严格，使用普通的requests方法很难直接获取到数据。因此，我们需要结合Selenium来模拟浏览器操作，以及BeautifulSoup来解析HTML页面。

二、准备工作

1. 安装Python：确保你的计算机上安装了Python。
2. 安装Selenium：使用pip安装selenium库。

   pip install selenium

3. 安装BeautifulSoup：使用pip安装beautifulsoup4库。

   pip install beautifulsoup4

4. 下载浏览器驱动：根据你的浏览器类型下载对应的驱动，如Chrome浏览器需要下载ChromeDriver。

三、代码实现

1. 导入库

   from selenium import webdriver
   from selenium.webdriver.common.keys import Keys
   from selenium.webdriver.common.by import By
   from bs4 import BeautifulSoup
   import time
   import requests

2. 设置浏览器驱动

   # 根据你的浏览器类型设置驱动
   browser = webdriver.Chrome(executable_path='你的chromedriver路径')

3. 模拟登录

   登录12306网站并填写用户名和密码，这部分由于涉及敏感信息，建议自己手动填写或使用更安全的方式（如selenium的send_keys方法）。

4. 查询车票

   模拟在12306网站上选择出发地、目的地、出发日期等查询车票。

   # 填写查询信息
   browser.find_element(By.ID, 'fromStationText').send_keys('北京')
   browser.find_element(By.ID, 'toStationText').send_keys('上海')
   browser.find_element(By.ID, 'train_date').send_keys('2023-07-01')
   # 点击查询按钮
   browser.find_element(By.ID, 'query_ticket').click()
   # 等待页面加载
   time.sleep(3)

5. 获取页面内容

   使用BeautifulSoup解析页面上的火车票信息。

   # 获取页面源码
   page_source = browser.page_source
   # 解析页面
   soup = BeautifulSoup(page_source, 'html.parser')
   # 查找火车票信息，此处需要根据实际页面结构来定位
   tickets = soup.select('.btn72')
   # 遍历并打印火车票信息
   for ticket in tickets:
       print(ticket.text)

6. 关闭浏览器

   browser.quit()

四、注意事项

• 12306网站的反爬机制可能不断更新，本代码可能会失效，需要根据实际情况调整。
• 爬取火车票信息可能违反12306的使用协议，请确保你的行为符合法律法规。
• 使用爬虫时，尽量降低对目标网站的请求频率，以减轻其服务器压力。

五、结语

本文介绍了如何使用Python结合Selenium、Requests和BeautifulSoup来爬取12306火车票信息。虽然12306网站的反爬机制较为严格，但通过模拟浏览器操作，我们仍然可以获取到所需的信息。请注意，在编写爬虫时，一定要遵守相关法律法规和网站的使用协议。