Python網頁解析：BeautifulSoup基礎
1. BeautifulSoup簡介
BeautifulSoup是一個Python庫，用於從HTML和XML文檔中提取數據。它提供了簡單的API來導航、搜索和修改解析樹。
2. 安裝BeautifulSoup
可以使用pip來安裝BeautifulSoup和requests庫：
pip install beautifulsoup4 requests3. 基本用法
以下是使用BeautifulSoup解析HTML的基本示例：
import requests
from bs4 import BeautifulSoup
# 發送GET請求
url = "https://example.com"
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.text, "html.parser")
# 獲取標題
title = soup.title.string
print("網頁標題:", title)4. 查找元素
使用BeautifulSoup查找特定的HTML元素：
# 查找所有的段落
paragraphs = soup.find_all("p")
for p in paragraphs:
print(p.text) # 輸出每個段落的文本
5. 查找特定屬性
可以根據屬性查找元素：
# 查找具有特定類別的元素
links = soup.find_all("a", class_="link-class")
for link in links:
print(link["href"]) # 輸出每個鏈接的URL
6. 練習題
-
從一個網頁中提取所有的標題和鏈接。
-
解析一個HTML文檔，提取所有的圖片URL。
7. 常見錯誤和注意事項
- 確保網頁的結構是正確的，否則可能無法正確解析。
- 注意網頁的robots.txt文件，遵循網站的爬蟲規則。
- 在解析大型文檔時，注意內存使用情況。
8. 最佳實踐
- 使用requests庫獲取網頁內容，然後使用BeautifulSoup進行解析。
- 在提取數據時，考慮使用try-except塊來處理可能的異常。
- 保持代碼的可讀性，使用有意義的變量名稱。