BeautifulSoup实战:从网页源码中精准提取数据的7种武器

pip install requests beautifulsoup4 lxml

import requestsfrom bs4 import BeautifulSoupimport re# 基础请求模板（后续代码复用）headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}

# 示例：获取页面第一个 h1 标题soup = BeautifulSoup(html, 'html.parser')first_title = soup.find('h1')print(first_title.text)  # 输出标题文本# 按 class 查找第一个电影条目first_movie = soup.find('div', class_='item')# 按 id 查找（id 在页面中通常唯一）nav_menu = soup.find('ul', id='main-nav')# 按属性字典查找quote = soup.find('span', attrs={'itemprop': 'text'})

# 获取所有电影条目movies = soup.find_all('div', class_='item')print(f"共找到 {len(movies)} 部电影")# 获取所有评分ratings = soup.find_all('span', class_='rating_num')for r in ratings:    print(r.text)  # 9.7, 9.6, 9.5...# 限制返回数量（只取前5个）top5 = soup.find_all('div', class_='item', limit=5)# 多重条件筛选：class 为 quote 且 itemprop 为 textquotes = soup.find_all('span', attrs={'class': 'quote', 'itemprop': 'text'})

# 基础选择器items = soup.select('div.item')           # 所有 class="item" 的 divitems = soup.select('.item')              # 同上，更简洁items = soup.select('#main')               # id="main" 的元素# 层级选择器links = soup.select('div.item a')         # item 内的所有 a 标签link = soup.select_one('div.item > a')    # item 的直接子 a 标签# 属性选择器authors = soup.select("small[class='author'][itemprop='author']")# 伪类选择器（部分支持）first_item = soup.select_one('div.item:first-child')odd_items = soup.select('div.item:nth-of-type(odd)')

movie = soup.find('div', class_='item')# 获取文本内容（自动去除标签）title = movie.find('span', class_='title').texttitle = movie.find('span', class_='title').get_text()  # 同上title = movie.find('span', class_='title').string       # 仅直接子文本# 获取属性值link = movie.find('a')['href']           # 链接地址img_url = movie.find('img')['src']       # 图片地址alt_text = movie.find('img').get('alt')  # 安全获取（不存在不报错）# 获取多个 classelement = soup.find('div')class_list = element.get('class')  # 返回列表：['item', 'active']# 获取所有属性attrs = movie.attrs  # 返回字典：{'class': ['item'], 'id': 'movie-1'}

# 推荐用法：自动清理空白clean_text = element.get_text(strip=True)

element = soup.find('div', class_='item')# 向上遍历parent = element.parent                    # 父节点grandparent = element.parent.parent        # 祖父节点ancestors = element.parents              # 所有祖先（生成器）# 向下遍历children = element.children                # 直接子节点（生成器）descendants = element.descendants          # 所有子孙（生成器）# 横向遍历next_sibling = element.next_sibling        # 下一个兄弟prev_sibling = element.previous_sibling    # 上一个兄弟next_siblings = element.next_siblings      # 后面所有兄弟# 实用技巧：找到评论数（位于 star div 的最后一个 span）star_div = movie.find('div', class_='star')people = star_div.find_all('span')[-1].text  # "2500000人评价"

import re# 查找包含 "Einstein" 的所有文本（忽略大小写）pattern = re.compile(r'Einstein', re.IGNORECASE)matches = soup.find_all(string=pattern)print(f"找到 {len(matches)} 处匹配")# 查找 class 以 "col-" 开头的所有元素col_elements = soup.find_all(class_=re.compile('^col-'))# 查找 href 包含 "detail" 的链接detail_links = soup.find_all('a', href=re.compile('detail'))# 提取文本中的数字people_text = "2500000人评价"number = re.search(r'\d+', people_text).group()  # "2500000"

# 格式化输出整个文档print(soup.prettify())# 格式化输出单个元素movie = soup.find('div', class_='item')print(movie.prettify())# 保存到文件查看结构with open('debug.html', 'w', encoding='utf-8') as f:    f.write(soup.prettify())

import requestsfrom bs4 import BeautifulSoupimport pandas as pdimport timeimport reheaders = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}def get_page_movies(url):    # 获取单页电影数据    try:        response = requests.get(url, headers=headers, timeout=10)        response.raise_for_status()        soup = BeautifulSoup(response.text, 'html.parser')        movies = []        for item in soup.find_all('div', class_='item'):            # 排名            rank = item.find('em').text            # 标题（可能有两个，取第一个）            title = item.find('span', class_='title').text            # 评分            rating = item.find('span', class_='rating_num').text            # 评价人数（正则提取数字）            people_text = item.find('div', class_='star').find_all('span')[-1].text            people = re.search(r'\d+', people_text).group()            # 引言（可能不存在，做安全处理）            quote_tag = item.find('span', class_='inq')            quote = quote_tag.text if quote_tag else ''            # 链接            link = item.find('a')['href']            movies.append({                '排名': int(rank),                '标题': title,                '评分': float(rating),                '评价人数': int(people),                '引言': quote,                '链接': link            })        return movies    except Exception as e:        print(f"请求失败: {e}")        return []def get_all_movies():    # 获取全部250部电影    all_movies = []    base_url = 'https://movie.douban.com/top250?start={}'    for start in range(0, 250, 25):        url = base_url.format(start)        print(f"正在爬取: {url}")        movies = get_page_movies(url)        all_movies.extend(movies)        # 礼貌爬虫：每页间隔 2-3 秒        time.sleep(2)    return all_movies# 执行爬取if __name__ == '__main__':    movies = get_all_movies()    # 保存为 CSV    df = pd.DataFrame(movies)    df.to_csv('douban_top250.csv', index=False, encoding='utf-8-sig')    # 简单分析    print(f"共爬取 {len(movies)} 部电影")    print(f"平均评分: {df['评分'].mean():.2f}")    print(f"最高分: {df.loc[df['评分'].idxmax()]['标题']} ({df['评分'].max()}分)")    print(f"评价最多: {df.loc[df['评价人数'].idxmax()]['标题']} ({df['评价人数'].max()}人)")

# 方案A：Selenium（模拟浏览器）from selenium import webdriverfrom bs4 import BeautifulSoupdriver = webdriver.Chrome()driver.get('https://example.com/dynamic-page')# 等待 JS 加载完成...time.sleep(3)soup = BeautifulSoup(driver.page_source, 'html.parser')# 后续用 bs4 解析...driver.quit()# 方案B：Playwright（更现代，推荐）from playwright.sync_api import sync_playwrightwith sync_playwright() as p:    browser = p.chromium.launch()    page = browser.new_page()    page.goto('https://example.com')    page.wait_for_selector('.loaded-content')  # 等待元素出现    html = page.content()    browser.close()soup = BeautifulSoup(html, 'html.parser')

# 修改标签内容tag = soup.find('h1')tag.string = '新标题'# 修改属性tag['class'] = 'new-class'tag['id'] = 'main-title'# 添加新属性tag['data-custom'] = 'value'# 删除属性del tag['class']# 插入新标签new_tag = soup.new_tag('p')new_tag.string = '这是新段落'tag.append(new_tag)# 删除标签tag.decompose()# 替换标签new_tag = soup.new_tag('div')tag.replace_with(new_tag)# 输出修改后的 HTMLprint(soup.prettify())

# ① 完善请求头headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',    'Referer': 'https://movie.douban.com/top250',    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',}# ② 降低请求频率import time, randomtime.sleep(random.uniform(2, 5))  # 随机延迟 2-5 秒# ③ 使用代理 IP（高阶）proxies = {    'http': 'http://your-proxy:port',    'https': 'https://your-proxy:port'}response = requests.get(url, headers=headers, proxies=proxies)

# 方案1：手动指定编码response.encoding = 'utf-8'# 方案2：根据内容自动推断response.encoding = response.apparent_encoding# 方案3：保存时指定编码df.to_csv('data.csv', encoding='utf-8-sig')  # -sig 解决 Excel 打开乱码

# ① 检查 HTML 结构print(soup.prettify())  # 先看源码里到底有没有# ② 使用更稳健的选择器# 避免：soup.find('div', class_='exact-class-name')# 推荐：soup.find('div', class_=re.compile('partial'))# ③ 安全取值 + 调试result = soup.find('div', class_='item')if result:    print(result.text)else:    print("未找到元素，检查选择器或页面结构")

# 使用 strip 参数清理text = element.get_text(strip=True)# 或使用正则进一步清理import retext = re.sub(r'\s+', ' ', element.get_text()).strip()

# 检查分页规律def make_urls(base, total_pages, step=25):    return [f"{base}?start={i*step}" for i in range(total_pages)]# 豆瓣示例：start=0,25,50...urls = [f'https://movie.douban.com/top250?start={i}' for i in range(0, 250, 25)]# 加异常处理，单页失败不影响整体for url in urls:    try:        data = get_page_data(url)    except Exception as e:        print(f"跳过失败页面: {url}, 错误: {e}")        continue

# 错误 ❌soup.find('div', class_='item')  # 匹配不到 class="item active"# 正确 ✅ 方法1：传入列表（匹配包含任意一个）soup.find('div', class_=['item', 'active'])# 正确 ✅ 方法2：使用 CSS 选择器soup.select('div.item')  # 匹配包含 item 类的所有 div# 正确 ✅ 方法3：正则模糊匹配soup.find('div', class_=re.compile('item'))

+-----------------------------------------------------+|              BeautifulSoup 七大武器速查表            |+-----------------------------------------------------+|  ① find()        ->  精准定位第一个元素               ||  ② find_all()    ->  批量获取所有匹配元素             ||  ③ select()      ->  CSS选择器，灵活优雅              ||  ④ 文本/属性获取  ->  .text / ['href'] / .get()      ||  ⑤ 文档树遍历    ->  .parent / .children / .siblings  ||  ⑥ 正则匹配      ->  模糊搜索，动态class也不怕         ||  ⑦ prettify()    ->  格式化调试，结构一目了然         |+-----------------------------------------------------+