?

?? 什么是網(wǎng)絡(luò)爬蟲？一個超形象的比喻！

當(dāng)你想要知道全城所有奶茶店的價格，難道要一家家跑斷腿？這時候，你就需要一位“魔法小助手”——爬蟲！

???♀? 爬蟲 = 互聯(lián)網(wǎng)世界的“信息小精靈”

想象一下：

• 你坐在家里喊一聲：“小精靈，幫我看看全網(wǎng)奶茶店的價格單！”
• 這只小精靈就會：
  1?? 嗖嗖嗖飛遍所有奶茶店官網(wǎng)
  2?? 唰唰唰抄下價格和口味
  3?? 叮咚！把整理好的Excel甩到你桌上

這就是爬蟲的日常！
（只不過它用的是代碼而不是魔法翅膀?）

?? 爬蟲到底在干嘛？（技術(shù)小白版）

?? 爬蟲能做什么？（生活場景版）

A[爬蟲] --> B[比價省錢]
A --> C[搶限量球鞋]
A --> D[追蹤愛豆動態(tài)]
A --> E[查天氣航班]
A --> F[找租房信息]

? 核心原理：模擬人類瀏覽行為，批量抓取網(wǎng)頁中的目標(biāo)數(shù)據(jù)

一、?? 爬蟲：互聯(lián)網(wǎng)的"電子采蜜人"

# 舉個生活化例子理解爬蟲
import requests

# 你每天用瀏覽器查看的天氣
def get_weather():
    response = requests.get("http://tianqi.com")
    return response.text  # 爬蟲就是在代碼里做這件事！

print("爬蟲本質(zhì)：自動獲取網(wǎng)頁數(shù)據(jù)的程序")

? 核心原理：模擬人類瀏覽行為，批量抓取網(wǎng)頁中的目標(biāo)數(shù)據(jù)

二、?? 為什么要學(xué)Python爬蟲？

三、?? 環(huán)境準(zhǔn)備（小白必看）

1?? **安裝Python 3.8+**：官網(wǎng)直達鏈接
2?? 安裝開發(fā)工具：推薦PyCharm社區(qū)版（免費）
3?? 安裝必備庫：

pip install beautifulsoup4 requests lxml xlwt

?? 小技巧：Windows用戶復(fù)制上方命令到cmd執(zhí)行

四、?? 實戰(zhàn)：爬取xx電影Top250（附代碼）

爬蟲核心三步驟：

graph LR
A[發(fā)送請求] --> B[解析數(shù)據(jù)]
B --> C[存儲結(jié)果]

① 發(fā)送請求（核心技巧！）

import urllib.request

# 偽裝成瀏覽器的關(guān)鍵！
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

def get_html(url):
    req = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(req)
    return response.read().decode("utf-8")  # 解決中文亂碼

# 測試獲取第一頁
print(get_html("https://movie.douban.com/top250")[:500]) 

② 解析數(shù)據(jù)（BeautifulSoup神器）

from bs4 import BeautifulSoup
import re

# 抓取單頁電影信息的秘密武器
def parse_html(html):
    soup = BeautifulSoup(html, "html.parser")
    movie_list = []
    
    for item in soup.find_all('div', class_='item'):
        movie = {}
        movie['鏈接'] = item.find('a')['href']
        movie['標(biāo)題'] = item.find('span', class_='title').text
        movie['評分'] = item.find('span', class_='rating_num').text
        movie_list.append(movie)
    
    return movie_list

# 測試解析
html = get_html("https://movie.douban.com/top250")
print(parse_html(html)[0])

? 輸出效果：
{'鏈接': 'https://movie.douban.com/subject/1292052/',
'標(biāo)題': '肖申克的救贖',
'評分': '9.7'}

③ 存儲到Excel（辦公自動化）

import xlwt

def save_to_excel(data, filename):
    workbook = xlwt.Workbook(encoding='utf-8')
    sheet = workbook.add_sheet('豆瓣電影')
    
    # 寫表頭
    headers = ['排名', '標(biāo)題', '評分', '詳情鏈接']
    for col, header in enumerate(headers):
        sheet.write(0, col, header)
    
    # 寫數(shù)據(jù)
    for row, movie in enumerate(data, 1):
        sheet.write(row, 0, row)
        sheet.write(row, 1, movie['標(biāo)題'])
        sheet.write(row, 2, movie['評分'])
        sheet.write(row, 3, movie['鏈接'])
    
    workbook.save(filename)

# 實戰(zhàn)保存
all_movies = []
for i in range(0, 10):  # 抓取10頁
    url = f"https://movie.douban.com/top250?start={i*25}"
    html = get_html(url)
    all_movies.extend(parse_html(html))

save_to_excel(all_movies, "豆瓣Top250.xls")

五、?? 避坑指南

1. 被封IP怎么辦？

import time
time.sleep(2)  # 每請求一次睡2秒

1. 出現(xiàn)亂碼怎么辦？

response.content.decode('utf-8')  # 或gbk/GB2312

1. 動態(tài)網(wǎng)頁怎么爬？
   ?? 進階工具：Selenium/Puppeteer

六、?? 重要法律提示

1. 查看網(wǎng)站robots.txt（如：https://www.douban.com/robots.txt）
2. 禁止爬取用戶隱私數(shù)據(jù)
3. 商業(yè)用途需獲得授權(quán)

七、?? 資源推薦

• ?? 教程：《Python網(wǎng)絡(luò)爬蟲權(quán)威指南》
• ?? 工具：Postman（測試請求）
• ?? 模擬瀏覽器：Selenium

Q&A常見問題： 

Q：爬蟲必須用Python嗎？
A：Java/PHP/C#都能寫，但Python最適合新手

Q：需要數(shù)學(xué)基礎(chǔ)嗎？
A：加減乘除足矣，零門檻入門！