Python 的Scrapy 爬蟲入門：程式碼詳解

摘要：創建一個爬蟲項目，以圖蟲網為例抓取裡面的圖片。在頂部菜單“發現” “標籤”裡面是對各種圖片的分類，點擊一個標籤，我們以此作為爬蟲入口，分析一下該頁面

一、內容分析

接下來創建一個爬蟲項目，以圖蟲網為例抓取裡面的圖片。在頂部菜單“發現” “標籤”裡面是對各種圖片的分類，點擊一個標籤，比如“美女”，網頁的鏈接為：https://tuchong.com/tags/美女/，我們以此作為爬蟲入口，分析一下該頁面：

打開頁面後出現一個個的圖集，點擊圖集可全屏瀏覽圖片，向下滾動頁面會出現更多的圖集，沒有頁碼翻頁的設置。Chrome右鍵“檢查元素”打開開發者工具，檢查頁面源碼，內容部分如下：

<div class="content">
    <div class="widget-gallery">
        <ul class="pagelist-wrapper">
            <li class="gallery-item...

可以判斷每一個li.gallery-item是一個圖集的入口，存放在ul.pagelist-wrapper下，div.widget-gallery是一個容器，如果使用xpath 選取應該是：//div[@class=”widget -gallery”]/ul/li，按照一般頁面的邏輯，在li.gallery-item下面找到對應的鏈接地址，再往下深入一層頁面抓取圖片。

但是如果用類似Postman 的HTTP調試工具請求該頁面，得到的內容是：

<div class="content">
    <div class="widget-gallery"></div>
</div>

也就是並沒有實際的圖集內容，因此可以斷定頁面使用了Ajax請求，只有在瀏覽器載入頁面時才會請求圖集內容並加入div.widget-gallery中，通過開發者工具查看XHR請求地址為：

https://tuchong.com/rest/tags/美女/posts?page=1&count=20&order=weekly&before_timestamp=

參數很簡單，page是頁碼，count是每頁圖集數量，order是排序，before_timestamp為空，圖蟲因為是推送內容式的網站，因此before_timestamp應該是一個時間值，不同的時間會顯示不同的內容，這裡我們把它丟棄，不考慮時間直接從最新的頁面向前抓取。

請求結果為JSON格式內容，降低了抓取難度，結果如下：

{
  "postList": [
    {
      "post_id": "15624611",
      "type": "multi-photo",
      "url": "https://weishexi.tuchong.com/15624611/",
      "site_id": "443122",
      "author_id": "443122",
      "published_at": "2017-10-28 18:01:03",
      "excerpt": "10月18日",
      "favorites": 4052,
      "comments": 353,
      "rewardable": true,
      "parent_comments": "165",
      "rewards": "2",
      "views": 52709,
      "title": "微風不燥秋意正好",
      "image_count": 15,
      "images": [
        {
          "img_id": 11585752,
          "user_id": 443122,
          "title": "",
          "excerpt": "",
          "width": 5016,
          "height": 3840
        },
        {
          "img_id": 11585737,
          "user_id": 443122,
          "title": "",
          "excerpt": "",
          "width": 3840,
          "height": 5760
        },
        ...
      ],
      "title_image": null,
      "tags": [
        {
          "tag_id": 131,
          "type": "subject",
          "tag_name": "人像",
          "event_type": "",
          "vote": ""
        },
        {
          "tag_id": 564,
          "type": "subject",
          "tag_name": "美女",
          "event_type": "",
          "vote": ""
        }
      ],
      "favorite_list_prefix": [],
      "reward_list_prefix": [],
      "comment_list_prefix": [],
      "cover_image_src": "https://photo.tuchong.com/443122/g/11585752.webp",
      "is_favorite": false
    }
  ],
  "siteList": {...},
  "following": false,
  "coverUrl": "https://photo.tuchong.com/443122/ft640/11585752.webp",
  "tag_name": "美女",
  "tag_id": "564",
  "url": "https://tuchong.com/tags/%E7%BE%8E%E5%A5%B3/",
  "more": true,
  "result": "SUCCESS"
}

根據屬性名稱很容易知道對應的內容含義，這裡我們只需關心 postlist 這個屬性，它對應的一個數組元素便是一個圖集，圖集元素中有幾項屬性我們需要用到：

url：單個圖集瀏覽的頁面地址
post_id：圖集編號，在網站中應該是唯一的，可以用來判斷是否已經抓取過該內容
site_id：作者站點編號，構建圖片來源鏈接要用到
title：標題
excerpt：摘要文字
type：圖集類型，目前發現兩種，一種multi-photo是純照片，一種text是文字與圖片混合的文章式頁面，兩種內容結構不同，需要不同的抓取方式，本例中只抓取純照片類型，text類型直接丟棄
tags：圖集標籤，有多個
image_count：圖片數量
images：圖片列表，它是一個對像數組，每個對像中包含一個img_id屬性需要用到

根據圖片瀏覽頁面分析，基本上圖片的地址都是這種格式： https://photo.tuchong.com/{site_id}/f/{img_id}.jpg ，很容易通過上面的信息合成。

二、創建項目

進入cmder命令行工具，輸入workon scrapy 進入之前建立的虛擬環境，此時命令行提示符前會出現(Scrapy) 標識，標識處於該虛擬環境中，相關的路徑都會添加到PATH環境變量中便於開發及使用。
輸入 scrapy startproject tuchong 創建項目tuchong
進入項目主目錄，輸入scrapy genspider photo tuchong.com 創建一個爬蟲名稱叫photo (不能與項目同名)，爬取tuchong.com 域名（這個需要修改，此處先輸個大概地址），的一個項目內可以包含多個爬蟲

經過以上步驟，項目自動建立了一些文件及設置，目錄結構如下：

(PROJECT)
│ scrapy.cfg
│
└─tuchong
    │ items.py
    │ middlewares.py
    │ pipelines.py
    │ settings.py
    │ __init__.py
    │
    ├─spiders
    │ │ photo.py
    │ │ __init__.py
    │ │
    │ └─__pycache__
    │ __init__.cpython-36.pyc
    │
    └─__pycache__
            settings.cpython-36.pyc
            __init__.cpython-36.pyc

scrapy.cfg：基礎設置
items.py：抓取條目的結構定義
middlewares.py：中間件定義，此例中無需改動
pipelines.py：管道定義，用於抓取數據後的處理
settings.py：全局設置
spiders\photo.py：爬蟲主體，定義如何抓取需要的數據

三、主要代碼

items.py 中創建一個TuchongItem類並定義需要的屬性，屬性繼承自 scrapy.Field 值可以是字符、數字或者列表或字典等等：

import scrapy

class TuchongItem(scrapy.Item):
    post_id = scrapy.Field()
    site_id = scrapy.Field()
    title = scrapy.Field()
    type = scrapy.Field()
    url = scrapy.Field()
    image_count = scrapy.Field()
    images = scrapy.Field()
    tags = scrapy.Field()
    excerpt = scrapy.Field()
    ...

這些屬性的值將在爬蟲主體中賦予。

spiders\photo.py 這個文件是通過命令 scrapy genspider photo tuchong.com 自動創建的，裡面的初始內容如下：

import scrapy

class PhotoSpider(scrapy.Spider):
    name = 'photo'
    allowed_domains = ['tuchong.com']
    start_urls = ['http://tuchong.com/']

    def parse(self, response):
        pass

爬蟲名name，允許的域名allowed_domains（如果鏈接不屬於此域名將丟棄，允許多個），起始地址start_urls將從這裡定義的地址抓取（允許多個）
函數parse是處理請求內容的默認回調函數，參數response為請求內容，頁面內容文本保存在response.body中，我們需要對默認代碼稍加修改，讓其滿足多頁面循環發送請求，這需要重載start_requests函數，通過循環語句構建多頁的鏈接請求，修改後代碼如下：

import scrapy, json
from ..items import TuchongItem

class PhotoSpider(scrapy.Spider):
    name = 'photo'
    # allowed_domains = ['tuchong.com']
    # start_urls = ['http://tuchong.com/']

    def start_requests(self):
        url = 'https://tuchong.com/rest/tags/%s/posts?page=%d&count=20&order=weekly';
        # 抓取10個頁面，每頁20個圖集
        # 指定parse 作為回調函數並返回Requests 請求對象
        for page in range(1, 11):
            yield scrapy.Request(url=url % ('美女', page), callback=self.parse)

    # 回調函數，處理抓取內容填充TuchongItem 屬性
    def parse(self, response):
        body = json.loads(response.body_as_unicode())
        items = []
        for post in body['postList']:
            item = TuchongItem()
            item['type'] = post['type']
            item['post_id'] = post['post_id']
            item['site_id'] = post['site_id']
            item['title'] = post['title']
            item['url'] = post['url']
            item['excerpt'] = post['excerpt']
            item['image_count'] = int(post['image_count'])
            item['images'] = {}
            # 將images 處理成{img_id: img_url} 對像數組
            for img in post.get('images', ''):
                img_id = img['img_id']
                url = 'https://photo.tuchong.com/%s/f/%s.jpg' % (item['site_id'], img_id)
                item['images'][img_id] = url

            item['tags'] = []
            # 將tags 處理成tag_name 數組
            for tag in post.get('tags', ''):
                item['tags'].append(tag['tag_name'])
            items.append(item)
        return items

經過這些步驟，抓取的數據將被保存在 TuchongItem 類中，作為結構化的數據便於處理及保存。

前面說過，並不是所有抓取的條目都需要，例如本例中我們只需要type=”multi_photo 類型的圖集，並且圖片太少的也不需要，這些抓取條目的篩選操作以及如何保存需要在pipelines.py中處理，該文件中默認已創建類TuchongPipeline 並重載了process_item函數，通過修改該函數只返回那些符合條件的item，代碼如下：

...
    def process_item(self, item, spider):
        # 不符合條件觸發scrapy.exceptions.DropItem 異常，符合條件的輸出地址
        if int(item['image_count']) < 3:
            raise DropItem("美女太少: " + item['url'])
        elif item['type'] != 'multi-photo':
            raise DropItem("格式不對: " + + item['url'])
        else:
            print(item['url'])
        return item
...

當然如果不用管道直接在parse 中處理也是一樣的，只不過這樣結構更清晰一些，而且還有功能更多的FilePipelines和ImagePipelines可供使用，process_item將在每一個條目抓取後觸發，同時還有open_spider及close_spider 函數可以重載，用於處理爬蟲打開及關閉時的動作。

注意：管道需要在項目中註冊才能使用，在 settings.py 中添加：

ITEM_PIPELINES = {
    'tuchong.pipelines.TuchongPipeline': 300, # 管道名稱: 運行優先級(數字小優先)
}

另外，大多數網站都有反爬蟲的Robots.txt 排除協議，設置 ROBOTSTXT_OBEY = True 可以忽略這些協議，是的，這好像只是個君子協定。如果網站設置了瀏覽器User Agent或者IP地址檢測來反爬蟲，那就需要更高級的Scrapy功能，本文不做講解。

四、運行

返回cmder 命令行進入項目目錄，輸入命令：

scrapy crawl photo

終端會輸出所有的爬行結果及調試信息，並在最後列出爬蟲運行的統計信息，例如：

[scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 491,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 10224,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 2,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 11, 27, 7, 20, 24, 414201),
 'item_dropped_count': 5,
 'item_dropped_reasons_count/DropItem': 5,
 'item_scraped_count': 15,
 'log_count/DEBUG': 18,
 'log_count/INFO': 8,
 'log_count/WARNING': 5,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2017, 11, 27, 7, 20, 23, 867300)}

主要關注ERROR及WARNING兩項，這裡的Warning 其實是不符合條件而觸發的 DropItem 異常。

五、保存結果

大多數情況下都需要對抓取的結果進行保存，默認情況下 item.py 中定義的屬性可以保存到文件中，只需要命令行加參數 -o {filename} 即可：

scrapy crawl photo -o output.json # 輸出為JSON文件
scrapy crawl photo -o output.csv # 輸出為CSV文件

注意：輸出至文件中的項目是未經過 TuchongPipeline 篩選的項目，只要在 parse 函數中返回的Item 都會輸出，因此也可以在 parse 中過濾只返回需要的項目

如果需要保存至數據庫，則需要添加額外代碼處理，比如可以在 pipelines.py 中 process_item 後添加:

...
    def process_item(self, item, spider):
        ...
        else:
            print(item['url'])
            self.myblog.add_post(item) # myblog 是一個數據庫類，用於處理數據庫操作
        return item
...

為了在插入數據庫操作中排除重複的內容，可以使用 item['post_id'] 進行判斷，如果存在則跳過。

作者：大蟲

轉貼自： 36 大數據

Python 的Scrapy 爬蟲入門：程式碼詳解

摘要：創建一個爬蟲項目，以圖蟲網為例抓取裡面的圖片。在頂部菜單“發現” “標籤”裡面是對各種圖片的分類，點擊一個標籤，我們以此作為爬蟲入口，分析一下該頁面

一、內容分析

二、創建項目

三、主要代碼

四、運行

五、保存結果

留下你的回應

以訪客張貼回應

回應

釘選列表

喜愛列表

Web Services

YOU MAY BE INTERESTED

Popular Tags

	今日	14
	昨日	739
	本週	14
	本月	21850
	總訪客量	1858693

摘要： 創建一個爬蟲項目，以圖蟲網為例抓取裡面的圖片。在頂部菜單“發現” “標籤”裡面是對各種圖片的分類，點擊一個標籤，我們以此作為爬蟲入口，分析一下該頁面

一、內容分析

二、創建項目

三、主要代碼

四、運行

五、保存結果

留下你的回應

以訪客張貼回應

回應

釘選列表

喜愛列表

Web Services

YOU MAY BE INTERESTED

Popular Tags

摘要：創建一個爬蟲項目，以圖蟲網為例抓取裡面的圖片。在頂部菜單“發現” “標籤”裡面是對各種圖片的分類，點擊一個標籤，我們以此作為爬蟲入口，分析一下該頁面