本文介紹使用八爪魚7.0采集大眾點評商家團購評價數據的方法

采集網站:

http://t.dianping.com/deal/20408602

?

使用功能點:

Ajax點擊和翻頁

Ajax滾動加載設置

分頁列表內容提取

?

大眾點評:大眾點評網于2003年4月成立于上海。大眾點評是中國領先的本地生活信息及交易平臺,也是全球最早建立的獨立第三方消費點評網站。大眾點評不僅為用戶提供商戶信息、消費點評及消費優惠等信息服務,同時亦提供團購、餐廳預訂、外賣及電子會員卡等O2O(Online To Offline)交易服務。

大眾點評采集數據說明:本文進行了深圳大眾點評-美食店鋪團購的會員評價信息采集。本文僅以“深圳大眾點評-美食店鋪團購的會員評價信息采集”為例。大家在實操過程中,可根據自身需求,更換大眾點評的其他內容進行數據采集。

大眾點評字段詳細說明:評價會員名、評價發布時間、評價內容。

?

步驟1:創建采集任務

進入主界面選擇,選擇自定義模式

1?

?

上面網址的網址復制粘貼到網站輸入框中,點擊保存網址

2?

保存網址后,頁面將在八爪魚采集器中打開,紅色方框中的信息是這次演示要采集的內容

3

?

步驟2:設置ajax頁面加載時間

l?設置打開網頁步驟的ajax滾動加載時間

l?找到翻頁按鈕,設置翻頁循環

l?設置翻頁步驟ajax延時時間?

在頁面打開后,當下拉頁面時,會發現頁面有新的數據在進行加載

所以需要進行以下設置:打開流程圖,點擊“打開網頁”步驟,在右側的高級選項框中,勾選頁面加載完成向下滾動設置滾動次數,每次滾動間隔時間,一般設置2秒這個頁面的滾動方式選擇“直接滾動到底部”;最后點擊確定

4?

注意:這里的滾動次數及間隔需要針對網站進行設置,測試方法可以參考八爪魚7.0教程——AJAX滾動教程

?

將頁面下拉到底部,找到下一頁按鈕,鼠標點擊,在右側操作提示框中,選擇循環點擊下一頁

5

由于頁面使用了ajax加載技術,需要對翻頁步驟設置ajax延時加載(ajax判斷方法:打開流程圖,找到翻頁循環框,手動執行翻頁,看網站有沒有進行加載)在右側的高級選項中,勾選Ajax加載數據,選擇合適的超時時間,一般設置2秒;最后點擊確定

6

?

步驟3:評價信息采集

l?選中需要采集的字段信息,創建采集列表

l?編輯采集字段名稱

如圖,移動鼠標選中列表中評價的名稱,右鍵點擊,需采集的內容會變成綠色

7

?

移動鼠標選中紅色方框任意文本字段后,列表中所有適配內容會變成綠色,在右側操作提示框中,查看提取的字段,可以將不需要的字段刪除,然后點擊“選中全部”

8

注意:?鼠標放在提示框中的字段上會出現一個刪除標識,點擊即可刪除該字段。

8.1

?

?

點擊“采集以下數據”

9

修改采集字段名,并點擊下方提示中的“保存并開始采集

?

步驟4:數據采集及導出

根據采集的情況選擇合適的采集方式,這里選擇啟動本地采集

11

說明:本地采集占用當前電腦資源進行采集,如果存在采集時間要求或當前電腦無法長時間進行采集可以使用云采集功能,云采集在網絡中進行采集,無需當前電腦支持,電腦可以關機,可以設置多個云節點分攤任務,10個節點相當于10臺電腦分配任務幫你采集,速度降低為原來的十分之一;采集到的數據可以在云上保存三個月,可以隨時進行導出操作。

?

采集完成后,會跳出提示,選擇導出數據

13

采集完成后選擇合適的導出方式,將采集好的數據導出

14

?