本文介紹使用八爪魚7.0采集美團商家數據的方法(以深圳美食店鋪為例)。

采集網站:

http://sz.meituan.com/category/yuegangcai/nanshanqu?mtt=1.index%2Fdefault%2Fpoi.0.0.j6cxwtlv


美團網:主要包括美食攻略,外賣網上訂餐,酒店預訂,旅游團購,飛機票火車票,ktv團購等信息,是一家集店鋪信息查詢,商家評分/評價的一站式生活服務網站。

?

數據說明:本文進行了美團網-美食粵港菜-深圳南山分類下的所有店鋪信息采集。


本文僅以美團網-美食粵港菜-深圳南山分類下的所有店鋪信息采集”為例。大家在實操過程中,可根據自身需求,更換美團網的分類和字段進行數據采集。

?

詳細字段說明:商家名稱,商家類別,商家地址,商家評價人數,商家價格,商家人均價格

?

使用功能點:

l?Ajax滾動加載設置

l?分頁列表內容提取

?

步驟1:創建采集任務

進入主界面選擇,選擇自定義模式

1?

?

上面網址的網址復制粘貼到網站輸入框中,點擊保存網址

2?

保存網址后,頁面將在八爪魚采集器中打開,紅色方框中的信息是這次演示要采集的內容

3?

?

步驟2:設置ajax頁面加載時間

l?設置打開網頁步驟的ajax滾動加載時間

l?找到翻頁按鈕,設置翻頁循環

l?設置翻頁步驟ajax下拉加載時間

?

在頁面打開后,當下拉頁面時,會發現頁面有新的數據在進行加載

4?

?

?

所以需要進行以下設置:打開流程圖,點擊“打開網頁”步驟,在右側的高級選項框中,勾選頁面加載完成向下滾動設置滾動次數,每次滾動間隔時間,一般設置2秒這個頁面的滾動方式選擇直接滾動到底部”;最后點擊確定

5?

注意:這里的滾動次數、間隔及方式需要針對采集的網站進行設置,測試方法可以參考八爪魚7.0教程——AJAX滾動教程

?

將頁面下拉到底部,找到下一頁按鈕,鼠標點擊,在右側操作提示框中,選擇循環點擊下一頁

6?

由于頁面使用了ajax加載技術,當采集時候,網站總需要重新加載,所以對翻頁步驟需進行上面打開網頁步驟中的設置

71?

步驟3:商家信息采集

l?選中需要采集的字段信息,創建數據提取采集列表

l?編輯采集字段名稱

?

如圖,移動鼠標選中列表中商家的名稱,右鍵點擊,需采集的內容會變成綠色

7?

?

移動鼠標選中紅色方框任意文本字段后,列表中所有適配內容會變成綠色在右側操作提示框中,查看提取的字段,可以將不需要的字段刪除,然后點擊“選中全部”

8?

注意:?鼠標放在提示框中的字段上會出現一個刪除標識,點擊即可刪除該字段。

9?

?

點擊“采集以下數據”

10?

修改采集字段名,并點擊下方提示中的保存并開始采集

11?

步驟4:數據采集及導出

根據采集的情況選擇合適的采集方式,這里選擇啟動本地采集

12?

說明:本地采集占用當前電腦資源進行采集,如果存在采集時間要求或當前電腦無法長時間進行采集可以使用云采集功能,云采集在網絡中進行采集,無需當前電腦支持,電腦可以關機,可以設置多個云節點分攤任務,10個節點相當于10臺電腦分配任務幫你采集,速度降低為原來的十分之一;采集到的數據可以在云上保存三個月,可以隨時進行導出操作。

?

采集完成后選擇合適的導出方式,將采集好的數據導出

13

相關采集教程


八爪魚實戰教程——大眾點評商家信息采集視頻教程
大眾點評商家數據采集
百度地圖商家信息采集
大眾點評商家數據采集——分頁詳情頁面
百姓網商家信息采集
如何使用八爪魚采集器采集亞馬遜買家評論


?

?

?