八爪魚采集器官方版是一款網(wǎng)頁數(shù)據(jù)采集器。八爪魚采集器官方版能夠?qū)Ω鞣N不同類型的網(wǎng)頁進行大量的數(shù)據(jù)采集工作,類型涵蓋廣泛,金融類、交易類、社交網(wǎng)站、電商商品等等的網(wǎng)站數(shù)據(jù)都能夠被規(guī)范性的采集下來,并且可以被導出。需要的朋友可不要錯過哦。
相關(guān)軟件 | 軟件說明 | 下載地址 |
---|---|---|
wetool | 最新版 | 查看 |
Highlight | 官方最新版 | 查看 |
有專自媒體助手 | 官方版 | 查看 |
小鹿拓創(chuàng)意工具 | 最新版 | 查看 |
uCodeLink | 正式版 | 查看 |
更新日志
新增激勵任務(wù),簡單幾步即可獲得余額獎勵,趕緊沖
首頁增加資訊模塊,最新采集模版和培訓直播不再錯過
OTD模板任務(wù)支持文件下載
團隊版試用申請免審核,第一時間快速體驗
模版關(guān)鍵詞或URL檢索優(yōu)化
軟件特色
模板采集
模板采集模式內(nèi)置上百種主流網(wǎng)站數(shù)據(jù)源,如京東、天貓、大眾點評等熱門采集網(wǎng)站,只需參照模板簡單設(shè)置參數(shù),就可以快速獲取網(wǎng)站公開數(shù)據(jù)。
智能采集
八爪魚采集可根據(jù)不同網(wǎng)站,提供多種網(wǎng)頁采集策略與配套資源,可自定義配置,組合運用,自動化處理。從而幫助整個采集過程實現(xiàn)數(shù)據(jù)的完整性與穩(wěn)定性。
云采集
由5000多臺云服務(wù)器支撐的云采集,7*24小時不間斷運行,可實現(xiàn)定時采集,無需人員值守,靈活契合業(yè)務(wù)場景,幫你提升采集效率,保障數(shù)據(jù)時效性。
API接口
通過八爪魚API,可以輕松獲取八爪魚任務(wù)信息和采集到的數(shù)據(jù),靈活調(diào)度任務(wù),比如遠程控制任務(wù)啟動與停止,高效實現(xiàn)數(shù)據(jù)采集與歸檔?;趶姶蟮腁PI體系,還可以無縫對接公司內(nèi)部各類管理平臺,實現(xiàn)各類業(yè)務(wù)自動化。
自定義采集
針對不同用戶的采集需求,八爪魚可提供自動生成爬蟲的自定義模式,可準確批量識別各種網(wǎng)頁元素,還有翻頁、下拉、ajax、頁面滾動、條件判斷等多種功能,支持不同網(wǎng)頁結(jié)構(gòu)的復雜網(wǎng)站采集,滿足多種采集應用場景。
便捷定時功能
簡單幾步點擊設(shè)置,即可實現(xiàn)采集任務(wù)的定時控制,不論是單次采集的定時設(shè)置,還是預設(shè)某一天或是每周每月的定時采集,都可以同時對多個任務(wù)自由進行設(shè)置,根據(jù)需要對選擇時間進行多重組合,靈活調(diào)配自己的采集任務(wù)。
全自動數(shù)據(jù)格式化
八爪魚內(nèi)置了強大的數(shù)據(jù)格式化引擎,支持字符串替換、正則表達式替換或匹配、去除空格、添加前綴或后綴、日期時間格式化、HTML轉(zhuǎn)碼等多項功能,采集過程中全自動處理,無需人工干預,即可得到所需格式數(shù)據(jù)。
多層級采集
很多主流新聞、電商類的網(wǎng)站,里面包含一級商品列表頁,也包含二級商品詳情頁,還有三級評論詳情頁面;不論網(wǎng)站有多少層級,八爪魚都可以不限制層級的采集數(shù)據(jù),滿足各類業(yè)務(wù)采集需求。
功能介紹
簡單來講,使用八爪魚可以非常容易的從任何網(wǎng)頁精確采集你需要的數(shù)據(jù),生成自定義的、規(guī)整的數(shù)據(jù)格式。八爪魚數(shù)據(jù)采集系統(tǒng)能做的包括但并不局限于以下內(nèi)容:
1. 金融數(shù)據(jù),如季報,年報,財務(wù)報告, 包括每日最新凈值自動采集;
2. 各大新聞門戶網(wǎng)站實時監(jiān)控,自動更新及上傳最新發(fā)布的新聞;
3. 監(jiān)控競爭對手最新信息,包括商品價格及庫存;
4. 監(jiān)控各大社交網(wǎng)站,博客,自動抓取企業(yè)產(chǎn)品的相關(guān)評論;
5. 收集最新最全的職場招聘信息;
6. 監(jiān)控各大地產(chǎn)相關(guān)網(wǎng)站,采集新房二手房最新行情;
7. 采集各大汽車網(wǎng)站具體的新車二手車信息;
8. 發(fā)現(xiàn)和收集潛在客戶信息;
9. 采集行業(yè)網(wǎng)站的產(chǎn)品目錄及產(chǎn)品信息;
10. 在各大電商平臺之間同步商品信息,做到在一個平臺發(fā)布,其他平臺自動更新。
持的格式有:MP4、MOV、WMV、AVI,碰到不能播放的視頻格式請自行轉(zhuǎn)換。
FAQ
問:如何采集電話號碼?(服務(wù)類網(wǎng)站)
答:許多服務(wù)類的網(wǎng)站(58同城、趕集網(wǎng)、美團等)電話號碼的采集
采集步驟:
1.確定采集的行業(yè)分類,將該分類的網(wǎng)頁復制到八爪魚采集器中打開
2.打開采集器,建立采集任務(wù)
3.輸入采集網(wǎng)址,根據(jù)需要編輯采集規(guī)則
4.選擇采集方式,開始采集
5.導出采集好的數(shù)據(jù)
注意事項:
采集不同的數(shù)據(jù)需要的規(guī)則略有不同,不懂怎么編輯規(guī)則的可以到規(guī)則市場尋找用戶分享的完整采集規(guī)則
問:八爪魚可以采集QQ空間嗎?如何采集?
答:八爪魚采集器可以采集QQ空間中所有的數(shù)據(jù)信息,但加了密碼的空間是無法采集的,
自己的QQ空間則需要登錄后再進行采集。
采集步驟:
1.創(chuàng)建采集任務(wù),在八爪魚采集器的瀏覽器中打開需要采集的空間;
2.編輯采集規(guī)則,采集需要的信息;
3.將采集好的數(shù)據(jù)導出。
smart模式下輸入網(wǎng)址,提示登錄失敗?
采集的網(wǎng)頁需要進行登陸的,smart模式因為不帶自動登錄系統(tǒng)的能力,所以會提示登錄失敗。
smart模式針對的是開放的網(wǎng)頁,需要登錄的網(wǎng)頁,暫時無法進行采集,向?qū)J酵瑯右彩遣恢С植杉枰卿浀木W(wǎng)頁。
這類網(wǎng)站必須使用八爪魚采集器的高級模式才能進行采集。
安裝步驟
一、在本站下載最新版的八爪魚采集器安裝包,雙擊運行。

二、可以點擊【瀏覽】,選擇軟件的安裝路徑;或者直接點擊【下一步】,軟件會安裝在默認的位置。


三、耐心等待軟件安裝完畢,點擊【關(guān)閉】就可以啦。

使用技巧
先我們新建一個任務(wù)-->進入流程設(shè)計頁面-->添加一個循環(huán)步驟到流程中-->選中循環(huán)步驟-->勾選上軟件右方的URL 列表勾選框-->打開URL列表文本框-->將準備好的URL列表填寫到文本框中

接下來往循環(huán)中拖入一個打開網(wǎng)頁的步驟-->選中打開網(wǎng)頁步驟-->勾選上使用當前循環(huán)里的URL作為導航地址-->點擊保存。系統(tǒng)會在界面下方的瀏覽器中打開循環(huán)中選中的URL對應的網(wǎng)頁

到這里,循環(huán)打開網(wǎng)頁的流程就配置完成了,運行流程的時候,系統(tǒng)會逐個的打開循環(huán)中設(shè)置的URL。最后我們不需要配置一個采集數(shù)據(jù)的步驟,這里就不在多講,下圖就是最終和流程。

下面是流程最終的運行結(jié)果
