批量采集下载网页中的图片数据,图片采集软件

l 采集网站

【场景描述】采集revisionvillage网页中所有真题图片数据

【源网站介绍】revisionvillage,国外知名IB真题网站,每道题都有视频讲解的IB数学刷题网站。

【使用工具】前嗅ForeSpider数据采集系统,免费下载:ForeSpider免费版本下载地址

【入口网址】https://www.revisionvillage.com/ib-math-analysis-and-approaches-hl/questionbank/number-and-algebra/sequences-and-series/

【采集内容】

采集页面中的真题图片数据。

批量采集下载网页中的图片数据,图片采集软件

【采集效果】如下图所示:

批量采集下载网页中的图片数据,图片采集软件

l 配置步骤

1. 新建采集任务

选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

批量采集下载网页中的图片数据,图片采集软件

2.寻找图片链接

在浏览器中打开该页面,点击F12,选择指针后,点击页面中的图片位置,在源码中找到图片链接,如下图所示:

批量采集下载网页中的图片数据,图片采集软件

图片链接如下图所示:

批量采集下载网页中的图片数据,图片采集软件

将图片链接复制,在浏览器中打开,即为该图片页面:

批量采集下载网页中的图片数据,图片采集软件

3. 查找图片链接位置/规律

观察源码发现,每一个真题在源码中对应一个class,如下图所示:红框内表示真题1所对应的源码,绿框内为所有真题的源码,是从class为【et_builder_inner_content et_pb_gutters3】的子节点的下一个节点的下一个节点开始。

批量采集下载网页中的图片数据,图片采集软件

第一真题所对应源码打开以后,如下图所示,观察发现:图片链接的位置在该节点的子节点的下一个节点的子节点的子节点的子节点的子节点的href值。

批量采集下载网页中的图片数据,图片采集软件

4.数据抽取

①打开模板,新建一个数据抽取,如下图所示:

批量采集下载网页中的图片数据,图片采集软件

②新建数据表,具体如下图所示:

批量采集下载网页中的图片数据,图片采集软件

③关联数据表

批量采集下载网页中的图片数据,图片采集软件

④打开脚本窗口,新建数据抽取脚本。

批量采集下载网页中的图片数据,图片采集软件

⑤根据图片链接规律,编写脚本如下所示:

批量采集下载网页中的图片数据,图片采集软件

脚本文本:

var a = DOM.FindClass("et_builder_inner_content et_pb_gutters3","div");//定义a为class为【et_builder_inner_content et_pb_gutters3】的节点
var b = a.child.next.next.next;//定义b为a节点的子节点的下一个节点的下一个节点的下一个节点,即真题一所对应的源码中的位置节点
for(i=1;i<=32;i++){//写一个for循环,来获取每一个图片
record re;//返回数据固定搭配
re.id = i;//范围主键为i
var c=b.child.next.child.child.child.href;//定义c为b节点的子节点的下一个节点的子节点的子节点的子节点的href属性值,即获取到图片链接值
var doc = EXTRACT.OpenDoc(CHANN,c, "");//打开图片链接
var p=doc.GetDom().GetSource(c);//定义p为图片链接打开页面中的源码,即图片
re.pic=p;//返回p
Re.ex=“.png”;//返回后缀为.png
EXTRACT.CloseDoc(doc);//固定搭配,关闭图片链接
RESULT.AddRec(re,this.schemaid);//固定搭配,返回一个数据
b=b.next;//b为b的下一个节点,即下一个图片所对应源码的位置节点
}

⑥采集预览

发现图片都采集出来了,说明配置成功。

批量采集下载网页中的图片数据,图片采集软件

l 采集步骤

模板配置完成,采集预览没有问题后,可以进行数据采集。

1.建立数据表单

选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【ID】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

批量采集下载网页中的图片数据,图片采集软件

2.开始采集

选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

批量采集下载网页中的图片数据,图片采集软件

3.导出数据

采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。

批量采集下载网页中的图片数据,图片采集软件

批量采集下载网页中的图片数据,图片采集软件

批量采集下载网页中的图片数据,图片采集软件

4.导出的文件打开如下图所示

批量采集下载网页中的图片数据,图片采集软件

本教程仅供教学使用,严禁用于商业用途!

l 前嗅简介

前嗅大数据,国内领先的研发型大数据专家,多年来致力于为大数据技术的研究与开发,自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台!

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.yoka8.cn/4432.html