什么是网页蒐集及其运作方式

什么是网页抓取？

Web抓取，也称为Web收集和Web数据提取，基本上是指通过超文本传输协议（HTTP）或通过Web浏览器从网站收集数据。

内容:

什么是网页抓取？
网页抓取如何工作？
网络抓取是如何开始的？
网页抓取效果如何？
Web抓取如何完成？

网页抓取如何工作？
通常，网页抓取包括三个步骤：

首先，我们将GET请求发送到服务器，然后我们将以Web内容的形式接收响应。接下来，我们按照树形结构路径解析网站的HTML代码。最后，我们使用python库搜索解析树。

我知道您的想法-网页抓取在纸上看起来不错，但实际上实际上更为複杂。我们需要编码来获取所需的数据，这使其成为谁拥有编程大师的特权。作为替代方案，有一些Web抓取工具可在指尖自动执行Web数据提取。

一个网页抓取工具将加载由用户提供的网址，并导致整个网站。因此，您可以通过简单的点击操作就可以提取任何Web数据，并以一种可行的格式将其归档到计算机中，而无需进行编码。

例如，您可能想从Twitter中提取帖子和评论。您所要做的就是将URL粘贴到刮板上，选择所需的帖子和评论并执行。因此，它节省了繁琐的複制和粘贴工作的时间和精力。

网络抓取是如何开始的？
儘管对于许多人来说，这听起来像是一个全新的概念，但是网络抓取的历史可以追溯到万维网诞生之时。

在开始的时候，互联网甚至是不可搜索的。在开发搜索引擎之前，Internet只是文件传输协议（FTP）站点的集合，用户可以在其中导航以查找特定的共享文件。为了查找和组织Internet上可用的分布式数据，人们创建了一个特定的自动化程序（今天称为Web爬网程序/机器人）来获取Internet上的所有页面，然后将所有内容複製到数据库中以进行索引。

然后，互联网发展壮大，最终成为数百万个网页的所在地，这些网页包含多种形式的大量数据，包括文本，图像，视频和音频。它变成一个开放的数据源。

随着数据源变得异常丰富且易于搜索，人们开始发现可以轻鬆地找到想要的信息，这些信息通常散布在许多网站上，但是问题出在了他们想要从Internet上获取数据的时候，而不是每个网站提供了下载选项，而手工複製显然很繁琐且效率低下。

这就是Web抓取的目的。Web抓取实际上由网络bot /爬网程序提供动力，它们的功能与搜索引擎中使用的相同。也就是说，获取并複制。唯一的区别可能是规模。Web抓取专注于仅从某些网站中提取特定数据，而搜索引擎通常会在Internet上获取大多数网站。

Web抓取如何完成？

1989年万维网的诞生
从技术上讲，万维网不同于Internet。前者是指信息空间，而后者是由计算机组成的网络。

感谢WWW的发明者蒂姆·伯纳斯·李（Tim Berners-Lee），他带来了以下三件事，这些事情早已成为我们日常生活的一部分：

我们用于访问所需网站的统一资源定位符（URL）；嵌入式超链接，使我们能够在网页之间导航，例如可以在其上/何处找到产品规格的产品详细信息页面，以及“购买了该产品的顾客还购买了”其他许多东西。不仅包含文本而且包含图像，音频，视频和软件组件的网页。

1990第一个网络浏览器
它也是由Tim Berners-Lee发明的，被称为WorldWideWeb（无空格），以WWW项目命名。网络出现一年后，人们就有了一种查看和交互的方式。

1991年第一个Web服务器和第一个http：//网页
网络保持缓慢增长。到1994年，HTTP服务器的数量已超过200。

1993年6月第一个网络机器人-万维网流浪者
儘管其功能与当今的网络机器人相同，但仅用于测量网络的大小。

1993年12月第一个基于搜寻器的网络搜索引擎-JumpStation
由于网络上没有太多可用的网站，因此当时的搜索引擎曾经依靠其人工网站管理员来收集链接并将其编辑为特定格式。 JumpStation带来了新的飞跃。这是第一个依靠网络机器人的WWW搜索引擎。

从那时起，人们开始使用这些程序化Web搜寻器来收穫和组织Internet。从Infoseek，Altavista和Excite到今天的Bing和Google，搜索引擎bot的核心保持不变： 找到一个网页，下载（获取）它，抓取该网页上显示的所有信息，然后添加它到搜索引擎的数据库。

由于网页是为人类用户设计的，而不是为了易于自动使用而设计的，即使使用Web bot的发展，计算机工程师和科学家仍然很难进行网络抓取，更不用说普通人了。因此，人们一直致力于使网络抓取更加可用。 2000年，Salesforce和eBay推出了自己的API，使程序员能够访问和下载一些可供公众使用的数据。 从那时起，许多网站都提供Web API供人们访问其公共数据库。 通过仅收集网站提供的数据，API为开发人员提供了一种更友好的Web抓取方式。

2004 Python美丽汤
并非所有网站都提供API。即使他们这样做，也不会提供您想要的所有数据。因此，程序员仍在研究开发一种可以简化Web抓取的方法。 2004年，《美丽汤》发行。它是为Python设计的库。

在计算机编程中，库是脚本模块的集合，类似于常用算法，该脚本模块无需重写即可使用，从而简化了编程过程。通过简单的命令，Beautiful Soup可以了解站点结构并帮助解析HTML容器中的内容。它被认为是用于Web抓取的最複杂，最先进的库，也是当今最常见和最受欢迎的方法之一。

2005-2006视觉网络抓取软件
2006年，斯蒂芬·安德森（Stefan Andresen）和他的Kapow软件（2013年被Kofax收购）推出了Web Integration Platform版本6.0，该版本现在被称为可视化Web抓取软件，它允许用户简单地突出显示网页的内容并将数据结构化为可用的excel文件或数据库。

最后，有一种方法可以使大量的非程序员自行进行网络抓取。 从那时起，网络抓取开始流行。现在，对于非程序员，他们可以轻鬆找到80多种提供可视化过程的现成数据提取软件。

网页抓取效果如何？
我们收集数据，处理数据，并将数据转化为可行的见解。事实证明，像微软和亚马逊这样的商业巨人在收集有关其消费者的数据方面投入了大量资金，以便通过个性化广告来定位用户。小企业由于缺乏剩余资金来收集数据而无法参与市场竞争。

借助Web抓取工具，现在任何人，公司和组织都可以访问Web数据进行分析。 在guru.com上搜索“网页抓取”时，您可以获得10,088个搜索结果，这意味着超过10,000名自由职业者正在网站上提供网页抓取服务。

跨行业的公司对Web数据的需求不断增长，繁荣了Web抓取市场，并带来了新的工作和商机。

同时，与其他新兴产业一样，网络抓取也带来了法律上的担忧。 围绕网络抓取合法性的法律环境正在不断发展。它的法律地位仍然高度针对具体情况。目前，从这一趋势中出现的许多最有趣的法律问题仍未得到解答。

消除网页抓取的潜在法律后果的一种方法是谘询专业的网页抓取服务提供商。Octoparse是提供刮削服务和Web数据提取工具的最佳Web刮削公司。不论是个体企业家还是大公司，都将受益于其先进的刮削技术。