Back to Question Center
0

Semalt:如何从Craigslist中刮取数据

1 answers:

Craigslist可能是最困难的地方. 然而,一个适当的数据刮擦可以使这个过程更轻松. 虽然您可以轻松从某些站点的API中获取数据,但Craigslist的API不允许您提取只读数据. 相反,它允许用户发布数据,即使是批量发布. 但是,如果你选择正确的刮刀,你仍然可以刮Craigslist - south america holiday packages.

选择正确的Craigslist刮板

你的目标是选择一个刮板,使您能够收集所有你需要的信息. 你可以选择免费的数据刮板或付费.

免费Data Scraper

Scrapy是一个通用的刮取解决方案,帮助你抓Craigslist. 它提供了一些免费的最好的抓取服务,不仅在Craigslist,而且在各种网站. 无论您是要进行基本的还是复杂的任务,您只需参考Scrapy文档和教程即可完成.

付费数据刮板

Visual Web Ripper是一个强大的抓取工具,使您可以刮Craigslist. 刮板图形功能和教程使其非常易于使用. Visual Web Ripper相对昂贵的事实对于一些用户来说是一个挑战. 但是,它提供免费的终身升级.

哪个刮刀是最好的?

如果你正在寻找优质的刮板服务,你不会错误的选择上述刮板.

那么为Craigslist设计的数据刮取器呢?虽然这听起来不错,但为Craigslist创建的scrapers是有限的,因为你不能在另一个网站上使用它们.

使用代理

Craigslist对检测和停止刮板是积极的. 如果您注意到,您的IP地址被禁止,您可以使用代理IP地址隐藏您的身份. 一个代理隐藏你的身份和行为,所以你可以抓取数据而不被发现.

如何配置您的代理?

代理配置取决于您要使用的刮刀的类型. 要配置Visual Web Ripper,请注意“代理”选项卡并输入所需的信息.

要配置Scrapy,您需要参考有关如何配置代理的文档. 当您使用免费的数据刮取器时,这是常态.

部署刮刀

花点时间,确保在部署工具之前相应地设置一切. 一旦工具的设置被检查,启动刮刀,并从Craigslist获取所需的所有数据.

Craigslist数据应用程序

Craigslist数据可以以各种方式使用. 例如,如果你想购买一辆二手车,你可以刮掉二手车的所有数据来比较他们的价格等等. 您也可以使用Craigslist数据来产生线索,间谍竞争对手等等. 这些只是使用刮取数据的几种方法.

立即开始

现在您知道如何从Craigslist中抓取数据. 获得一个好的抓取工具,你会发现Craigslist上你需要的一切!

December 22, 2017