写爬虫用什么语言好?(写爬虫用什么语言好一点)

爬虫选择什么工具呢？

1.爬虫是网络蜘蛛机器人，自动爬取数据，按我们制定的规则获取数据

2.为什么要用爬虫呢，私人定制搜索引擎，获得更多的数据，不再是互联网时代而是大数据时代

3.爬虫的原理：控制节点（url分配器）、爬虫节点（按照算法爬取数据存储到数据库）、资源库（存储爬取的数据库供应搜索）

4.爬虫的设计思路：爬取的网络地址、http协议获取对应的html页面

5.爬虫语言选择：

PHP：虽然冠名“世界上最好的语言”，但是作为爬虫的缺点：没有多线程的概念，对异步的支持不多，并发不足，爬虫要求效率高

C/c++ ：运行效率和性能最高的语言，但是学习成本非常高，代码成型较大

Java：生态圈非常广大，python最大的竞争者，本身非常笨重体量积，爬虫需要经常修改代码

Python：语言优美、代码简介、第三方功能模块多scrapy、调用替他语言接口、成熟较高的分布式策略

哪种语言均可，看你水平如何了。

对于刚刚接触爬虫的新手来说，经常会纠结于用是不是非得用Python 来做爬虫，但是无论是 JAVA，PHP 还是其他更低级语言，都可以很方便的实现爬虫的需要。

各种语言写爬虫相对于Python，区别在于静态语言出现错误的可能性很低，低级语言运行速度会更快一些，但是Python 的优势在于库更丰富，框架更加成熟，对于新手来说，在熟悉库和框架实际上需要花费不少的时间。

那么，到底用什么语言写爬虫最好呢？我们先来对比一下几种常用语言对于写爬虫的优缺点：

• 优点：高效率，快速，适合通用搜索引擎做全网爬取。
• 缺点：开发慢，写起来又臭又长，例如：天网搜索源代码。

• 优点：语言比较简单，PHP 是非常随意的一种语言。写起来容易让你把精力放在你要做的事情上，而不是各种语法规则等等。各种功能模块齐全，网页下载有curl 等扩展库;文档解析有dom、xpath、tidy、各种转码工具。总之容易上手。
• 缺点：并发处理能力较弱：由于当时 PHP 没有线程、进程功能，要想实现并发需要借用多路服用模型，PHP 使用的是 select 模型，实现其来比较麻烦。

• 简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取

貌似信息管理的人比较喜欢的语言，在这里就不介绍了。反正我是没用他来写过爬虫。

对于写爬虫，新手总想找一种一劳永逸的方法，觉得把握住一种方法，语言和框架，就可以长时间高枕无忧了，其实最好的学习方式不是样的，建议还是大胆尝试主流框架，在不大重要的学习项目中进行尝试。多使用几次才会知道优势劣势。总之，不管你使用哪一种爬虫手段，只要达到所需要的效果就可以了。

上面说了，很多语言都能用来写爬虫，但为什么最终还是选择Python呢？

首先，Python具有以下特点：

• 跨平台，对Linux和windows都有不错的支持。
• 科学计算，数值拟合：Numpy，Scipy
• 可视化：2d：Matplotlib(做图很漂亮), 3d: Mayavi2
• 复杂网络：Networkx
• 统计：与R语言接口：Rpy
• 交互式终端
• 网站的快速开发

1.各种爬虫框架，方便高效的下载网页;

2.多线程、进程模型成熟稳定，爬虫是一个典型的多任务处理场景，请求页面时会有较长的延迟，总体来说更多的是等待。多线程或进程会更优化程序效率，提升整个系统下载和分析能力。

3.GAE 的支持，当初写爬虫的时候刚刚有 GAE，而且只支持 Python ，利用 GAE 创建的爬虫几乎免费，最多的时候我有近千个应用实例在工作。

对于一个爬虫系统来说，下载和内文解析只是基本的两个功能。真正好的系统还包括完善的任务调度、监控、存储、页面数据保存和更新逻辑、排重等等。爬虫是一个耗费带宽的应用，好的设计会节约大量的带宽和服务器资源，并且好坏差距很大。

写爬虫是一边写，一边测试。测试不过再改改。这个过程用 python 写起来最方便。而且 python 相关的库也是最方便，有 request, jieba, redis, gevent, NLTK, lxml, pyquery, BeautifulSoup, Pillow. 不论是最简单的爬虫还是巨复杂的爬虫都轻松搞定。

个人建议首选用python写爬虫比较好。

大家有什么好的见解，欢迎评论区交流讨论，共同学习提高！

你是要在网上爬资料吗？

写爬虫现在用Python最快，从搭建环境到获取第一份资料，用几个小时就可以了，比其它的方法快了很多。

因为Python有很多可以直接用的web包，里面有包装好的工具。而且对环境的要求也不高，差不多的机器都能跑得很流畅。

缺点是如果想要给Python配一个界面，会比较烦，但是一般爬资料的人也不用界面，把爬来的资料放进文件里面或者数据库里面就好，出界面显示数据的事情，给别人干

能写爬虫的语言很多，Python、Java、go甚至JS等很多语言都可以写。不过个人推荐还是去学Python。

• Python语言的学习难度比较小，入门是很容易的。网上很多的Python教程，随便到网上找一套入门教程，看一看都是可以入门的，即便达不到做专业程序员的水平，拿来写写爬虫还是没问题的。
• Python的第三方库很多，拿来即用。Python目前之所以这么热门，很大一部分原因是Python是免费的，早期很多开发者贡献了一些开源第三方库，爬虫库也有很多，比如requests、scrapy。这些库大大降低了使用者的使用成本，开发起来方便。

• 网上有很多Python的爬虫案例。也是因为Python目前非常火热，网上有不少别人写好的案例，完全可以照葫芦画瓢写，省时省力。

不打算深入学习爬虫的，网上找找代码copy改改就OK了。如果对爬虫有特定需求的话，再去考虑Java，JS之类的语言。

最后给一句忠告:爬虫学得好，黑屋进得早。玩爬虫不要去触碰法律底线。