科技公司钟爱的50款开源工具

大数据

1 Hadoop

Apache主持的这个项目是最广为人知的大数据工具。众多公司为Hadoop提供相关产品或商业支持，包括亚马逊网络服务、Cloudera、Hortonworks、IBM、Pivotal、Syncsort和VMware。知名用户包括：阿里巴巴、美国在线、电子港湾、Facebook、谷歌、Hulu、领英、Spotify、推特和雅虎。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//hadoopapacheorg

2 Hypertable

Hypertable在互联网公司当中非常流行，它由谷歌开发，用来提高数据库的可扩展性。用户包括百度、电子港湾、Groupon和Yelp。它与Hadoop兼容，提供商业支持和培训。

支持的操作系统：Linux和OS X

相关网站：http：//wwwhypertablecom

3 Mesos

Apache Mesos是一种资源抽象工具，有了它，企业就可以鼗整个数据中心当成一个资源池，它在又在运行Hadoop、Spark及类似应用程序的公司当中很流行。使用它的企业组织包括：Airbnb、欧洲原子核研究组织（CERN）、思科、Coursera、Foursquare、Groupon、网飞（Netflix）、推特和优步。

支持的操作系统：Linux和OS X

相关网站：http：//mesosapacheorg

4 Presto

Presto由Facebook开发，自称是“一款开源分布式SQL查询引擎，用于对大大小小（从GB级到PB级）的数据源运行交互式分析查询。”Facebook表示，它将Presto用于对300PB大小的数据仓库执行查询，其他用户包括Airbnb和Dropbox。

支持的操作系统：Linux

相关网站：https：//prestodbio

5 Solr

这种“快若闪电”的企业搜索平台声称高度可靠、扩展和容错。使用它的公司包括：AT&T、Ticketmaster、康卡斯特、Instagram、网飞、IBM、Adobe和SAP Hybris。

支持的操作系统：与操作系统无关

相关网站：http：//luceneapacheorg/solr/

6 Spark

Apache Spark声称，“它在内存中运行程序的速度比Hadoop MapReduce最多快100倍，在磁盘上快10倍。”Spark“支持”的企业组织包括：亚马逊、百度、Groupon、日立解决方案、IBM、MyFitnessPal、诺基亚和雅虎。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//sparkapacheorg

7 Storm

正如Hadoop用来处理批量数据，Apache Storm用来处理实时数据。官方网站上显示用户包括：天气频道、推特、雅虎、WebMD、Spotify、威瑞信（Verisign）、Flipboard和Klout。

支持的操作系统：Linux

相关网站：https：//stormapacheorg

云计算

8 Cloud Foundry

Cloud Foundry提供用于构建平台即服务的开源工具。它声称“由行业领袖为行业领袖构建”，其支持者包括IBM、 Pivotal、惠普企业、VMware、英特尔、SAP和EMC。

支持的操作系统：Linux

相关网站：https：//wwwcloudfoundryorg

9 CloudStack

这个交钥匙IaaS解决方案构成了许多公共云和私有云的基础。它的用户极多，包括阿尔卡特－朗讯、苹果、Autodesk、英国电信、冠群科技、思杰、Cloudera、戴尔、富士通、SAP和韦里逊。

支持的操作系统：与操作系统无关

相关网站：http：//cloudstackapacheorg

10 OpenStack

这种很受欢迎的云计算平台声称，“世界上成百上千个大品牌”每天依赖它。支持者包括：AT&T、Ubuntu、惠普企业、IBM、英特尔、Rackspace、红帽、SUSE、思科、戴尔、EMC、赛门铁克及另外许多知名科技公司。

支持的操作系统：与操作系统无关

相关网站：http：//wwwopenstackorg

11 Scalr

这种云管理平台备受市场研究公司的好评，它简化了管理多个云环境的过程。知名用户包括Expedia、三星、美国宇航局喷气推进实验室、埃森哲、索尼和Autodesk。

支持的操作系统：Linux

相关网站：http：//wwwscalrcom

容器

12 Docker

Docker在相对新兴的容器领域迅速确立起了主导平台这一地位。科技界的许多大牌公司在构建或提供扩展或使用Docker技术的产品，包括亚马逊、微软、IBM、惠普企业、红帽、Rackspace和Canonical。

支持的操作系统：Windows、Linux和OS X

相关网站：https：//wwwdockercom

输入标题 内容管理

13 DNN

这款内容管理解决方案之前名为DotNetNuke，承诺构建丰富的交互式网站时，只要花较少的精力，就能收到显著的成效。用户包括佳能、时代华纳有线电视、德州仪器和美国银行。

支持的操作系统：Windows

相关网站：http：//wwwdnnsoftwarecom

14 Drupal

Drupal声称，98000多个开发人员在为这个极其流行的内容管理系统积极贡献代码。支持者包括微软、Zend、Fastly和New Relic，其内容市场有数百家公司参与其中，它们提供了相关的产品和服务。

支持的操作系统：与操作系统无关

相关网站：https：//wwwdrupalorg

15 Joomla

Joomla为数百万个网站提供平台，其下载量超过了5000万人次。许多用户当中就有这些公司：电子港湾、巴诺书店、MTV和标致。

支持的操作系统：与操作系统无关

相关网站：https：//wwwjoomlaorg

16 MediaWiki

MediaWiki以维基百科使用的软件而出名，它还为百度、Vistaprint、Novell、英特尔和美国宇航局支持网站。它是构建可编辑网页的不错选择，许多企业组织用它来构建内部知识库。

支持的操作系统：Windows、Linux/Unix和OS X

相关网站：https：//wwwmediawikiorg/wiki/MediaWiki

数据库

17 Cassandra

这种NoSQL数据库由Facebook开发，其用户包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、网飞、Reddit及其他科技公司。它支持极其庞大的数据集，声称拥有非常高的性能和出色的耐用性和弹性。可通过第三方获得支持。

支持的操作系统：与操作系统无关

相关网站：http：//cassandraapacheorg

18 CouchDB

CouchDB为Web而开发，这种NoSQL数据库将数据存储在JSON文档中，这类文档可通过HTTP来加以查询，并用JavaScript来处理。Cloudant现在归IBM所有，它提供一款专业人员支持的软件版本，用户包括：三星、Akamai、Expedia、微软游戏工作室及其他公司。

支持的操作系统：Windows、Linux、OS X和安卓

相关网站：http：//couchdbapacheorg

19 MongoDB

MongoDB是一种NoSQL数据库，声称“针对关键任务型部署环境进行了优化”，用户包括Foursquare、《福布斯》、Pebble、Adobe、领英、eHarmony及其他公司。提供收费的专业版和企业版。

支持的操作系统：Windows、Linux、OS X和Solaris

相关网站：http：//wwwmongodborg

20 MySQL

MySQL自称是“世界上最流行的开源数据库”，备受众多互联网公司的青睐，比如YouTube、贝宝、谷歌、Facebook、推特、电子港湾、领英、优步和亚马逊。除了免费社区版外，它还有多款收费版。最新更新版声称速度比老版本快三倍。

支持的操作系统：Windows、Linux、Unix和OS X

相关网站：http：//wwwmysqlcom

21 Neo4j

Neo4J自诩为“世界上领先的图形数据库”，用于欺诈检测、推荐引擎、社交网站、主数据管理及更多领域。用户包括电子港湾、沃尔玛、思科、惠普、埃森哲、CrunchBase、eHarmony、Carecom及另外许多企业组织。

支持的操作系统：Windows和Linux

相关网站：http：//neo4jcom

开发工具

22 Bugzilla

Bugzilla是开源社区的宠儿，用户包括Mozilla、Linux基金会、GNOME、KDE、Apache、LibreOffice、Open Office、Eclipse、红帽、Novell及其他公司。这款软件缺陷追踪系统（bugtracker）的重要功能包括：高级搜索功能、电子邮件通知、预定报告、时间追踪、出色的安全及更多特性。

支持的操作系统：Windows、Linux和OS X

相关网站：https：//wwwbugzillaorg

23 Eclipse

Eclipse项目最为知名的是，它是一种大受欢迎的面向Java的集成开发环境（IDE），它还提供面向C/C++和PHP的IDE，此外提供另外一大批开发工具。主要支持者包括冠群科技、谷歌、IBM、甲骨文、红帽和SAP。

支持的操作系统：与操作系统无关

相关网站：http：//wwweclipseorg

24 Emberjs

这种框架用于“构建野心勃勃的Web应用程序”，旨在为JavaScript开发人员提高工作效率。官方网站上显示用户包括雅虎、Square、Livingsocial、Groupon、Twitch、TED、网飞、Heroku和微软。

支持的操作系统：与操作系统无关

相关网站： http：//emberjscom

25 Grunt

Grunt是一种JavaScript任务运行工具，有助于自动处理重复性的开发任务。使用它的知名科技公司包括：Adobe、推特、Mozilla、Cloudant和WordPress。

支持的操作系统：与操作系统无关

相关网站：http：//gruntjscom

26 LoopBack

这个Nodejs框架旨在让用户很容易构建REST API，并连接到后端数据存储区。知名用户包括GoDaddy、美国能源部和赛门铁克。

支持的操作系统：Windows、Linux、OS X、安卓和iOS

相关网站：http：//loopbackio

27 Nodejs

Nodejs的成名之处在于，它让开发人员可以使用JavaScript，编写服务器端应用程序。开发工作之前由Joyent管控，现在交由Nodejs基金会监管。用户包括IBM、微软、雅虎、SAP、领英、贝宝和网飞。

支持的操作系统：Windows、Linux和OS X

相关网站：https：//nodejsorg/en/

28 PhoneGap

Apache Cordova是一种开源框架，让开发人员可以使用HTML、CSS和JavaScript等Web技术，构建移动应用程序。PhoneGap是最受欢迎的Cordova发行版。使用某一种Cordova发行版的科技公司包括：维基百科、Facebook、 Salesforce、IBM、微软、Adobe和黑莓。

支持的操作系统：Window、Linux和OS X

相关网站：http：//phonegapcom

29 React Native

React Native由Facebook开发，这种框架可用于使用JavaScript和React JavaScript库（同样由Facebook开发），构建原生移动应用程序。其他用户包括：《探索》频道和CBS体育新闻网。

支持的操作系统：OS X

相关网站：http：//facebookgithubio/react-native/

30 Ruby on Rails

这个Web开发框架在开发人员当中极其流行，它声称“为确保编程员满意和持续高效地工作进行了优化”。用户包括Basecamp、推特、Shopify和GitHub等公司。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//rubyonrailsorg

31 Sencha Touch

Sencha Touch自称是“一种用于构建通用移动应用程序的领先的跨平台移动Web应用程序框架，基于HTML5和JavaScript”。它既有开源许可证版本，也有商业许可证版本。据官方网站声称，《财富》100强中60%使用它。

支持的操作系统：与操作系统无关

相关网站：https：//wwwsenchacom/products/touch/

32 ZK

索尼、Sun、IBM、Adobe、电子港湾、富士通、梦工厂和优利系统等公司使用这种Java Web框架来构建Web和移动应用程序。提供收费支付及相关工具。

支持的操作系统：与操作系统无关

相关网站：http：//wwwzkossorg

中间件

33 JBoss

红帽的JBoss中间件包括各种轻量级、对云计算友好的工具，同时结合、集成和自动化各个企业应用程序和系统。用户包括：橡树岭国家实验室、日产、思科、冠群科技、AMD及其他公司。

支持的操作系统：Linux

相关网站：http：//wwwredhatcom/en/technologies/jboss-middleware

操作系统

34 红帽企业版Linux

红帽最知名的产品就是其旗舰Linux发行版，这需要付费订购。据该公司声称，《财富》全球500强公司中超过90%在使用红帽产品。

相关网站：http：//wwwredhatcom/en/technologies/linux-platforms/enterprise-linux

35 SUSE Linux企业版

这款面向企业的Linux发行版同样备受大企业的追捧，它也需要付费订购。该公司声称，它有13000多个企业用户，包括伦敦证券交易所、SAP、天睿（Teradata）和沃尔格林连锁药店（Walgreens）。

相关网站：https：//wwwsusecom

36 Ubuntu

Ubuntu提供广受欢迎的Linux发行版，有多个版本：桌面版、服务器版、云版、手机版、平板电脑版和物联网版。声称用户包括亚马逊、IBM、维基百科和英伟达。

相关网站：http：//wwwubuntucom/index_kylin

项目管理

37 Project Libre

这个屡获奖项的项目是微软Project的替代者，下载量已有近200万人次。它有一大批用户，包括IBM、埃森哲、美国能源部、思科、ATI和AMD。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//wwwprojectlibreorg

存储

38 FreeNAS

这款开源网络附加存储（NAS）软件声称，它备受联合国、迪士尼互动媒体集团、路透社和Dr Phil等用户的“喜爱”。它可以安装到几乎任何硬件上，而TrueNAS提供的预先构建的设备就基于该技术。

支持的操作系统：FressBSD

相关网站：http：//wwwfreenasorg

39 Gluster

Gluster是一种可高度扩展的网络文件系统，适合云计算环境。红帽提供一款基于该技术的收费产品，用户包括卡西欧和Intuit。

支持的操作系统：Linux

相关网站：http：//wwwglusterorg

40 Lustre

Lustre是另一种可高度扩展的文件系统，旨在支持高性能计算（HPC）环境。一些最早采用它的用户包括美国的几大国家实验室：劳伦斯·利物莫尔国家实验室、桑迪亚国家实验室、橡树岭国家实验室和洛斯阿拉莫斯国家实验室。

支持的操作系统：Linux

相关网站：http：//lustreorg

系统管理工具

41 Ansible

Ansible现在归红帽所有，它自称是“一种异常简单的IT自动化引擎，可以使云服务配置、配置管理、应用程序部署、服务内部的编排以及其他许多IT操作实现自动化。”使用它的科技公司包括：思科、瞻博网络、Evernote、推特、威瑞信、GoPro、EA Sports、Atlassian和韦里逊。它既有免费版，也有收费版。

支持的操作系统：Linux

相关网站：http：//wwwansibleworkscom

42 Chef

作为另一款自动化工具，Chef支持开发运维方法，同时改善了速度、协作和安全性。拥有免费版和收费版。官方网站上显示用户包括：塔吉特（Target）、诺德斯特龙（Nordstrom）、Facebook、Etsy、IGM、雅虎和彭博社。

支持的操作系统：Windows、Linux和OS X

相关网站：https：//wwwchefio/chef/

43 Hudson

Hudson在使用敏捷和开发运维方法的企业当中很流行，它是一种可扩展的持续集成服务器系统，可以监控重复作业的执行。这个项目得到了Eclipse基金会、甲骨文、Atlassian和YourKit的支持。

支持的操作系统：与操作系统无关

相关网站：http：//hudson-ciorg

44 Puppet

Puppet号称“使用最广泛的开源IT管理系统”，它包括40多个基础设施管理方面的开源项目。除了开源版本外，它还有一款收费的企业版本。它声称，用户包括25000多家企业，比如迪士尼、沃尔玛、1-800-Flowerscom、Heartland Payment Systems、盖蒂社（Getty Images）和Yelp。

支持的操作系统：Windows、Linux、Unix和OS X

相关网站：https：//puppetlabscom/puppet/open-source-projects

版本控制

45 Bazaar

Bazaar由Canonical管理，被许多开源项目所使用，包括Ubuntu、 GNU基金会、Linux基金会、MySQL、Bugzilla、 Debian和Maria DB。它简单易学，支持任何工作流程和工作区间模式，承诺存储效率很高、速度很快。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//bazaarcanonicalcom/en/

46 Git

这个版本控制系统已变得极受欢迎，这一方面归功于GitHub服务的使用日益广泛。使用它的公司和项目包括：谷歌、Facebook、微软、推特、领英、网飞、Perl、PostgreSQL、安卓、Rails、QT、Gnome和Eclipse。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//git-scmcom

47 Mercurial

Mercurial是一种分布式源代码控制管理工具，专注于帮助团队更轻松、更快速地协同工作。用户包括OpenJDK和NetBeans等各大项目。

支持的操作系统：Windows、Linux和OS X

相关网站：https：//wwwmercurial-scmorg

48 Subversion

这个企业级版本控制系统得到Apache的支持，首次发布于2000年。使用它的企业组织包括Apache软件基金会自己、Hobby Lobby、Mono、Plone和GNU Enterprise。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//subversionapacheorg

Web服务器

49 Apache HTTP Server

Apache至今已有20年多的历史，专利是自1996年以来互联网上最受欢迎的Web服务器系统。据W3Techs声称，目前所有网站中553%是由Apache支持的。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//httpdapacheorg

50 Nginx

Nginx的人气也极旺，它被互联网上所有网站中的大约四分之一所使用。除了俄罗斯许多访问量很大的网站外，用户还包括网飞和WordPresscom。

支持的操作系统：Windows、Linux和OS X

相关网站：http：//nginxorg

常见的开源网络摄像机搭载的WEB界面软件有：1 ZoneMinder：一款开源的视频监控系统，其WEB界面提供视频监控、录像回放、报警触发等功能。2 Motion：一款基于Linux系统的开源视频监控软件，其WEB界面提供视频监控、录制、截图、报警等功能。3 iSpy：一款开源的视频监控软件，其WEB界面提供远程监控、视频回放、分析等功能。4 Bluecherry：一款基于Linux系统的开源视频监控软件，其WEB界面提供视频监控、录制、回放、报警等功能。5 Shinobi：一款基于Nodejs开发的开源视频监控软件，其WEB界面提供视频监控、录制、回放、报警等功能。6 MotionEye：一款基于Motion开发的开源视频监控软件，其WEB界面提供视频监控、录制、回放、报警等功能。

逻辑上实现了http协议、管理web资源、负责提供web服务器的管理功能。

Web服务器逻辑和操作系统共同管理TCP连接。

Apache 就是 开源的 软件web 服务器的一种。

一旦连接建立起来并被接受，服务器会将新连接添加到其现存的web服务器连接列表中，做好监视连接上数据传输的设备。

可以用反向DNS对大部分web服务器进行配置，以便将客户端IP地址转换成 客户端 主机名。

好处: web服务器可以将客户端主机名用于详细的访问控制和日志记录。

坏处:主机名查找可能会花费很长时间，要么只允许特定内容进行解析。

有些web服务器还支持ident 协议。服务器可以通过ident协议找到发起http连接的 用户名 。对记录日志非常有用。

类似这种。

如果客户端支持ident协议，就在tcp端口113上监听 ident请求。

但ident在公共因特网上不能很好的使用

解析请求报文时，web服务器会不定期从网络上接受输入数据。网络连接可能随时都会出现延迟。web服务器从网络中读取数据，将部分报文数据临时存储在内存中，直到收到足以进行解析的数据并理解其意义为止。

web服务器对报文解析后，并用自己内部的数据结构来存储请求报文。

请求可能会在任意时刻到达，所以web服务器不停观察有无新的web请求。不同的web服务器会以不同的方式为请求服务。

单线程的服务器一次只处理一个请求。一个事务处理结束后，才会去处理下一条连接。

结构容易实现，单性能很差。

多进程和多线程服务器用多个进程或更高效的现成同时对请求进行处理。

可以根据需要创建，或者预先创建一些线程/进程。有些服务器会为每条连接分配一个线程/进程，但当服务器同时要处理成百上千甚至上万的连接时，需要的继承或者线程数量可能会消耗太多内存或系统资源。(预先分配 线程池，进程池，内存池等手段)

因此这类服务器会对线程/进程的最大数量进行限制

线程与复用功能结合，利用计算机平台上多个CPU。多个线程中的每一个都在观察打开的连接。并对每条连接执行少量任务。

收到并解析请求后，可以根据方法、资源、首部和可选的主体部分对请求进行业务处理。

在web服务器将内容传送给客户端之前，要将请求 报文中的URI映射为web服务器上适当的内容或内容生成器，以识别出内容的源头。

请求URI 作为名字 来 访问 Web 服务器文件系统中的文件。通常web 服务器的文件系统中会有一个特殊的文件夹专门用于存放web内容。

即文档的 根目录 。

同时服务器也需要注意，不能让URL退到docroot之外，将文件系统的其余部分暴露出来。不允许这样的uri出现：

web服务器可以接受收对目录url的请求，其路径可以解析为一个目录。而不是文件。我们可以对大多数web服务器进行配置。使其在客户端请求目录url时 采取不同的动作。

大多数web服务器都会去查找目录中的一个名为indexhtml 的文件来替代此目录。

如果用户请求的时一个目录的url，并且这个目录中有一个名为indexhtml 的文件。服务器就会返回这个文件。

Web 服务器还可以将URI映射为动态资源，也就是说，映射到按需动态生成内容的程序上去。

实际上，有一大类名为应用程序服务器的Web 服务器会将Web服务器连接到复杂的后端应用上去。

Web 服务器主要做的事：

也就是说 web服务器会将URI路径名 映射为 可执行文件目录 。

服务器端包含项（SSI），如果某个资源被表示为存在服务器端包含想，服务器会在将其发送给客户端之前对资源内容进行处理。

web 服务器还可以为特定资源进行访问控制，有请求到达，要访问受控制资源时，服务器可以根据客户的ip地址进行访问控制，比如输入密码才能访问。

如果事务处理产生了响应 主体，就将内容放在响应报文中发回去。实体包括：

服务器要负责确定响应主体的MIME类型。有很多配置服务器的方法可以将MIME类型与资源关联起来。

Web 服务器有时会返回重定向响应而不是成功的报文。Web服务器可以将浏览器重定向到其他地方执行请求。

重定向返回码 3XX。Location响应首部包含了内容的新地址。

对于非持久连接而言，服务器应该发送了整条报文后，关闭自己一端。

对于持久而言，连接仍然可以保持打开状态。这种情况下服务器端要正确的计算content length，不然客户端无法知道响应何时结束。

当事务结束时，web服务器会在日志文件中添加一跳目录，来描述已执行的事务。