甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
大数据的由来
创新互联专注于中山网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供中山营销型网站建设，中山网站制作、中山网页设计、中山网站官网定制、成都微信小程序服务，打造中山网络公司原创品牌,更为您提供中山网站排名全网营销落地服务。
对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
1
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大数据的应用领域
大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。
制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。
互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。
能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。
城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
体育 娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。
安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。
个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。
大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。
大数据方面核心技术有哪些？
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
数据采集与预处理
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。
Flume NG
Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。
NDC
Logstash
Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
Sqoop
Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapReduce 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
流式计算
流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。
Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。
Zookeeper
Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。
数据存储
Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
HBase
HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
Phoenix
Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
Yarn
Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
Mesos
Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
Redis
Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。
Atlas
Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。
Kudu
Kudu是围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Kudu的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。
在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。
数据清洗
MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Reduce(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。
随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。
Oozie
Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。
Azkaban
Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。
流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求
数据查询分析
Hive
Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapReduce jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapReduce程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapReduce 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map-shuffle-reduce-map-shuffle-reduce…的模型。如果一个Query会被编译成多轮MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
Impala
Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapReduce任务，相比Hive没了MapReduce启动时间。
Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map-reduce模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。
Spark
Spark拥有Hadoop MapReduce所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Nutch
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
Solr
Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。
Elasticsearch
Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
数据可视化
对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。
在上面的每一个阶段，保障数据的安全是不可忽视的问题。
基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。
控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。
简单说有三大核心技术：拿数据，算数据，卖数据。
大数据
1. Hadoop
Apache主持的这个项目是最广为人知的大数据工具。众多公司为Hadoop提供相关产品或商业支持，包括亚马逊网络服务、Cloudera、Hortonworks、IBM、Pivotal、Syncsort和VMware。知名用户包括：阿里巴巴、美国在线、电子港湾、Facebook、谷歌、Hulu、领英、Spotify、推特和雅虎。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//hadoop.apache.org
2. Hypertable
Hypertable在互联网公司当中非常流行，它由谷歌开发，用来提高数据库的可扩展性。用户包括百度、电子港湾、Groupon和Yelp。它与Hadoop兼容，提供商业支持和培训。
支持的操作系统：Linux和OS X
相关网站：http：//
3. Mesos
Apache Mesos是一种资源抽象工具，有了它，企业就可以鼗整个数据中心当成一个资源池，它在又在运行Hadoop、Spark及类似应用程序的公司当中很流行。使用它的企业组织包括：Airbnb、欧洲原子核研究组织（CERN）、思科、Coursera、Foursquare、Groupon、网飞（Netflix）、推特和优步。
支持的操作系统：Linux和OS X
相关网站：http：//mesos.apache.org
4. Presto
Presto由Facebook开发，自称是“一款开源分布式SQL查询引擎，用于对大大小小（从GB级到PB级）的数据源运行交互式分析查询。”Facebook表示，它将Presto用于对300PB大小的数据仓库执行查询，其他用户包括Airbnb和Dropbox。
支持的操作系统：Linux
相关网站：https：//prestodb.io
5. Solr
这种“快若闪电”的企业搜索平台声称高度可靠、扩展和容错。使用它的公司包括：ATT、Ticketmaster、康卡斯特、Instagram、网飞、IBM、Adobe和SAP Hybris。
支持的操作系统：与操作系统无关
相关网站：http：//lucene.apache.org/solr/
6. Spark
Apache Spark声称，“它在内存中运行程序的速度比Hadoop MapReduce最多快100倍，在磁盘上快10倍。”Spark“支持”的企业组织包括：亚马逊、百度、Groupon、日立解决方案、IBM、MyFitnessPal、诺基亚和雅虎。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//spark.apache.org
7. Storm
正如Hadoop用来处理批量数据，Apache Storm用来处理实时数据。官方网站上显示用户包括：天气频道、推特、雅虎、WebMD、Spotify、威瑞信（Verisign）、Flipboard和Klout。
支持的操作系统：Linux
相关网站：https：//storm.apache.org
云计算
8. Cloud Foundry
Cloud Foundry提供用于构建平台即服务的开源工具。它声称“由行业领袖为行业领袖构建”，其支持者包括IBM、 Pivotal、惠普企业、VMware、英特尔、SAP和EMC。
支持的操作系统：Linux
相关网站：https：//
9. CloudStack
这个交钥匙IaaS解决方案构成了许多公共云和私有云的基础。它的用户极多，包括阿尔卡特－朗讯、苹果、Autodesk、英国电信、冠群科技、思杰、Cloudera、戴尔、富士通、SAP和韦里逊。
支持的操作系统：与操作系统无关
相关网站：http：//cloudstack.apache.org
10. OpenStack
这种很受欢迎的云计算平台声称，“世界上成百上千个大品牌”每天依赖它。支持者包括：ATT、Ubuntu、惠普企业、IBM、英特尔、Rackspace、红帽、SUSE、思科、戴尔、EMC、赛门铁克及另外许多知名科技公司。
支持的操作系统：与操作系统无关
相关网站：http：//
11. Scalr
这种云管理平台备受市场研究公司的好评，它简化了管理多个云环境的过程。知名用户包括Expedia、三星、美国宇航局喷气推进实验室、埃森哲、索尼和Autodesk。
支持的操作系统：Linux
相关网站：http：//
容器
12. Docker
Docker在相对新兴的容器领域迅速确立起了主导平台这一地位。科技界的许多大牌公司在构建或提供扩展或使用Docker技术的产品，包括亚马逊、微软、IBM、惠普企业、红帽、Rackspace和Canonical。
支持的操作系统：Windows、Linux和OS X
相关网站：https：//
输入标题 内容管理
13. DNN
这款内容管理解决方案之前名为DotNetNuke，承诺构建丰富的交互式网站时，只要花较少的精力，就能收到显著的成效。用户包括佳能、时代华纳有线电视、德州仪器和美国银行。
支持的操作系统：Windows
相关网站：http：//
14. Drupal
Drupal声称，98000多个开发人员在为这个极其流行的内容管理系统积极贡献代码。支持者包括微软、Zend、Fastly和New Relic，其内容市场有数百家公司参与其中，它们提供了相关的产品和服务。
支持的操作系统：与操作系统无关
相关网站：https：//
15. Joomla
Joomla为数百万个网站提供平台，其下载量超过了5000万人次。许多用户当中就有这些公司：电子港湾、巴诺书店、MTV和标致。
支持的操作系统：与操作系统无关
相关网站：https：//
16. MediaWiki
MediaWiki以维基百科使用的软件而出名，它还为百度、Vistaprint、Novell、英特尔和美国宇航局支持网站。它是构建可编辑网页的不错选择，许多企业组织用它来构建内部知识库。
支持的操作系统：Windows、Linux/Unix和OS X
相关网站：https：//
数据库
17. Cassandra
这种NoSQL数据库由Facebook开发，其用户包括苹果、欧洲原子核研究组织（CERN）、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、网飞、Reddit及其他科技公司。它支持极其庞大的数据集，声称拥有非常高的性能和出色的耐用性和弹性。可通过第三方获得支持。
支持的操作系统：与操作系统无关
相关网站：http：//cassandra.apache.org
18. CouchDB
CouchDB为Web而开发，这种NoSQL数据库将数据存储在JSON文档中，这类文档可通过HTTP来加以查询，并用JavaScript来处理。Cloudant现在归IBM所有，它提供一款专业人员支持的软件版本，用户包括：三星、Akamai、Expedia、微软游戏工作室及其他公司。
支持的操作系统：Windows、Linux、OS X和安卓
相关网站：http：//couchdb.apache.org
19. MongoDB
MongoDB是一种NoSQL数据库，声称“针对关键任务型部署环境进行了优化”，用户包括Foursquare、《福布斯》、Pebble、Adobe、领英、eHarmony及其他公司。提供收费的专业版和企业版。
支持的操作系统：Windows、Linux、OS X和Solaris
相关网站：http：//
20. MySQL
MySQL自称是“世界上最流行的开源数据库”，备受众多互联网公司的青睐，比如YouTube、贝宝、谷歌、Facebook、推特、电子港湾、领英、优步和亚马逊。除了免费社区版外，它还有多款收费版。最新更新版声称速度比老版本快三倍。
支持的操作系统：Windows、Linux、Unix和OS X
相关网站：http：//
21. Neo4j
Neo4J自诩为“世界上领先的图形数据库”，用于欺诈检测、推荐引擎、社交网站、主数据管理及更多领域。用户包括电子港湾、沃尔玛、思科、惠普、埃森哲、CrunchBase、eHarmony、Care.com及另外许多企业组织。
支持的操作系统：Windows和Linux
相关网站：http：//neo4j.com
开发工具
22. Bugzilla
Bugzilla是开源社区的宠儿，用户包括Mozilla、Linux基金会、GNOME、KDE、Apache、LibreOffice、Open Office、Eclipse、红帽、Novell及其他公司。这款软件缺陷追踪系统（bugtracker）的重要功能包括：高级搜索功能、电子邮件通知、预定报告、时间追踪、出色的安全及更多特性。
支持的操作系统：Windows、Linux和OS X
相关网站：https：//
23. Eclipse
Eclipse项目最为知名的是，它是一种大受欢迎的面向Java的集成开发环境（IDE），它还提供面向C/C++和PHP的IDE，此外提供另外一大批开发工具。主要支持者包括冠群科技、谷歌、IBM、甲骨文、红帽和SAP。
支持的操作系统：与操作系统无关
相关网站：http：//
24. Ember.js
这种框架用于“构建野心勃勃的Web应用程序”，旨在为JavaScript开发人员提高工作效率。官方网站上显示用户包括雅虎、Square、Livingsocial、Groupon、Twitch、TED、网飞、Heroku和微软。
支持的操作系统：与操作系统无关
相关网站： http：//emberjs.com
25. Grunt
Grunt是一种JavaScript任务运行工具，有助于自动处理重复性的开发任务。使用它的知名科技公司包括：Adobe、推特、Mozilla、Cloudant和WordPress。
支持的操作系统：与操作系统无关
相关网站：http：//gruntjs.com
26. LoopBack
这个Node.js框架旨在让用户很容易构建REST API，并连接到后端数据存储区。知名用户包括GoDaddy、美国能源部和赛门铁克。
支持的操作系统：Windows、Linux、OS X、安卓和iOS
相关网站：http：//loopback.io
27. Node.js
Node.js的成名之处在于，它让开发人员可以使用JavaScript，编写服务器端应用程序。开发工作之前由Joyent管控，现在交由Node.js基金会监管。用户包括IBM、微软、雅虎、SAP、领英、贝宝和网飞。
支持的操作系统：Windows、Linux和OS X
相关网站：https：//nodejs.org/en/
28. PhoneGap
Apache Cordova是一种开源框架，让开发人员可以使用HTML、CSS和JavaScript等Web技术，构建移动应用程序。PhoneGap是最受欢迎的Cordova发行版。使用某一种Cordova发行版的科技公司包括：维基百科、Facebook、 Salesforce、IBM、微软、Adobe和黑莓。
支持的操作系统：Window、Linux和OS X
相关网站：http：//phonegap.com
29. React Native
React Native由Facebook开发，这种框架可用于使用JavaScript和React JavaScript库（同样由Facebook开发），构建原生移动应用程序。其他用户包括：《探索》频道和CBS体育新闻网。
支持的操作系统：OS X
相关网站：http：//facebook.github.io/react-native/
30. Ruby on Rails
这个Web开发框架在开发人员当中极其流行，它声称“为确保编程员满意和持续高效地工作进行了优化”。用户包括Basecamp、推特、Shopify和GitHub等公司。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//rubyonrails.org
31. Sencha Touch
Sencha Touch自称是“一种用于构建通用移动应用程序的领先的跨平台移动Web应用程序框架，基于HTML5和JavaScript”。它既有开源许可证版本，也有商业许可证版本。据官方网站声称，《财富》100强中60%使用它。
支持的操作系统：与操作系统无关
相关网站：https：//
32. ZK
索尼、Sun、IBM、Adobe、电子港湾、富士通、梦工厂和优利系统等公司使用这种Java Web框架来构建Web和移动应用程序。提供收费支付及相关工具。
支持的操作系统：与操作系统无关
相关网站：http：//
中间件
33. JBoss
红帽的JBoss中间件包括各种轻量级、对云计算友好的工具，同时结合、集成和自动化各个企业应用程序和系统。用户包括：橡树岭国家实验室、日产、思科、冠群科技、AMD及其他公司。
支持的操作系统：Linux
相关网站：http：//
操作系统
34. 红帽企业版Linux
红帽最知名的产品就是其旗舰Linux发行版，这需要付费订购。据该公司声称，《财富》全球500强公司中超过90%在使用红帽产品。
相关网站：http：//
35. SUSE Linux企业版
这款面向企业的Linux发行版同样备受大企业的追捧，它也需要付费订购。该公司声称，它有13000多个企业用户，包括伦敦证券交易所、SAP、天睿（Teradata）和沃尔格林连锁药店（Walgreens）。
相关网站：https：//
36. Ubuntu
Ubuntu提供广受欢迎的Linux发行版，有多个版本：桌面版、服务器版、云版、手机版、平板电脑版和物联网版。声称用户包括亚马逊、IBM、维基百科和英伟达。
相关网站：http：//
项目管理
37. Project Libre
这个屡获奖项的项目是微软Project的替代者，下载量已有近200万人次。它有一大批用户，包括IBM、埃森哲、美国能源部、思科、ATI和AMD。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//
存储
38. FreeNAS
这款开源网络附加存储（NAS）软件声称，它备受联合国、迪士尼互动媒体集团、路透社和Dr. Phil等用户的“喜爱”。它可以安装到几乎任何硬件上，而TrueNAS提供的预先构建的设备就基于该技术。
支持的操作系统：FressBSD
相关网站：http：//
39. Gluster
Gluster是一种可高度扩展的网络文件系统，适合云计算环境。红帽提供一款基于该技术的收费产品，用户包括卡西欧和Intuit。
支持的操作系统：Linux
相关网站：http：//
40. Lustre
Lustre是另一种可高度扩展的文件系统，旨在支持高性能计算（HPC）环境。一些最早采用它的用户包括美国的几大国家实验室：劳伦斯·利物莫尔国家实验室、桑迪亚国家实验室、橡树岭国家实验室和洛斯阿拉莫斯国家实验室。
支持的操作系统：Linux
相关网站：http：//lustre.org
系统管理工具
41. Ansible
Ansible现在归红帽所有，它自称是“一种异常简单的IT自动化引擎，可以使云服务配置、配置管理、应用程序部署、服务内部的编排以及其他许多IT操作实现自动化。”使用它的科技公司包括：思科、瞻博网络、Evernote、推特、威瑞信、GoPro、EA Sports、Atlassian和韦里逊。它既有免费版，也有收费版。
支持的操作系统：Linux
相关网站：http：//
42. Chef
作为另一款自动化工具，Chef支持开发运维方法，同时改善了速度、协作和安全性。拥有免费版和收费版。官方网站上显示用户包括：塔吉特（Target）、诺德斯特龙（Nordstrom）、Facebook、Etsy、IGM、雅虎和彭博社。
支持的操作系统：Windows、Linux和OS X
相关网站：https：//
43. Hudson
Hudson在使用敏捷和开发运维方法的企业当中很流行，它是一种可扩展的持续集成服务器系统，可以监控重复作业的执行。这个项目得到了Eclipse基金会、甲骨文、Atlassian和YourKit的支持。
支持的操作系统：与操作系统无关
相关网站：http：//hudson-ci.org
44. Puppet
Puppet号称“使用最广泛的开源IT管理系统”，它包括40多个基础设施管理方面的开源项目。除了开源版本外，它还有一款收费的企业版本。它声称，用户包括25000多家企业，比如迪士尼、沃尔玛、1-800-Flowers.com、Heartland Payment Systems、盖蒂图片社（Getty Images）和Yelp。
支持的操作系统：Windows、Linux、Unix和OS X
相关网站：https：//puppetlabs.com/puppet/open-source-projects
版本控制
45. Bazaar
Bazaar由Canonical管理，被许多开源项目所使用，包括Ubuntu、 GNU基金会、Linux基金会、MySQL、Bugzilla、 Debian和Maria DB。它简单易学，支持任何工作流程和工作区间模式，承诺存储效率很高、速度很快。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//bazaar.canonical.com/en/
46. Git
这个版本控制系统已变得极受欢迎，这一方面归功于GitHub服务的使用日益广泛。使用它的公司和项目包括：谷歌、Facebook、微软、推特、领英、网飞、Perl、PostgreSQL、安卓、Rails、QT、Gnome和Eclipse。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//git-scm.com
47. Mercurial
Mercurial是一种分布式源代码控制管理工具，专注于帮助团队更轻松、更快速地协同工作。用户包括OpenJDK和NetBeans等各大项目。
支持的操作系统：Windows、Linux和OS X
相关网站：https：//
48. Subversion
这个企业级版本控制系统得到Apache的支持，首次发布于2000年。使用它的企业组织包括Apache软件基金会自己、Hobby Lobby、Mono、Plone和GNU Enterprise。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//subversion.apache.org
Web服务器
49. Apache HTTP Server
Apache至今已有20年多的历史，专利是自1996年以来互联网上最受欢迎的Web服务器系统。据W3Techs声称，目前所有网站中55.3%是由Apache支持的。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//httpd.apache.org
50. Nginx
Nginx的人气也极旺，它被互联网上所有网站中的大约四分之一所使用。除了俄罗斯许多访问量很大的网站外，用户还包括网飞和WordPress.com。
支持的操作系统：Windows、Linux和OS X
相关网站：http：//nginx.org
创建数据库
选择开始菜单中→程序→【Management SQL Server 2008】→【SQL Server Management Studio】命令，打开【SQL Server Management Studio】窗口，并使用Windows或 SQL Server身份验证建立连接。
在【对象资源管理器】窗口中展开服务器，然后选择【数据库】节点
右键单击【数据库】节点，从弹出来的快捷菜单中选择【新建数据库】命令。
执行上述操作后，会弹出【新建数据库】对话框。在对话框、左侧有3个选项，分别是【常规】、【选项】和【文件组】。完成这三个选项中的设置会后，就完成了数据库的创建工作，
在【数据库名称】文本框中输入要新建数据库的名称。例如，这里以“新建的数据库”。
在【所有者】文本框中输入新建数据库的所有者，如sa。根据数据库的使用情况，选择启用或者禁用【使用全文索引】复选框。
在【数据库文件】列表中包括两行，一行是数据库文件，而另一行是日记文件。通过单击下面的【添加】、【删除】按钮添加或删除数据库文件。
切换到【选项页】、在这里可以设置数据库的排序规则、恢复模式、兼容级别和其他属性。
切换到【文件组】页，在这里可以添加或删除文件组。
完成以上操作后，单击【确定】按钮关闭【新建数据库】对话框。至此“新建的数据”数据库创建成功。新建的数据库可以再【对象资源管理器】窗口看到。
说明如下：
query是获取全部数据的SQL(solr从sql中获取那些数据)，多列
deltaImportQuery是获取增量数据时使用的SQL(数据库新增数据追加到solr的数据)，多列
deltaQuery是获取pk的SQL(数据库新增数据是,追加到solr的数据时的条件,根据id ,条件是最后一次获取的时间,${dataimporter.last_index_time,最后获取的时间})！
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
1、数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。
2、数据存储：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。
3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。
4、数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。
Java的技术体系是非常庞大的，需要我们学习的技术非常多，往往很多初学的人，通过互联网查阅了一个庞大的学习列表，然后不知道如何下手。网上很多大牛列的技术不是不重要，但是掌握住企业应用的Java的核心技术，快速上手，是一种高效的学习手段。结合本人十余年的项目研发和带人经验，整理出如下方面。
首先JavaSE是核心，这是初学Java人员应最先接触学习的部分。Java的运行原理，jdk的配置，与jre的区别，基本数据类型，流程控制(顺序结构、选择结构、循环结构)，数组、集合框架，异常处理等，这些都是比较容易学习的，需要多练习，在练习过程中加强理解。面向对象部分是Java初学者，尤其是没有任何编程语言基础的学起来有些难度，类、对象、继承、封装、多态等技术点需要多参照些现有的设计模型，学习设计的思路。诸如工厂模式、观察者模式、代理模式等重要的设计模式也是需要学习的，否则在将来应用框架时就会只知其然，不知其所以然。IO流、多线程也一定需要学习，尤其是XML、JSON等文件格式一定要掌握，这在数据交互时常用。
其次是数据库知识，作为初级Java程序员必须要掌握一种常用的关系型书库的应用，如MySQL或oracle等，数据库对象诸如表、视图等的创建、增删改查语句，尤其是查询，在企业中经常需要从十几张表、或几十张表中查询数据，所以对于如何进行内连接、外连接、以及联合查询等一定要掌握，另外对于索引、事务等也要掌握。
第三是Java Web部分，由于Java主要做web开发，一些前端技术HTML3、CSS5，javaScript，jQuery等这些不见得要学得有多深入，但是必须要掌握，tomcat、jsp，以及和数据库的交互这些都是必须要掌握的。
第四是框架部分，主流的ORM框架有Mybatis、hibernate，MVC框架有Spring MVC、Struts2等，可以优先掌握主流的SSM框架组合，框架的学习有人认为很简单，就按照规定、规范调用、使用呗，初学者可以先学习如何使用这些框架，然后慢慢的探究内部原理，因为框架是技术封装、简化的产物。
这里面有些同类型的技术比如hibernate，如果会使用Mybatis了，那么上手就会很容易，同理如果Spring MVC框架应用熟练了，那么Struts2框架其实就可以现学现卖了。
一个web程序包含的模块很多，不一定包括所有模块。
系统模块：Windows、Linux系统等。
存储模块：这里既包括关系型数据库MySQL、oracle等，也包括内存数据库redis、memcached等。
程序模块：还可以细化成持久化模块、业务逻辑模块、表现层模块，MVC框架的实现。
搜索模块：应用solr或Elasticsearch等。
服务器模块：tomcat、weblogic、Resion等
中间件模块：nginx、MQ消息队列技术等。
在这里额外说一下技术和技能的区别，初学者学一个技术可能很容易，但是这个技术如何在企业开发环境中应用这就是技能了，所以在学习的同时，要多应用，最好通过一些案例项目来学习，这样既高效，学习的还扎实。
补充一点，现在的应用级别越来越大，海量数据、高并发是处理的重点，单应用的程序已经无法满足要求，分布式是趋势，Dubbo、Zookeeper、Docker、SpringBoot、SpringCloud、MyCat等技术，包括上面系统模块里提到的一些技术都要学习的。