开源的大数据框架有哪些？

文件存储：Hadoop HDFS、Tachyon、KFS离线计算：Hadoop MapReduce、Spark流式、实时计算：Storm、Spark Streaming、S4、HeronK-V、NOSQL数据库：HBase、Redis、MongoDB资源管理：YARN、Mesos日志收集：Flume、Scribe、Logstash、Kibana消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid分布式协调服务：Zookeeper集群管理与监控：Ambari、Ganglia、Nagios、Cloudera

黔西网站建设公司成都创新互联,黔西网站设计制作，有大型网站制作公司丰富经验。已为黔西上千多家提供企业网站建设服务。企业网站搭建\外贸网站建设要多少钱，请找那个售后服务好的黔西做网站的公司定做！

大数据具体是学习什么内容呢？主要框架是什么

首先，学习大数据是需要有java，python和R语言的基础。

1) Java学习到什么样的程度才可以学习大数据呢?

java需要学会javaSE即可。javaweb，javaee对于大数据用不到。学会了javase就可以看懂hadoop框架。

2) python是最容易学习的，难易程度：python java Scala 。

python不是比java更直观好理解么，因为会了Python 还是要学习java的，你学会了java，再来学习python会很简单的，一周的时间就可以学会python。

3) R语言也可以学习，但是不推荐，因为java用的人最多，大数据的第一个框架Hadoop，底层全是Java写的。就算学会了R还是看不懂hadoop。

java在大数据中的作用是构成大数据的语言，大数据的第一个框架Hadoop以及其他大数据技术框架，底层语言全是Java写的，所以推荐首选学习java

大数据开发学习路线：

第一阶段：Hadoop生态架构技术

1、语言基础

Java：多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。

Linux：系统安装、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。

Python：基础语法，数据结构，函数，条件判断，循环等基础知识。

2、环境准备

这里介绍在windows电脑搭建完全分布式，1主2从。

VMware虚拟机、Linux系统（Centos6.5）、Hadoop安装包，这里准备好Hadoop完全分布式集群环境。

3、MapReduce

MapReduce分布式离线计算框架，是Hadoop核心编程模型。

4、HDFS1.0/2.0

HDFS能提供高吞吐量的数据访问，适合大规模数据集上的应用。

5、Yarn（Hadoop2.0）

Yarn是一个资源调度平台，主要负责给任务分配资源。

6、Hive

Hive是一个数据仓库，所有的数据都是存储在HDFS上的。使用Hive主要是写Hql。

7、Spark

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

8、SparkStreaming

Spark Streaming是实时处理框架，数据是一批一批的处理。

9、SparkHive

Spark作为Hive的计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算，可以提高Hive查询的性能。

10、Storm

Storm是一个实时计算框架，Storm是对实时新增的每一条数据进行处理，是一条一条的处理，可以保证数据处理的时效性。

11、Zookeeper

Zookeeper是很多大数据框架的基础，是集群的管理者。

12、Hbase

Hbase是一个Nosql数据库，是高可靠、面向列的、可伸缩的、分布式的数据库。

13、Kafka

kafka是一个消息中间件，作为一个中间缓冲层。

14、Flume

Flume常见的就是采集应用产生的日志文件中的数据，一般有两个流程。

一个是Flume采集数据存储到Kafka中，方便Storm或者SparkStreaming进行实时处理。

另一个流程是Flume采集的数据存储到HDFS上，为了后期使用hadoop或者spark进行离线处理。

第二阶段：数据挖掘算法

1、中文分词

开源分词库的离线和在线应用

2、自然语言处理

文本相关性算法

3、推荐算法

基于CB、CF，归一法，Mahout应用。

4、分类算法

NB、SVM

5、回归算法

LR、DecisionTree

6、聚类算法

层次聚类、Kmeans

7、神经网络与深度学习

NN、Tensorflow

以上就是学习Hadoop开发的一个详细路线，如果需要了解具体框架的开发技术，可咨询加米谷大数据老师，详细了解。

学习大数据开发需要掌握哪些技术呢？

（1）Java语言基础

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

（2）HTML、CSS与Java

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生Java交互功能开发、Ajax异步交互、jQuery应用

（3）JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

LinuxHadoop生态体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

分布式计算框架和SparkStrom生态体系

（1）分布式计算框架

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网（）

（2）storm技术架构体系

Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、大数据项目实战数据获取、数据处理、数据分析、数据展现、数据应用

大数据分析—AI（人工智能）Data

Analyze工作环境准备数据分析基础、数据可视化、Python机器学习

以上的回答希望对你有所帮助

如何选择NoSQL数据库

NoSQL，指的是非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的

SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。

NoSQL(NoSQL

= Not Only SQL

)，意即“不仅仅是SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数

据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。

从这一新兴技术中选择一款正确的NoSQL数据库是非常具有挑战性的。比一下网建议在选择时考虑以下因素：

并发控制

并

发控制指的是当多个用户同时更新运行时，用于保护数据库完整性的各种技术。并发机制不正确可能导致脏读、幻读和不可重复读等此类问题。并发控制的目的是保

证一个用户的工作不会对另一个用户的工作产生不合理的影响。在某些情况下，这些措施保证了当用户和其他用户一起操作时，所得的结果和她单独操作时的结果是

一样的。在另一些情况下，这表示用户的工作按预定的方式受其他用户的影响。

封锁

就是事务T在对某个数据对象（例如表、记录等）操作之前，先向系统发出请求，对其加锁。加锁后事务T就对该数据对象有了一定的控制，在事务T释放它的锁之前，其它的事务不能更新此数据对象。

封锁是一次只允许一个用户读取或修改的一种机制，是实现并发控制的一个非常重要的技术。

MVCC

Multi-Version Concurrency Control多版本并发控制，维持一个数据的多个版本使读写操作没有冲突。MVCC优化了数据库并发系统，使系统在有大量并发用户时得到最高的性能，并且可以不用关闭服务器就直接进行热备份。

ACID

指

数据库事务正确执行的四个基本要素的缩写。包含：原子性(Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久

性（Durability）。一个支持事务（Transaction）的数据库系统，必需要具有这四种特性，否则在事务过程（Transaction

processing）当中无法保证数据的正确性，交易过程极可能达不到交易方的要求。

None

一些系统不提供原子性。

镜像

数据库镜像是DBMS根据DBA的要求，自动把整个数据库或其中的关键数据复制到另一个磁盘上，每当主数据库更新时，DBMS会自动把更新后的数据复制过去，即DBMS自动保证镜像数据与主数据的一致性。

镜像分为同步和异步。

数据存储

指的是数据的物理特性怎样被存储在数据库中。

磁盘 数据被存储在硬盘驱动器里；

GFS或谷歌文件系统是一个由谷歌开发的专有的分布式文件系统；

Hadoop是Apache软件框架，免费许可下支持数据密集型分布式应用程序；

RAM随机存储器；

插件 可以添加外部插件；

Amazon S3通过Web服务接口提供存储；

BDB：BDB

全称是 “Berkeley DB”，它是MySQL具有事务能力的表类型，由Sleepycat

Software开发。BDB表类型提供了MySQL用户长久期盼的功能，即事务控制能力。在任何RDBMS中，事务控制能力都是一种极其重要和宝贵的功

能。事务控制能力使得我们能够确保一组命令确实已经全部执行成功，或者确保当任何一个命令出现错误时所有命令的执行结果均被退回。

实现语言

实现语言会影响数据库的发展速度。典型的NoSQL数据库是用低级语言如C / C + +编写的。另一方面，那些更高层次的语言如Java，使自定义更容易。

实现语言有：C, C++, Erlang, Java, Python

特性

考虑下列哪一个特点对你的数据库是最重要的：

持久性

可用性

一致性

分区容忍性

证书类型

下面这些许可证是一个不同的开放源码许可的形式：

GPL：通用公共许可证

BSD：伯克利软件分发

MPL：Mozilla公共许可证

EPL：Eclipse公共许可证

IDPL：最初的开发者的公共许可证

LGPL：较宽松通用公共许可证

存储类型

存储类型是NoSQL数据库最大的不同，是决定使用哪款数据库的一个首要指标。

关键字：支持get、put和删除操作

按列存储：相对于传统的按行存储，数据集成容易多了

面向文件系统：存储像是JSON或XML这样的结构化文件，很容易就能从面向对象软件中获取数据。

nosql数据库有哪些

mongodb hoodoop hbase 等。现在都挺火的。目前京东，58，360都在使用mongodb。

网站栏目：nosql框架,nosql的特点
网址分享：http://chengdu.cdxwcx.cn/article/hdpods.html