大数据平台特点是什么?

1. 大数据平台特点是什么?

1. 高效分布式
有必要是高效的分布式体系。物联网发生的数据量巨大，仅我国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，一天全国智能电表就会发生500多亿条记载。这么大的数据量，任何一台服务器都无能力处理，因而处理体系有必要是分布式的，水平扩展的。
2. 实时处理
有必要是实时处理的体系。互联网大数据处理，大家所了解的场景是用户画像、推荐体系、舆情分析等等，这些场景并不需求什么实时性，批处理即可。可是关于物联网场景，需求根据采集的数据做实时预警、决议计划，延时要控制在秒级以内。
3. 高牢靠性
需求运营商等级的高牢靠服务。物联网体系对接的往往是生产、经营体系，假如数据处理体系宕机，直接导致停产，发生经济有丢失、导致对终端顾客的服务无法正常供给。比方智能电表，假如体系出问题，直接导致的是千家万户无法正常用电。
4. 高效缓存
需求高效的缓存功用。绝大部分场景，都需求能快速获取设备当前状态或其他信息，用以报警、大屏展示或其他。体系需求供给一高效机制，让用户能够获取全部、或契合过滤条件的部分设备的最新状态。
5. 实时流式核算
需求实时流式核算。各种实时预警或猜测现已不是简单的根据某一个阈值进行，而是需求经过将一个或多个设备发生的数据流进行实时聚合核算，不只是根据一个时间点、而是根据一个时间窗口进行核算。不仅如此，核算的需求也适当杂乱，因场景而异，应容许用户自定义函数进行核算。

2. 什么是大数据平台最广泛应用的技术或生态

1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【摘要】
什么是大数据平台最广泛应用的技术或生态【提问】
1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【回答】
你讲得真棒！可否详细说一下【提问】
1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【回答】

3. 什么是大数据平台最广泛应用的技术或生态

1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【摘要】
什么是大数据平台最广泛应用的技术或生态【提问】
1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【回答】
您能补充下吗，我有点不太理解【提问】
1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【回答】

4. 什么是大数据平台最广泛应用的技术或生态

1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【摘要】
什么是大数据平台最广泛应用的技术或生态【提问】
1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【回答】
能不能再展开讲讲？【提问】
1、大数据生态技术体系——Hadoop由Apache基金会开发的分布式系统基础设施。Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供海量数据的计算。Hadoop是一个基本框架，它可以托管许多其他东西，比如Hive。不想用编程语言开发MapReduce的人可以使用Hive进行离线数据处理和分析。例如，HBase作为面向列的数据库在HDFS上运行，而HDFS缺乏读和写操作，这就是为什么HBase是一个分布式的、面向列的开源数据库。2、大数据生态技术体系——的火花也是一个开源项目Apache基金会的另一个重要的分布式计算系统开发的加州大学伯克利分校的实验室。最大的火花和Hadoop的区别是Hadoop使用硬盘来存储数据,而火花使用内存来存储数据,因此火花可以提供超过100次的计算速度。Spark可以通过YARN(另一个资源协调器)在Hadoop集群中运行，但是Spark现在也在进化成一个生态过程，希望通过一个技术栈实现上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。3、大数据生态技术体系——风暴是一个由BackType团队作为Apache基金会孵化器开发的分布式计算系统。它提供了基于Hadoop的实时计算特性，可以实时处理大型数据流。与Hadoop和Spark不同，Storm不收集和存储数据。它通过网络直接实时接收和处理数据，然后通过网络直接实时返回结果。Storm擅长直播。例如，日志，就像网络购物的点击流一样，是连续的、连续的、永远不会结束的，所以当数据通过像Kafka一样的消息队列传入时，Storm就会发挥作用。Storm本身并不收集或存储数据，而是在数据到达时进行处理，并在运行时输出数据。上面的模块只是基于大型分布式计算的通用框架，通常由计算引擎描述。除了计算引擎，我们还需要IDE开发、作业调度系统、大数据同步工具、BI模块、数据管理、监【回答】

5. 大数据能提供三种能力包括什么

三种能力
我们建议企业和政府机构进行数据整合能力、分析能力和行动能力的建设。对于任何公司的管理层来说，要充分认识到数据的重要性，在管理层充分认识到数据的重要性之后，内部要有足够的人员和能力去整合、搭建和完善数据管理基础架构。有了海量数据之后，数据分析师能够对其进行分析和挖掘，使其产生理想的价值。
数据分析能力通过一定的方法论可以获得。这个方法论从宏观的角度来看，是通过数据整合探索出有效的业务价值，进而精确地协助制定商业策略或服务提升的策略，有效地采取正确的行动，来协助业务和服务质量的增长，或是解决业务已知、不确定或发现未知的问题。
另外，数据要实现普及化，不仅掌握在管理层手中，在数据安全和权限管理的机制下，企业或单位的每一个人都要了解自己的业务具体发生了什么，为何发生，预测将要发生什么情况，从而更快、更好地做出决策，最终达到智慧型的管理，通过一些主动式的事件，产生正确的行动，如业务增长的价值措施和办法，来精确有效地提升业务的增长。

6. 大数据平台最核心的软件是

大数据平台最核心的软件是：
一、Phoenix

这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。

Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。


二、Stinger

原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。


三、Presto

Facebook开源的数据查询引擎Presto，可对250PB以上的数据进行快速地交互式分析。该项目始于2012年秋季开始开发，目前该项目已经在超过1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比诸如Hive和Map*Reduce要好上10倍有多。


四、Shark

Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。


五、Pig

简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

7. 大数据平台最核心的软件是

大数据平台最核心的软件是：
一、Phoenix

这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。

Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。


二、Stinger

原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。


三、Presto

Facebook开源的数据查询引擎Presto，可对250PB以上的数据进行快速地交互式分析。该项目始于2012年秋季开始开发，目前该项目已经在超过1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比诸如Hive和Map*Reduce要好上10倍有多。


四、Shark

Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。


五、Pig

简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

8. 什么是大数据？它有哪四个基本特征

简言之，大数据是指大数据集，这些数据集经过计算分析可以用于揭示某个方面相关的模式和趋势。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。
大数据的特点：数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。
大数据的5V特性：