kok电子竞技

主讲：张义01020304目录Hive的产生Hive简介Hive与Hadoop的关系Hive适用场景Hive的产生1Hive的产生Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，它提供了类似于SQL语法的HQL语句作为数据访问接口，Facebook为什么使用Hadoop和Hive组建其数据仓库，大致的过程是如下的：Facebook的数据仓库一开始是构建于MySQL之上的，但是随着数据量的增加某些查询需要几个小时甚至几天的时间才能完成。当数据量接近1T的时候，mysql的后台进程垮掉，这时他们决定将他们数据仓库转移到Oracle。当然这次转移的过程也是付出了很大的代价的，比如支持的SQL方言不同，修改以前的运行脚本等。Oracle应付几T的数据还是没有问题的，但是在开始收集用户点击流的数据（每天大约400G）之后，Oracle也开始撑不住了，由此又要考虑新的数据仓库方案。Hive的产生内部开发人员花了几周的时间建立了一个并行日志处理系统Cheetah，这样的话勉强可以在24小时之内处理完一天的点击流数据，

但Cheetah也存在许多缺点。后来发现了Hadoop项目，并开始试着将日志数据同时载入Cheetah和Hadoop做对比，Hadoop在处理大规模数据时更具优势，后来将所有的工作流都从Cheetah转移到了Hadoop，并基于Hadoop做了很多有价值的分析。后来为了使组织中的多数人能够使用Hadoop，开发了Hive，Hive提供了类似于SQL的查询接口，非常方便，与此同时还开发了一些其它工具。Hive简介2Hive简介Hive的概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供基础的SQL查询功能，可以将SQL语句转换MapReduce任务运行，而不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive产品采用类似SQL的语句快速实现简单的MapReduce统计，很大程度降低了Hadoop的学习使用成本。Hive简介Hive的特点Hive是一个构建于Hadoop顶层的数据仓库工具支持大规模数据存储、分析，具有良好的可扩展性依赖分布式文件系统HDFS存储数据依赖分布式并行计算模型MapReduce处理数据定义了简单的类似SQL的查询语言——HiveQL用户可以通过编写的HiveQL语句运行MapReduce任务是一个可以提供有效、合理、直观组织和使用数据的分析工具Hive与Hadoop的关系3Hive与Hadoop的关系Hadoop本身不能识别Hive，但是它通过Hive架构转化成Hadoop能识别的一个Job任务。用户发出SQL请求，经过Hive处理，转换成hadoop可运行的MapReduce。HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的。所有的数据都是存储在hadoop中。查询计划被转化为MapReduce任务，在hadoop中执行。Hadoop和hive都是用UTF-8编码的。Hive适用场景4Hive适用场景业务场景非结构化数据的的离线分析统计。场景技术特点为超大数据集设计的计算、扩展能力。支持SQLlike查询语言。多表的join操作。支持非结构化数据的查询、计算。提供对数据存取的编程接口，支持jdbc、odbc。