hive 分析函数 - 经验交流

Hive更适合数据仓库的任务。Hive主要用于静态结构和需要频繁分析的工作， Rank()和dense_rank()用于排序函数；3、master ntile()用于分组查询函数；4.掌握lag()和lead()offsets分析函数window函数(window function):类似于aggregation 函数，但与window，聚合函数可以根据规定将多行数据聚合成一行，一般来说，聚合后的行数比聚合前少，但有时我们既想显示聚合前的数据，又想显示聚合后的数据，所以引入窗口函数，选择时执行窗口函数。

1、数据仓库数据建模的几种思路数据仓库数据仓库建模的两个典型理论是基于主题域的维度建模和实体关系建模，分别以Kimball和Immon为代表。维度建模以数据分析 demand为驱动，倡导总线架构:事实一致，维度一致。这种数据模型便于用户理解和操作数据分析。基于主题领域的实体关系建模以源系统数据为驱动，整合企业的所有数据，在企业层面对数据进行抽象和整合，使用3NF实体关系理论进行建模。这种数据建模方法试图以更抽象的方式建立相对稳定的数据模型，能够描述企业级的数据关系。

上周我们主要讨论了基于主题域的实体关系建模中数据集成的方式，讨论了以下三种思路:同一主题域中不同实体的属性通过属性进行聚合。比如对于会员、公司、客户等实体对象，我们都有地址属性信息、姓名识别属性信息等等。这种思想是将属性内聚度高的字段进行整合，将不同的属性以带类型标识的树表形式存储。

2、大数据三大核心技术:拿数据、算数据、卖数据!大数据的起源给了“大数据”研究机构Gartner这样的定义。“大数据”是一种信息资产，需要新的处理模式来拥有更强的决策、洞察和流程优化能力，以适应海量、高增长率和多样化。1麦肯锡全球研究院给出的定义是:在获取、存储、管理和分析方面远远超出传统数据库软件工具能力的大规模数据集。具有数据规模海量、数据流动迅速、数据类型多样、价值密度低四大特点。

【hive 分析函数】换句话说，如果把大数据比作一个行业，那么这个行业盈利的关键就在于提高数据的“处理能力”，通过“处理”实现数据的“增值” 。从技术上讲，大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能由单台计算机处理，必须采用分布式架构。其特点是对海量数据进行分布式数据挖掘。但它必须依赖云计算的分布式处理、分布式数据库、云存储和虚拟化技术。