hive 元数据模块分析,Hive 有哪些方式保存元数据

hive如何结合mysql中存储的meta 数据与mysql 数据库进行通信，并在hivesite.xml中进行配置-密码连接并登录MySQL 。创建hive的元数据表，后面如果在hive中创建一个表，它会在mysql中存储这个表的meta 数据信息，用JDBC来访问你。

1、「Hive进阶篇」详解存储格式及压缩方式 hive优化除了hql语句的逻辑优化和hql参数的调优，还有一个不显眼的细节很容易被忽略，那就是hive数据仓库模型表的存储格式和压缩方式，hive底层。为集群中存储的HDFS文件选择合适的存储格式和压缩方式也是hive的优化点。本文就来说说这个知识点。hive有四种存储格式:文本、orc和拼花。其中很少使用sequencefile，常见的有orc和parquet ，常与压缩方式合理使用。

2、关于Hive与传统数据仓库的对比,以下描述错误的是(与传统的数据仓库相比，下列描述错误的是:(a)Hive element 数据 storage独立于数据storage，从而解耦element数据。b .由于Hive基于大型数据平台，查询效率比传统的数据仓库更快。(正确答案)c .由于Hive的数据存储在HDFS，可以保证数据的高容错性和高可靠性。D.Hive基于HDFS存储。理论上存储容量可以无限扩展，而传统的数据仓库是有上限的。

3、HiveonMapreduce执行流程执行流程详细分析第一步:第一步:UI(userinterface)调用executeQuery接口，将HQL查询语句发送给驱动程序第二步:驱动程序为查询语句创建会话句柄，并将查询语句发送给编译器。等待它解析语句并生成执行计划。步骤3和4:编译器获取相关的Meta 数据步骤5: Meta 数据用于检查查询树中表达式的类型，并根据查询谓词调整分区以生成计划。Step6(6.1、6.2、6.3):编译器生成的执行计划是一个分阶段的DAG，每个阶段都可能涉及Map/Reducejob、meta 数据和HDFS文件的操作。ExecutionEngine将每个阶段的DAG提交给相应的组件执行。

4、Hive是什么?【hive 元数据模块分析,Hive 有哪些方式保存元数据】另外，hive还支持熟悉mapreduce的开发者使用mapreduce程序做更复杂的事情-3分析。hive可以很好地结合节约和控制分隔符，还支持用户自定义分隔符。hive基于hadoop，hadoop是批处理系统，无法节省低延迟。所以hive的查询不能保证低延迟。hive的工作模式是提交任务并在任务结束时得到通知，而不是实时查询。