mesos的分析 - 经验交流

包括CRIO、Kubernetes和Docker在内的容器技术GoDevOpsPython可以帮助你的团队有效地简化、加速和安排应用的开发和部署。文件存储:HadoopHDFS、Tachyon、KFS离线计算:HadoopMapReduce、SparkStreaming、实时计算:Storm、Spark Streaming、S4、HeronKV、NOSQL数据库:HBase、Redis、MongoDB资源管理:YARN、Mesos日志收集:Flume、Scribe、Logstash、Kibana消息系统:Kafka、StormMQ、ZeroMQ、rabbit MQ query分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、ky 。
【mesos的分析】
1、开源的大数据框架有哪些?文件存储:HadoopHDFS、Tachyon、KFS离线计算:HadoopMapReduce、SparkStreaming、实时计算:Storm、Spark Streaming、S4、HeronKV、NOSQL数据库:HBase、Redis、MongoDB资源管理:YARN、Mesos日志收集:Flume、Scribe、Logstash、Kibana消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill

2、如何使用OpenStack,Docker和Spark打造一个云服务蘑菇街基于OpenStack和Docker的私有云实践这一次主要是想分享我们在过去一年基于Docker搭建私有云的实践中遇到的问题，如何解决的经验，以及我们的经验和思考，和大家分享一下。有一些在生产环境下使用Docker的经验和体会。私有云项目于2014年圣诞节期间启动。它从无到有。经过半年多的发展和三次大促，逐渐形成了一定的规模。

我们将Docker作为虚拟机运行，以满足虚拟化的业务需求。未来的思路是微服务，将应用拆分成微服务，实现基于应用的PaaS部署和发布。如何通过OpenStack管理Docker？我们采用OpenStack novadocker Docker的架构模式。

3、我为什么说Python是大数据全栈式开发语言怎样成为数据分析师前段时间ThoughtWorks在深圳举办了一个社区活动，有一个主题叫“FullstackJavaScript”，讲的是用JavaScript开发前端、服务器端甚至数据库(MongoDB) 。一个Web应用开发者只需要学习一门语言就可以实现整个应用。受此启发，我发现Python可以称为大数据的全栈开发语言。

领域流行语言云基础架构Python、Java、GodevopsPython、Shell、Ruby、Go Web爬虫Python、PHP、C数据处理Python、Scala云基础架构就好比你只要懂JavaScript就能写出完整的Web应用，你只要懂Python就能实现完整的大数据处理平台。如今，我们不支持云平台、海量数据和动态扩展。我们根本不敢说自己在做大数据，最多敢跟人说自己在做商业智能(BI) 。

4、Podman解析什么是Linux容器？Linux容器是Linux内核提供的具有特定隔离功能的进程。Linux容器技术允许您打包或隔离应用程序及其整个运行时环境(包括所有必需的文件) 。这允许您在不同环境(如开发、测试和生产)之间轻松迁移应用程序，同时保留应用程序的所有功能。Linux容器也有利于明确划分职责范围，减少开发和运维团队之间的冲突。

由于Linux容器是基于开源技术构建的，这也将使您在未来可以轻松采用各种更新更强的技术产品。容器技术，包括CRIO、Kubernetes和Docker ，可以帮助您的团队有效地简化、加速和安排应用程序的开发和部署。Docker是什么？Docker是一个开源的应用容器引擎，属于Linux容器的封装。Docker提供了一个易于使用的容器接口，允许开发人员将其应用程序和依赖项打包到一个可移植的容器中，然后发布到任何流行的Linux机器上。

5、spark和hadoop的区别很难直接比较Hadoop和Spark，因为它们以相同的方式处理许多任务，但它们在某些方面并不重叠。例如， Spark没有文件管理功能，因此它必须依赖Hadoop分布式文件系统(HDFS)或其他解决方案。Hadoop框架的主要模块包括以下几个:HadoopCommonHadoop分布式文件系统(HDFS)HadoopYARNHadoopMapReduce虽然以上四个模块构成了Hadoop的核心，但是还有其他几个模块。
Spark真的很快(比HadoopMapReduce快100倍) 。Spark也可以执行批处理，但它确实擅长处理流式工作负载、交互式查询和机器学习，相对于MapReduce基于磁盘的批处理引擎，Spark以实时数据处理功能著称。Spark与Hadoop及其模块兼容。