mongodb转hdfs - 经验交流

导读：本文将介绍如何将MongoDB中的数据转移到HDFS中，以便更好地处理和分析数据。
【mongodb转hdfs】1. 安装MongoDB Connector for Hadoop
在开始之前，需要安装MongoDB Connector for Hadoop，这是一个用于将MongoDB数据导入到Hadoop集群中的工具。可以通过以下命令进行安装：
```
$ sudo apt-get install mongodb-hadoop
2. 配置MongoDB Connector for Hadoop
在安装完成后，需要对MongoDB Connector for Hadoop进行配置。首先，在Hadoop的core-site.xml文件中添加以下配置：
mongo.job.input.formatcom.mongodb.hadoop.MongoInputFormat然后，在MongoDB的配置文件mongod.conf中添加以下配置：
setParameter = textSearchEnabled=true
3. 导入MongoDB数据到HDFS
现在，可以使用以下命令将MongoDB中的数据导入到HDFS中：
$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
-inputformat com.mongodb.hadoop.MongoInputFormat \
-input mongodb://localhost:27017/mydb.mycol \
-output /user/hdfs/output \
-mapper /bin/cat
其中，mydb是数据库名称，mycol是集合名称。/user/hdfs/output是输出目录，/bin/cat是mapper程序。
总结：通过上述步骤，可以将MongoDB中的数据导入到HDFS中，方便进行大规模数据处理和分析。