【CDH】CDH大数据平台实施经验总结 _sqoop

1. 平台规划注意事项
1.1 业务数据全部存储在上面，所以的存储空间必须足够大，且每个的存储空间尽量保持一致。
1.2 管理节点/对存储空间要求不高，主要存储各计算节点的元数据信息，以3个为例，每个存储2T的数据，才耗费80G的空间。
1.3 由于有数据副本机制，默认为3个副本，因此节点，系统盘做raid 1，数据盘做raid 0；做raid 5,不管系统盘还是数据盘，都可以直接更换，保证数据不丢失；
1.4 计算节点依靠的是数量优势，除了存储空间足够大之外，对机器配置要求不高，但是安装spark和的话对内存的要求较高，单节点2T的数据配置64G的单机内存有点吃力。
1.5 但是要跟所有的交互，接收处理各种请求，对机器配置要求较高，以的测试数据来看，存放80G的元数据时，64G的内存已经有点紧张了，开始使用交换内存了。
1.6 和需要各自独立的两个节点，即相互独立部署，这样即使机器挂了，也可以手动从恢复一下。在 2高可靠性下可以配置两个，保证一个出现问题可以自动切换至另一个。
1.7 由于的是周期性的合并日志文件，因此单独部署时对机器压力较小，空间使用也只勉强是的一半，因此可以把诸如hive/hbase等的服务器端安装在snn所在的服务器上，这样可以使机器资源得到最大化利用。
1.8 hdfs空间不够开始报警，但是df –h命令下查看就会发现其实空间余额还有好几T，这种情况是由于non dfs used空间膨胀导致的，non dfs used和一起构成了hdfs的可用空间容量，两者呈现此消彼长的关系。Non dfs used从字面理解来看是非文件占用的空间，实际上是某些文件删除之后，的组件没有释放对其引用导致的，从的情况来看，单个节点2T的数据运行一个月会产生600G的non dfs used空间，最笨的办法就是重启CDH，一下子占用就到1G以下了。
2. 中没有CDH运行环境
项目采取来发布、运行程序，实例无状态，停止服务即销毁，无法直接安装软件，而程序采用命令行的方式编写，必须依赖CDH环境运行，两者出现矛盾，三种方案解决：
2.1.所有程序基于API来开发，改程序
未采用，一来程序改动量太大，影响里程碑计划；二来CDH的有些组件对命令行的支持比对API的支持要好，比如sqoop 。
2.2.制作一个CDH的镜像，不改程序
未采用，需要开发人员重新部署、学习技术，测试程序，成本较大；

文章插图
【【CDH】CDH大数据平台实施经验总结】2.3.用jsch方式远程连接CDH节点来执行命令，改程序
已采用，程序改动量较小，半天即可完成，已测试通过
3. sqoop注意事项
3.1.中是区分用户的，一般给sqoop提供的账号都是中的查询账号，通过同义词等形式来查询数据，所以sqoop命令中一定要带上用户，此用户跟提供给sqoop查询权限用户名不同(除非给sqoop提供的是生产库的业务原始账号，生产数据表都在此账号下面)，sqoop命令中的账号是源数据表的owner用户，只有这样才能通过查询权限的用户去抽取同义词等模式的生产数据。
3.2.由于一般给sqoop提供的账号都是中的查询账号，如果需要通过访问的数据字典来获取源数据表结构，请使用dba_开头的系统表，因为源数据表结构的信息是在业务表的owner用户下面的user_开头的系统表中才有，查询用户下面的user_表中没有。需要的dba_开头的表包括：，，，，，
3.3. sqoop命令中，源数据库为rac集群的情况下，连接数据库某个节点时，命令中 IP、端口号、SID之间一律使用冒号，而不是斜杠，只有在非集群模式或者scan ip的情况下才可以使用斜杠。