有关idea
1、maven仓库的问题
【有关idea】步骤:
1、先看看设置里面的仓库，是不是自己的仓库 。如果不是的话，先换成自己的仓库 。(必须注意的)
2、检查一下你本地库里面，是不是有未下载完的文件 。类似与这样的文件，删一下，仓库可能没有下载完毕 。
2、mvn 看看
百度mvn 的使用方法 。
3、idea上就是爆出xxx.jar不存在，明明配置了自己的maven仓库 。
mvn : // 命令jar包被下载下来
首选这种
有关flink
1、代码中容易忽略的地址问题 。
只要没有new，就是同一个地址，也就是对同一个地址上的内容进行修改 。
package com.atguigu.app.function;import com.alibaba.fastjson.JSONObject;public class test {public static void main(String[] args) {// {"after":"123456","tablename":"table1","db":"database","before2":"xyz","before1":"xyz"}JSONObject value=http://www.kingceram.com/post/new JSONObject();value.put("db", "database") ;value.put("tablename", "table1");value.put("before1", "xyz");value.put("before2", "xyz");value.put("after", "123456");System.out.println(value.toString());// {"value":{"after":"123456","tablename":"table1","db":"database","before2":"xyz","before1":"xyz"}}JSONObject value1=new JSONObject();value1.put("value",value) ;// {"after":"123456","tablename":"table1","db":"database","before2":"xyz","before1":"xyz"}JSONObject data = http://www.kingceram.com/post/value1.getJSONObject("value");String filterColumn = "db"+","+"tablename"+","+"after";test2.filterColumn(data, filterColumn);System.out.println(value1.toString());}}
{"after":"123456","tablename":"table1","db":"database","before2":"xyz","before1":"xyz"}{"value":{"after":"123456","tablename":"table1","db":"database"}}
用到的过滤方法
package com.atguigu.app.function;import com.alibaba.fastjson.JSONObject;import java.util.Arrays;import java.util.List;public class test2 {protected static void filterColumn(JSONObject data, String sinkColumns) {String[] fields = sinkColumns.split(",");List columns = Arrays.asList(fields);data.entrySet().removeIf(next -> !columns.contains(next.getKey()));}}
有关kafka
1、启动不起来Kafka
在日志中找到
在三台机器上面的/opt//kafka/datas路径下，分别:
/opt//kafka/datas下面的meta.的.id改成jA
kafka启动不输出消息到控制台，输出到指定的文件名 。这里输出到temp.log中 。temp.log的路径是执行命令时候的当前路径 。也就是在Kafka下面 。
参考来源
2、有的节点启动不起来
打开日志(.out文件)，然后最后一行是这样的错误 。
ERRORall log dirs in /opt//kafka/data
have(kafka.log.)
注意：如果是重要数据，一定要备份！！！不能只删除 。
之前可能是删除过topic，爆出了这样的错误 。
于是，试了一下，这样做是可以的，网上其他的做法试了不行 。
有关hbase、
1、一定要退出安全模式，在启动hbase之前，否则会有一些错误，比如无法连接 。
hdfs- leave
2、迟迟连不上，首先检查安全模式的有没有关，不行的话，然后试试下面的方法 。
3、hbase中的设计
HBase的设计一直都是难点和痛点，不合适的设计会导致读写性能、吞吐不佳等诸多问题 。
hbase中的设计的参考文章
有关副本
HBase的副本机制是通过通过底层的HDFS实现的 。所以，HBase的副本与分片是解耦的，是存储计算分离的 。这使得region可以在RS之间灵活的移动，而不需要进行数据迁移，这赋予了HBase秒级扩容的能力和极大的灵活性 。
好的分布是怎么样的？
对于单个表而言，一个“好”的数据分布，应该是:-- 每个region的数据量大小相近，请求量(吞吐)接近，每台机器调度的region数量大致相同 。这样，这张表的数据和访问能够均匀的分布在整个集群中，从而得到最好的资源利用率和服务质量，即达到负载均衡 。当集群进行扩容、缩容时，我们希望这种“均衡”能够自动保持 。如果数据分布未能实现负载均衡，则 ---负载较高的机器---很容易称为整个系统的瓶颈，这台机器的响应慢，可能导致客户端的大部分线程都在等待这台机器返回，从而影响整体吞吐 。所以，负载均衡是region划分和调度的重要目标 。