华为云配置

kailian 2021-09-08

华为云配置

  • kudu
  • impala
  • yarn
  • flink

kudu配置

kudu错误信息

Kudu Row Error1: Row error for primary key=[50, 48, 50, 49, 45, 48, 54, 45, 50, 52, 0, 0, -32, -44, 76, -2, -128, 5, -59, 127, 115, -50, -69, -120, -128, 0, 0, 1, -128, 0, 31, 14], tablet=null, server=b8ac8c4310ed486887d51451c7e67f31, status=Invalid argument: value too large for column 'rewards' (110401 bytes, maximum is 65536 bytes)

默认的类型为string,string类型默认为UTF-8字符集下最大为64kb，即为65536 bytes。若要扩展可存储的大小，可以设置参数max_cell_size_bytes。

华为管理后台KuduTserver配置，修改配置为512k

--unlock_unsafe_flags true
--max_cell_size_bytes  524288

需要重启kudu才会生效

Kudu重新平衡

su - omm
source /opt/hadoopclient/bigdata_env
kudu cluster rebalance master-1:7051,master-2:7051,master-3:7051

impala配置

  1. 自定义配置

scratch目录

--scratch_dirs = /srv/BigData/data1/impala

时间戳配置（时区）

--use_local_tz_for_unix_timestamp_conversions = true

接口请求关闭cas

--webserver_cas_enable = false
  1. 内存限制

IMPALAD_MEM_LIMIT Impalad进程可以在一个节点上使用的最大内存，单位为MB。

Yarn配置

yarn资源问题

用Flink用yarn提交了任务，提交了4个之后，提交第5个任务yarn就会出现Accepted状态。

问题：Used Application Master Resources已经达到Max Application Master Resources，需要等待某个任务结束后才能继续启动下一个任务。

处理：租户资源 > 动态资源计划 > 队列配置，修改yarn的AM最多占有资源（%）的配置。默认10%，48个核AM只能使用4个，跑4个任务。修改为40%，48个核可以AM可以使用19个，跑19个任务。

http://support-it.huawei.com/docs/zh-cn/fusioninsight-all/maintenance-guide/zh-cn_topic_0222554316.html

https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0852.html

Flink目录权限问题

su - omm
source /opt/hadoopclient/bigdata_env
hdfs dfs -chmod -R 777 /flink
bigdata11