Hive 하이브 - The value of property yarn.resourcemanager.zk-address must not be null (troubleshooting)

Problem

Hadoop 3.1.1 + Hive 3.1.1 + Zookeeper 3.4.13

Hadoop의 Yarn ResourceManager가 HA구성 되어있고 Hive 실행 엔진이 mr. 

Hive 및 Beeline에서 MR  작업 수행시 다음과 같은 에러 발생

FAILED: Hive Internal Error: java.lang.IllegalArgumentException(The value of property yarn.resourcemanager.zk-address must not be null)
java.lang.IllegalArgumentException: The value of property yarn.resourcemanager.zk-address must not be null

 

Solution

yarn-site.xml의 yarn.resourcemanager.zk-address을 hadoop.zk.address로 이름 변경

<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>zk-01:2181,zk-02:2181,zk-03:2181</value>
</property>

해당 설정을 다음과 같이

<property>
  <name>hadoop.zk.address</name>
  <value>zk-01:2181,zk-02:2181,zk-03:2181</value>
</property>

 

Cause

Hadoop 버전이 올라가면서 해당 설정이 변경되었는데 Hive와 맞지 않는 버그인것같다.