Skip to Content
Data EngineeringHBase 버전에 따라 수집할 수 없었던 지표
📊 Data Engineering2018년 1월 11일

HBase 버전에 따라 수집할 수 없었던 지표

#hbase#monitoring#hdp#cdh#data-engineering#flamingo

HBase 모니터링을 개발하면서 배포판에 따라 수집할 수 있는 정보가 다른 문제를 확인했습니다. 당시 HDP 2.6.4는 HBase 1.1.2를, CDH 5.13은 HBase 1.2.x를 기반으로 사용하고 있었습니다.

Apache HBase 버전으로도 비교해 보니 1.1.2에서 확인할 수 있던 일부 정보가 1.2.x에서는 제공되지 않았습니다. 배포판 이름뿐 아니라 내부 HBase 버전의 차이도 함께 봐야 했습니다.

조회 방식 변경만으로 해결되지 않은 경우

지표를 읽지 못하면 먼저 수집 경로나 파서가 잘못됐는지 확인하게 됩니다. 하지만 이번에 확인한 정보는 REST API나 Thrift로 접근해도 가져올 수 없었습니다.

같은 데이터를 다른 인터페이스로 읽으면 해결될 것이라고 가정할 수 없었습니다. 해당 버전에서 정보 자체를 제공하는지부터 확인해야 했습니다.

수집 실패와 미지원 지표 구분

이런 차이가 있으면 값이 없다는 결과를 모두 같은 오류로 처리하기 어렵습니다. 일시적으로 조회가 실패한 것인지, 현재 버전에서 수집할 수 없는 항목인지 나눠 봐야 합니다.

특히 없는 값을 0으로 바꾸면 실제로 측정한 0과 구분되지 않습니다. 그래프가 비어 있을 때도 원본 응답에 값이 없는지와 파서가 놓친 것인지를 따로 확인해야 합니다.

버전별 확인 범위

당시 기록에서 남긴 기준은 다음과 같습니다.

확인 대상확인할 내용
배포판HDP·CDH의 정확한 버전
HBase배포판에 포함된 HBase 버전
원본 응답필요한 정보나 지표의 존재 여부
다른 조회 방법REST·Thrift 등에서도 제공되는지

이 기록만으로 HBase 1.2.x의 모든 지표가 달라졌다고 일반화할 수는 없습니다. 실제로 수집할 항목을 기준으로 버전별 응답을 확인하는 데 의미가 있었습니다.

라이브러리 호출 자체가 달랐던 사례는 CDH Hadoop 호환성 글에서 다룹니다.

Last updated on