[impala] rpad와 아스키 코드를 이용한 인덱스 컬럼 범위 검색

rpad 문법은 rpad(A,N,B) 와 같이 썼을 때, 전체 문자열 길이가 N 만큼 되도록 B 문자열을 붙여준다. 때문에 fixed-width 컬럼의 값이나 검색 조건을 만들어내는 데에 사용할 수 있다.

우리 시스템에서는 특정 이벤트를 식별하기 위해서 맨 앞 열 여섯 자리는 해당 이벤트 발생 시간이면서 33 자리인 id를 키로 사용하고 있는데 이 때에 rpad 를 활용하면 유용하다.

특정 시간 대(2020/01/24 09:00 ~ 09:10)의 이벤트들을 조회하고자 하는 경우 다음과 같이 조회해볼 수 있겠다.

 where eid >= rpad('202001240900',33,chr(33))
   and eid <  rpad('202001241000',33,chr(33))

eid 에는 특수문자도 포함될 수 있기 떄문에, printable character 중에서 가장 낮은 값인 chr(33)('!') 를 채워주면 해당 구간의 모든 이벤트를 조회해볼 수 있다.

between 구문을 굳이 사용하려고 한다면 가장 높은 값인 chr(126)('~') 값을 채워주면 된다.

 where eid between rpad('202001240900',33,chr(33))
               and rpad('202001241000',33,chr(126))

eid 컬럼에 substr 을 이용하는 방식으로 검색할 수도 있겠지만 풀스캔이 일어날 수 있기 때문에 검색 조건에 문자열을 패딩해서 검색하는 것이 인덱스를 제대로 활용할 수 있고 더 나은 방법이다.

아스키 코드 표

다음과 같이 정리가 잘 된 테이블이 있어서 하나 가져와봤다.

참고 : https://www.ionos.com/digitalguide/server/know-how/ascii-codes-overview-of-all-characters-on-the-ascii-table/

임팔라에서 아래와 같이 쿼리해보면 아스키코드 순서대로 정렬되는 것을 확인할 수 있다.

select *
  from (select chr(32) as c, 32 as n union all 
        select chr(33) as c, 33 as n union all 
        select chr(34) as c, 34 as n union all 
        select chr(35) as c, 35 as n union all 
        select chr(36) as c, 36 as n union all 
        select chr(37) as c, 37 as n union all 
        select chr(38) as c, 38 as n union all 
        select chr(39) as c, 39 as n union all 
        select chr(40) as c, 40 as n
       ) a
 order by c asc