Data Engine 서비스를 사용하여 아카이브 데이터 검색

3.1단계. Data Engine 조회 UI 실행

1. IBM Cloud 계정에 로그인하십시오.

   사용자 ID와 비밀번호로 로그인하면 IBM Cloud 대시보드가 열립니다.

2. 메뉴 아이콘 > 리소스 목록 > 서비스를 클릭합니다.

3. Data Engine 인스턴스를 선택하십시오.

4. 관리 탭에서 Data Engine UI 실행을 선택하십시오.

Data Engine 조회 UI가 열리면 COS 버킷이 자동으로 생성됩니다. 이 버킷은 기본적으로 Data Engine 서비스에서 SQL 조회 결과를 저장하는 데 사용됩니다.

조회를 실행할 때 결과를 저장할 사용자 정의 버킷을 지정할 수 있습니다. 조회에 버킷을 지정하지 않은 경우 기본 버킷이 사용됩니다.

3.2단계. COS에서 조회할 파일에 대한 정보 가져오기

다음 단계를 완료하십시오.

1. IBM Cloud 대시보드에서 메뉴 아이콘 > 리소스 목록 > 저장소를 클릭합니다.

2. 아카이브 파일이 포함된 버킷이 있는 Data Engine 인스턴스를 선택하십시오.

   Log Analysis 관리자에게 문의하여 COS 정보를 얻으십시오.

3. 버킷을 선택하십시오.

4. 버킷 이름을 선택하십시오. 버킷에 있는 아카이브 파일 목록을 볼 수 있습니다.

5. 조회하려는 파일을 식별하십시오.

   파일 이름에는 Log Analysis 인스턴스의 ID및 날짜 (UTC 형식) 가 있습니다.

6. 해당 파일에 대해 오브젝트 Data Engine URL 을 복사하십시오.

3.3단계. 조회 결과를 저장하는 데 사용되는 COS 버킷에 대한 정보 가져오기

다음 단계를 완료하십시오.

1. COS 인스턴스 UI에서 버킷을 선택하십시오.

2. 조회 결과를 저장하는 데 사용할 버킷 이름을 선택하십시오.

3. 해당 버킷의 경우 SQL URL을 선택하십시오.

   URL을 보여주는 창이 열립니다.

4. URL을 복사하십시오.

3.4단계. 아카이브 파일 변환

다음 단계를 완료하여 쿼리를 실행하여 콘텐츠를 JSON에서 분할된 JSON 객체로 변환합니다:

1. Data Engine UI의 SQL 편집기 필드에 다음 SELECT 문을 입력하십시오.

   SELECT *, date_format(from_unixtime(_source._ts / 1000, 'yyyy-MM-dd HH:mm:ss'), 'yyyy') AS _year,
          dayofyear(from_unixtime(_source._ts / 1000, 'yyyy-MM-dd HH:mm:ss')) AS _dayofyear,
          date_format(from_unixtime(_source._ts / 1000, 'yyyy-MM-dd HH:mm:ss'), 'HH') AS _hour
   FROM SQL_URL STORED AS JSON
   INTO RESULTS_BUCKET STORED AS JSON PARTITIONED BY (_year, _dayofyear, _hour)
   

   여기서,

   • SQL_URL은 COS에 있는 아카이브 파일의 SQL URL입니다.

   • RESULTS_BUCKET은 조회 결과를 업로드하는 데 사용할 사용자 정의 COS 버킷의 SQL URL입니다.

   명령문에서 시간소인 정보는 각 행의 _ts 항목에서 캡처되며 연도, 일 및 시간 정보를 생성하는 데 사용됩니다. 결과는 지정된 파티셔닝을 Hive 스타일 파티셔닝으로 반영합니다. 예를 들어, 오브젝트 이름에 _hour=00 가 표시될 수 있습니다. 이는 해당 시간에 속하는 모든 로그 데이터가 해당 오브젝트에 포함됨을 의미합니다.

2. 실행을 클릭하십시오.

   조회 결과는 UI의 결과 영역에서 볼 수 있습니다.

   대상 COS URL은 UI의 결과 위치 영역에서 볼 수 있습니다. 이 URL은 Data Engine에서 결과를 저장하는 데 사용하는 Object Storage 버킷을 가리킵니다.

   Lite 플랜을 사용할 경우 조회를 한 개만 실행할 수 있습니다. 유료 플랜을 사용할 경우 최대 5개의 조회를 동시에 실행할 수 있습니다.

3. 결과 위치 URL을 복사하십시오. 해당 아카이브 파일에 포함된 데이터를 분석하기 위해 다른 쿼리를 실행하려면 이 정보가 필요합니다.

JSON에서 PARQUET로 컨텐츠를 변환하려면 다음 단계를 완료하여 조회를 실행하십시오.

1. Data Engine UI의 SQL 편집기 필드에 다음 SELECT 문을 입력하십시오.

   SELECT * FROM cleancols(SQL_URL STORED AS JSON)
   INTO RESULTS_BUCKET STORED AS PARQUET
   

   여기서,

   • SQL_URL은 COS에 있는 아카이브 파일의 SQL URL입니다.

   • RESULTS_BUCKET은 조회 결과를 업로드하는 데 사용할 사용자 정의 COS 버킷의 SQL URL입니다.

   • 열의 이름에 특수 문자 또는 공백이 포함될 때 PARQUET 형식으로의 변환 문제점을 방지하려면 cleancols를 사용하십시오.

   예를 들어 다음 조회는 아카이브 파일을 변환하는 데 시용됩니다.

   SELECT * FROM cleancols(cos://ams03/at-eu-de/999999d8f1f.2019-06-03.62.json.gz STORED AS JSON)
   INTO cos://eu-de/results-at STORED AS PARQUET
   

2. 실행을 클릭하십시오.

   조회 결과는 UI의 결과 영역에서 볼 수 있습니다.

   대상 COS URL은 UI의 결과 위치 영역에서 볼 수 있습니다. 이 URL은 Data Engine에서 결과를 저장하는 데 사용하는 Object Storage 버킷을 가리킵니다.

   Lite 플랜을 사용할 경우 조회를 한 개만 실행할 수 있습니다. 유료 플랜을 사용할 경우 최대 5개의 조회를 동시에 실행할 수 있습니다.

3. 결과 위치 URL을 복사하십시오. 해당 아카이브 파일에 포함된 데이터를 분석하기 위해 다른 쿼리를 실행하려면 이 정보가 필요합니다.

변환 쿼리를 실행하면 COS 결과 버킷에 3개의 개체가 결과 집합으로 기록됩니다:

1. jobid=<job_id>
2. jobid=<job_id>/_SUCCESS
3. jobid=<job_id>/<part-number>

한 개의 오브젝트에만 결과 세트(jobid=<job_id>/<part-number>)가 포함되어 있고, 다른 두 개는 아무 데이터도 포함되어 있지 않은 빈 오브젝트입니다.

결과 세트를 사용하려는 경우 어떤 파일도 삭제하지 않는 것이 중요합니다.

각 결과는 조회에 직접 결과를 사용할 수 있도록 고유한 작업 ID 접두부와 함께 저장됩니다.

결과를 SQL 조회에 입력으로 지정하려는 경우 첫 번째 오브젝트(jobid=<job_id>) 또는 세 번째 오브젝트(jobid=<job_id>/<part-number>)를 지정하십시오.

조회별로 작성된 결과 세트에 관해 자세히 알아보십시오.

3.5단계. 조회를 실행하여 지난 30일 동안의 오류 찾기

예를 들어, 최근 30일동안의 모든 ERROR 로그 행을 찾으려면 다음 명령을 실행하십시오.

SELECT _source.data
FROM RESULTS_BUCKET STORED AS JSON
where dayofyear(_dayofyear > current_date - INTERVAL 30 day) and _source.level = "ERROR"
LIMIT 50
INTO QUERY_RESULTS_BUCKET STORED AS JSON

여기서,

• RESULTS_BUCKET 은 데이터를 파티션된 JSON 오브젝트로 변환한 후 조회 결과를 업로드하는 데 사용하는 사용자 정의 COS 버킷의 SQL URL입니다.

• 쿼리 결과 버킷은 쿼리 결과를 업로드하는 데 사용하는 사용자 지정 COS 버킷의 SQL URL입니다

3.6단계. 조회를 실행하여 시간 범위 내의 모든 ERROR 로그 행 찾기

예를 들어, 7월 17th에 오전 7시와 오전 8시사이의 시간 프레임에서 모든 ERROR 로그 행을 찾으려면 다음 명령을 실행하십시오.

SELECT _source.data
FROM RESULTS_BUCKET STORED AS JSON
where _dayofyear=198 and _hour=07 and _source.level = "ERROR"
LIMIT 50
INTO QUERY_RESULTS_BUCKET STORED AS JSON

여기서,

• RESULTS_BUCKET 은 데이터를 파티션된 JSON 오브젝트로 변환한 후 조회 결과를 업로드하는 데 사용하는 사용자 정의 COS 버킷의 SQL URL입니다.

• 쿼리 결과 버킷은 쿼리 결과를 업로드하는 데 사용하는 사용자 지정 COS 버킷의 SQL URL입니다