Parquet 모듈 암호화에 대한 작업

Parquet 암호화를 사용하여 실행하기 위한 필수 매개변수

다음 매개변수는 암호화된 데이터를 기록하기 위해 필요합니다.

• 마스터 암호화 키를 사용하여 암호화할 열 목록:

  parameter name: "parquet.encryption.column.keys"
  parameter value: "<master key ID>:<column>,<column>;<master key ID>:<column>,.."
  

• 푸터 키:

  parameter name: "parquet.encryption.footer.key"
  parameter value: "<master key ID>"
  

  예를 들어, 다음과 같습니다.

  dataFrame.write
  .option("parquet.encryption.footer.key" , "k1")
  .option("parquet.encryption.column.keys" , "k2:SSN,Address;k3:CreditCard")
  .parquet("<path to encrypted files>")
  

  중요: "parquet.encryption.column.keys" 매개변수와 "parquet.encryption.footer.key" 매개변수를 둘 다 설정하지 않으면 파일이 암호화되지 않습니다. 이러한 매개변수 중 하나만 설정하면 암호화된 파일에 이러한 매개변수가 필수이므로 예외가 발생합니다.

• EncryptionPropertiesFactory 를 구현하는 클래스:

  parameter name: "parquet.crypto.factory.class"
  parameter value: "com.ibm.parquet.key.management.IBMKeyToolsFactory"
  

  중요: "parquet.crypto.factory.class" 가 설정되지 않은 경우 파일은 암호화 팩토리에 의해 암호화되지 않습니다.

사용 예제

Python 및 Scala의 다음 샘플 코드 스니펫은 암호화된 Parquet 파일에 기록된 데이터 프레임을 작성하고 암호화된 Parquet 파일에서 읽는 방법을 보여줍니다.

• Python: 암호화된 데이터 쓰기

  from pyspark.sql import
  
  RowsquaresDF = spark.createDataFrame(
      sc.parallelize(range(1, 6))
      .map(lambda i: Row(int_column=i,  square_int_column=i ** 2)))
  
  sc._jsc.hadoopConfiguration().set("parquet.crypto.factory.class",
      "com.ibm.parquet.key.management.IBMKeyToolsFactory")
  sc._jsc.hadoopConfiguration().set("encryption.key.list",
      "key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
  
  encryptedParquetPath = "squares.parquet.encrypted"squaresDF.write\
     .option("parquet.encryption.column.keys", "key1:square_int_column")\
     .option("parquet.encryption.footer.key", "key2")\
     .parquet(encryptedParquetPath)
  

• Python: 암호화된 데이터 읽기

  sc._jsc.hadoopConfiguration().set("parquet.crypto.factory.class",
      "com.ibm.parquet.key.management.IBMKeyToolsFactory")
  sc._jsc.hadoopConfiguration().set("parquet.encryption.key.list",
       "key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
  
  encryptedParquetPath = "squares.parquet.encrypted"
  parquetFile = spark.read.parquet(encryptedParquetPath)
  parquetFile.show()
  

• Scala: 암호화된 데이터 쓰기

  case class SquareItem(int_column: Int, square_int_column: Double)
  val dataRange = (1 to 6).toList
  val squares = sc.parallelize(dataRange.map(i => new SquareItem(i, scala.math.pow(i,2))))
  sc.hadoopConfiguration.set("parquet.crypto.factory.class","com.ibm.parquet.key.management.IBMKeyToolsFactory")
  sc.hadoopConfiguration.set("parquet.encryption.key.list","key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
  val encryptedParquetPath = "squares.parquet.encrypted"
  squares.toDS().write
    .option("parquet.encryption.column.keys", "key1:square_int_column")
    .option("parquet.encryption.footer.key", "key2")
    .parquet(encryptedParquetPath)
  

• Scala: 암호화된 데이터 읽기

  sc.hadoopConfiguration.set("parquet.crypto.factory.class","com.ibm.parquet.key.management.IBMKeyToolsFactory")
  sc.hadoopConfiguration.set("parquet.encryption.key.list","key1: AAECAwQFBgcICQoLDA0ODw==, key2: AAECAAECAAECAAECAAECAA==")
  val encryptedParquetPath = "squares.parquet.encrypted"
  val parquetFile = spark.read.parquet(encryptedParquetPath)
  parquetFile.show()
  

암호화 키 처리의 내부

Parquet 파일을 작성할 때 랜덤 데이터 암호화 키(DEK)는 푸터 및 각 암호화된 열에 대해 생성됩니다. 이러한 키는 Parquet 파일에서 데이터 및 메타데이터 모듈을 암호화하는 데 사용됩니다.

그런 다음, 데이터 암호화 키는 키 암호화 키(KEK)로 암호화되고 각 마스터 키에 대해 Spark/Parquet 내에 생성됩니다. 키 암호화 키는 마스터 키가 애플리케이션에서 관리되는 경우에는 로컬로, 마스터 키가 IBM® Key Protect for IBM Cloud®에서 관리되는 경우에는 KeyProtect 서비스에서 마스터 암호화 키(MEK)로 암호화됩니다.

암호화된 데이터 암호화 키 및 키 암호화 키는 마스터 키 ID와 함께 Parquet 파일 메타데이터에 저장됩니다. 각 키 암호화 키는 파일 메타데이터에 저장된 고유 ID(보안 랜덤 16바이트 값으로 로컬로 생성됨)를 갖습니다. 키 암호화 키는 액세스 토큰에 의해 캐시되므로, 동일한 마스터 암호화 키를 사용하는 경우 암호화된 각 열 또는 파일에 대해 KeyProtect 서비스와 상호작용할 필요가 없습니다.

Parquet 파일을 읽을 때 마스터 암호화 키(MEK)의 ID와 해당 ID가 있는 암호화된 키 암호화 키(KEK) 및 암호화된 데이터 암호화 키(DEK)가 파일 메타데이터에서 추출됩니다.

키 암호화 키는 마스터 키가 애플리케이션에서 관리되는 경우에는 로컬로, 마스터 키가 IBM® Key Protect for IBM Cloud®에서 관리되는 경우에는 KeyProtect 서비스에서 마스터 암호화 키로 복호화됩니다. 키 암호화 키는 액세스 토큰에 의해 캐시되므로, 동일한 키 암호화 키를 사용하는 경우 복호화된 각 열 또는 파일에 대해 KeyProtect 서비스와 상호작용할 필요가 없습니다. 그런 다음 데이터 암호화 키(DEK)가 키 암호화 키(KEK)를 사용하여 로컬로 복호화됩니다.

키 순환(선택적 기능)

엔벨로프 암호화 방식에는 손상된 MEK로 인한 민감함 데이터 유출 위험을 최소화하기 위해 마스터 키를 순환(변경)하는 고급 옵션이 있습니다. DEK는 변경할 수 없습니다. 이는 Parquet 파일 전체의 암호화를 의미하기 때문입니다. 새 MEK(및 투명하게 재생성된 KEK)는 DEK를 재암호화하는데 사용됩니다.

Parquet 파일에서 키 순환을 사용하려면 parquet 파일을 작성할 때 Hadoop 구성에서 "parquet.encryption.key.material.store.internally" 매개변수를 "false"(으)로 설정해야 합니다.

이 매개변수 세트를 사용하면 Parquet가 Parquet 파일 내부 대신 별도의 작은 파일에 키(MEK로 랩핑된)를 저장합니다. 키 순환이 수행될 때, 소형 키 자료 파일만 대체됩니다. Parquet 파일을 수정할 필요가 없습니다(종종 변경 불가능함). 대부분의 KMS 시스템은 저장된 마스터 키의 내용을 대체하고 MEK ID를 그대로 유지함으로써 키 순환을 지원합니다(그러나 키 버전을 업데이트함). 사용자 또는 관리자가 KMS 특정 API를 사용하여 KMS 인스턴스 내부에서 마스터 키 순환을 수행하면, Parquet 키 순환 메카니즘은 다음과 같이 호출하여 트리거될 수 있습니다(예를 들어, 동일한 관리자에 의해).

public static void KeyToolkit.rotateMasterKeys(String folderPath, Configuration hadoopConfig)

키 순환이 수행되면 folderPath의 모든 키 자료 파일에 있는 모든 KEK가 DEK를 복호화할 수 있도록 이전 MEK 버전으로 랩핑 해제됩니다. 각 마스터 키 ID에 대해 새 KEK가 생성되고, 새 MEK 버전으로 랩핑됩니다. 이전 KEK를 재사용하는 대신에 새 KEK를 작성하면 보안이 강화될 뿐만 아니라 후속 데이터 읽기 조작의 성능이 향상됩니다. 이는 관리자가 실행하는 단일 키 순환 프로세스가 여러 프로세스를 통해 작성된 여러 파일에 걸쳐 작동하기 때문이며, 이는 동일한 MEK ID에 대한 여러 서로 다른 KEK를 의미합니다. 키 순환 프로세스는 이전 KEK를 하나의 새로운 KEK로 대체되며, 이를 통해 독자는 각 마스터 키에 대한 KMS와의 단일 랩핑 해제 상호작용을 실행할 수 있습니다.

키 순환을 사용하는 방법에 대한 예는 다음과 같습니다.

• 애플리케이션별 키 관리의 경우 애플리케이션별 키 관리에서 키 순환을 참조하십시오.
• Key Protect에 의한 키 관리는 Key Protect에 의한 키 순환 키 관리를 참조하십시오.

자세한 정보

다음 샘플 노트북에서 Parquet 암호화를 사용하는 방법을 알아보십시오.

• 키 관리 애플리케이션별 Parquet 암호화