将测试结果和构建脚本添加到管道
通过将新的或现有测试和构建脚本的结果添加到 DevSecOps 管道 Continuous Integration 流,将现有测试和构建流连接到 Continuous Integration 管道。
您可以在持续集成管道中使用以下阶段来添加测试和构建步骤:
- 设置
- 测试
- 容器化 (构建)
- 发行版
管道设置
使用 Setup 阶段来设置测试和构建环境,并将信息拉入管道。 例如,可以在单个构建中使用多个与应用程序相关的存储库。 您可以克隆所需的所有存储库,并使管道在合规性相关检查和扫描中了解这些存储库。
由管道内部克隆并通过使用具有引用名称 app-repo
的 save_repo pipelinectl
接口添加到管道的缺省应用程序存储库。 如果从工具链模板设置管道,那么缺省存储库由存储库管道 UI 参数提供,或者由其工具链绑定名称选择。
如果要使用更多存储库,请在 setup 阶段中克隆这些存储库,并使用相同的 save_repo
界面将其添加到管道中。
示例
#
# your scripts cloning the repositories
#
# make sure you prepare or export the following data from each cloned repository:
# - repository URL
# - path where it was cloned, relative to the $WORKSPACE path
# - cloned branch
# - latest commit hash
#
your_clone_scripts
#
# when cloning is complete
# use `save_repo` to add these information to the pipeline
# repo-reference-name can be any name, it is used to refer to the stored repo
#
save_repo <repo-reference-name> \
url="${REPO_URL}" \
path="${REPO_PATH}" \
branch="${CLONED_BRANCH}" \
commit="${LATEST_GIT_COMMIT}"
这样,管道的其余部分可以扫描这些存储库以查找合规性违例和漏洞。
使用 save_repo
保存的路径必须相对于工作空间路径。
您无需为脚本或基本映像安装 pipelinectl
工具,参考管道将提供脚本上下文的二进制文件。
测试
此阶段是在代码存储库上运行测试的阶段。 您可以使用 list_repos
和 load_repo
pipelinectl
界面来访问在安装阶段中添加的存储库。
示例
exit_code=0
#
# `list_repos` returns the list of the reference names of saved repos
#
list_repos | while IFS= read -r repository ; do
#
# load_repo returns a property of a saved repository
#
# Usage:
# load_repo <repo-reference-name> <property>
#
url="$(load_repo "$repository" url)"
sha="$(load_repo "$repository" commit)"
branch="$(load_repo "$repository" branch)"
path="$(load_repo "$repository" path)"
#
# use your repos to test, etc
#
run_tests
result=$?
if [ $result != 0 ]; then
exit_code=$result
fi
done
exit $exit_code
单元测试一致性控制基于阶段脚本的退出代码。 如果测试通过,请使用 0
退出。 否则,在末尾返回非零退出代码。
保存结果
您的测试可能会生成一些报告工件,例如 JSON 或 XML 中的测试结果。 在此阶段中使用 save_result pipelinectl
接口将测试作为证据工件附加到创建的合规性证据。
#
# run tests with some test suite runner, and save output to results.json
#
test_runner -o results.json
#
# save the result for the pipeline, so it can attach it to the unit test evidence
#
save_result test results.json
save_results 的第一个参数必须是 DevSecOps 管道配置阶段名称,例如测试,扫描工件或验收测试。 否则,证据收集器将无法找到该证据并将其附加到正确的证据。
使用 save_result
pipelinectl 接口可确保管道查找结果工件,将这些工件上载到证据锁定程序并附加到管道创建的合规性证据。
使用 save_result
时为单元测试创建的示例证据:
{
"evidence_type_id": "com.ibm.unit_tests",
"evidence_type_version": "1.0.0",
"date": "2021-03-31T07:41:31.881Z",
"result": "success",
"pipeline_id": "8c2b6750-91db-45fb-98ee-51684843b821",
"pipeline_run_id": "89a04de9-2795-4e8e-be90-52a92ac7f9c1",
"issues": [],
"artifacts": [
{
"url": "https://s3.us-south.cloud-object-storage.appdomain.cloud/cos-bucket-name/ci/89a04de9-2795-4e8e-be90-52a92ac7f9c1/artifacts/compliance-app-COMPACT-20210218231513608/unit-tests-results.json_d9619521e7444fef0ff052e59fd54049",
"hash": "d9619521e7444fef0ff052e59fd54049"
}
],
"toolchain_crn": "crn:v1:bluemix:public:toolchain:us-south:a/40111714589c4f7099032529b26a7a63:39d4f080-55e5-42ee-a787-26d936fb2b97::",
"log": [
{
"url": "https://cloud.ibm.com/devops/pipelines/tekton/8c2b6750-91db-45fb-98ee-51684843b821/runs/89a04de9-2795-4e8e-be90-52a92ac7f9c1/code-unit-tests/run-stage?env_id=ibm:yp:us-south",
"hash": null
},
{
"url": "https://s3.us-south.cloud-object-storage.appdomain.cloud/cos-bucket-name/ci/89a04de9-2795-4e8e-be90-52a92ac7f9c1/artifacts/logs/code-unit-tests/run-stage.log_dae902fb1455b1fc9c565273aa4fe1bc",
"hash": "dae902fb1455b1fc9c565273aa4fe1bc"
}
]
}
构建或容器化
在此阶段中,您可以构建工件。 管道为 Docker 映像类型工件提供了一些缺省功能,但您可以在此处构建任何工件。 为管道保存已创建的工件,以便稍后可以对其运行扫描,或者在发布阶段中使用这些工件。
要提供有关已构建工件的信息,请使用 save_artifact
pipelinectl 接口。
示例
#
# your scripts building the artifact
#
# make sure you prepare or export the following data from each built artifact:
# - type (image for docker images, package for rpms, npm tarballs, etc )
# - full artifact URL with version tag
# - artifact digest
#
your_build_scripts
#
# when the build is complete
# use `save_artifact` to add these information to the pipeline
# artifact-reference-name can be any name, it is used to refer to the stored artifact
#
save_artifact <artifact-reference-name> \
type=image" \
name="${IMAGE_URL}" \
digest="${IMAGE_DIGEST}"
映像名称的首选格式为 image-URL:build-tag
,例如 wcp-compliance-automation-team-docker-local.artifactory.swg-devops.com/compliance-baseimage:2.8.0
。 {: 重要]
如果构建 Docker 映像,请使用 save_artifact
接口为缺省内置映像签名和 CR IBM Informix 虚拟设备扫描任务发送这些映像。
发行版
在管道结束时,必须将构建的工件添加到库存中,以便可以将其提升到部署。 如果要将其他工件 (例如 Helm 图表) 添加到库存,那么发布阶段将提供灵活性。
在此阶段中,可以使用 CLI cocoa inventory add
命令以及 pipelinectl
命令中的数据来创建库存条目。
如果管道运行中存在问题,那么您可以选择跳过库存更新以避免有问题的库存。 要跳过库存更新,请使用以下环境变量:
skip-inventory-update-on-failure
来自管道的选择性加入环境变量,用于指定是否更新库存。one-pipeline-status
如果管道运行中存在阶段故障,请设置为1
。
在此阶段中调用 cocoa inventory add
之前,请检查这些变量。
示例
# Check the status of pipeline and then release the artifacts to inventory
ONE_PIPELINE_STATUS=$(get_env one-pipeline-status 0)
if [ -n "$(get_env skip-inventory-update-on-failure "")" ]; then
if [ $ONE_PIPELINE_STATUS -eq 1 ]; then
echo "Skipping release stage as some of the pipeline stages are not successful."
exit 1
fi
fi
#
# `list_artifacts` returns the list of the reference names of saved artifacts
#
list_artifacts | while IFS= read -r artifact ; do
#
# Add a new value to the inventory repository. `cocoa inventory add` creates a new file with the name option,
# if does not exist otherwise overwrites it.
#
cocoa inventory add \
--name="${artifact}" \
--artifact="$(load_artifact $artifact name)" \
--repository-url="$(load_repo app-repo url)" \
--commit-sha="$(load_repo app-repo commit)" \
--build-number="${BUILD_NUMBER}" \
--pipeline-run-id="${PIPELINE_RUN_ID}" \
--version="$(get_env version)" \
--app-artifacts="{ \
\"signature\": \"$(load_artifact $artifact signature)\", \
\"provenance\": \"$(load_artifact $artifact name)\"\
}"
done
要使用 CLI,必须将其安装在脚本中,或者使用预先安装了 CLI 的基本映像。