IBM Cloud の Event Streams のクイック・セットアップ・ガイド
このチュートリアルでは、インスタンスのプロビジョニング、トピックと資格情報の作成、データの生成と取り込みを行うことで、 Event Streams の使用を素早く開始する手順について説明します。 さらに、 IBM Cloud® Monitoring と IBM Cloud® Activity Trackerを接続する方法、およびオプションで Kafka Connect または ksqlDBを使用する方法についても説明します。 最後に、 Event Streamsのヘルプを利用する方法についても説明します。
ページの先頭にあるタブを使用して、インターフェースを選択します。
チュートリアルを完了するには、以下の手順に従ってください
- 始めに
- ステップ 1: プランの選択
- ステップ 2: コンソールを使用して Event Streams インスタンスをプロビジョンする
- ステップ 3: コンソールを使用してトピックとパーティションを作成する
- ステップ 4: コンソールを使用したサービス資格情報の作成
- ステップ 5: コンソールを使用してデータを生成する
- ステップ 6: コンソールを使用してデータを取り込む
- ステップ 7: Monitoring
- ステップ 8: Activity Tracker
- ステップ 9:(オプション)Kafka Connect または ksqlDBの使用
- ステップ 10: さらに支援が必要な場合
チュートリアルを完了するには、以下の手順に従ってください
- 始めに
- ステップ 1: プランの選択
- ステップ 2: CLI を使用して Event Streams インスタンスをプロビジョンする
- ステップ 3: CLI を使用してトピックとパーティションを作成する
- ステップ 4: CLI を使用したサービス資格情報の作成
- ステップ 5: コマンド行を使用したデータの生成
- ステップ 6: コマンド行を使用したデータの取り込み
- ステップ 7: Monitoring
- ステップ 8: Activity Tracker
- ステップ 9:(オプション)Kafka Connect または ksqlDBの使用
- ステップ 10: さらに支援が必要な場合
チュートリアルを完了するには、以下の手順に従ってください
- 始めに
- ステップ 1: プランの選択
- ステップ 2: API を使用して Event Streams インスタンスをプロビジョンする
- ステップ 3: API を使用したトピックおよびパーティションの作成
- ステップ 4: CLI および API を使用したサービス資格情報の作成
- ステップ 5: API を使用してデータを生成する
- ステップ 6: API を使用したデータの取り込み
- ステップ7:IBM Cloud Monitoringに接続する
- ステップ 8: Activity Tracker
- ステップ 9:(オプション)Kafka Connect または ksqlDBの使用
- ステップ 10: さらに支援が必要な場合
開始前に
開始する前に、 Event Streams が構築されている Apache Kafkaの理解を深めるために、以下の情報を読むことを強くお勧めします。
ステップ 1: プランの選択
Event Streams には、3 つの異なるプランが用意されています。 どちらがニーズに最も適しているかを判断するには、 プランの選択を参照してください。
-
ライト・プラン では、マルチテナント Event Streams クラスター内の単一パーティションに無料でアクセスできます。 ライト・プランを使用して Event Streams を試すか、PoC (概念検証) を作成します。
-
標準プラン は、マルチテナント Event Streams サービスへの従量課金 (PAYG) 共有アクセスを提供します。 このサービスは、ワークロードに使用する区画の数を増やすと、シームレスに自動スケーリングされます。 標準プランには、インスタンスごとに 100 個のパーティションという制限があります。
-
エンタープライズ・プラン は、分離されたシングル・テナントの Event Streams サービスへの従量課金 (PAYG) アクセスを提供します。 スループットとストレージのオプションの選択に加えて、このプランは、ユーザー管理の暗号化プライベート・エンドポイント、スキーマ・レジストリーのサポートも提供し、より多くの法規制への適合標準を満たしています。 データの分離、パフォーマンスの保証、および保持期間の延長が重要な検討事項である場合は、エンタープライズプランが最適です。
API の使用
複数の API を使用して Event Streamsを操作できます。 このチュートリアルでは、以下のAPIを使用します
- インスタンスをプロビジョン し、 アクセス・トークンを取得 するためのリソース・コントローラー API。
- トピックを処理 するための管理 REST API。
- REST プロデューサー API は、 サービス資格情報を作成 し、 メッセージを生成 します。
ステップ 2: コンソールを使用して Event Streams インスタンスをプロビジョンする
-
IBM Cloud コンソールにログインします。
-
「カタログ」 で Event Streams サービス をクリックします。
-
「料金プランの選択」 セクションから、 「ライト・プラン」、 「標準プラン」、または 「エンタープライズ・プラン」 を選択します。
-
サービスの名前を入力します。 デフォルト値を使用することができます。
-
「作成」 をクリックします。 Event Streams 「リソース・リスト」 ページが開きます。
-
インスタンスが作成されたら、インスタンス名をクリックして詳細情報を表示します。
-
オプション。 入門チュートリアル のステップを実行して、サンプル・スターター・アプリを実行できます。
ステップ 2: CLI を使用して Event Streams インスタンスをプロビジョンする
CLI を初めて使用する場合は、「 CLI の概要」を参照してください。
Event Streams スタンダードプランのインスタンスを IBM Cloud CLIでプロビジョニングするには、以下の手順に従います
-
IBM Cloud CLI の概要のステップを実行して、 IBM Cloud CLI をインストールします。
-
次のコマンドを実行して、IBM Cloud にログインします。
ibmcloud login -a cloud.ibm.com -
ライト・プラン、標準プラン、またはエンタープライズ・プランを使用して、Event Streams に IBM Cloud インスタンスを作成します。
以下のいずれかの方法を選択します。
-
エンタープライズ・プランで CLI からインスタンスを作成するには、以下のコマンドを実行します。
ibmcloud resource service-instance-create <INSTANCE_NAME> messagehub enterprise-3nodes-2tb <REGION>エンタープライズプランでは、各クラスタに専用のリソースが割り当てられているため、プロビジョニングに時間がかかります。そのため、新しいエンタープライズインスタンスのプロビジョニングには最大3時間かかる場合があります。
-
標準プランで CLI からインスタンスを作成するには、以下のコマンドを実行します。
ibmcloud resource service-instance-create <INSTANCE_NAME> messagehub standard <REGION>新しいスタンダードプランのインスタンスのプロビジョニングは、基盤となるリソースがすでにセットアップされているため、瞬時に行われます。
-
ステップ 2: リソース・コントローラー API を使用して Event Streams インスタンスをプロビジョンする
インスタンスをプロビジョンするための推奨される方法は、 CLI を使用することです。
あるいは、 リソース・コントローラー APIを使用することもできます。 最初に、 アクセス・トークンを取得 してから、アクセス・トークンを指定してリソース・コントローラー API コマンドを実行し、 インスタンスを作成 します。
ステップ 2a: リソース・コントローラー API を使用したアクセス・トークンの取得
まず、アプリケーション用の サービスID API キー を作成し、 次に、API キーを アクセストークンと交換することで、プログラム的にアクセストークンを取得することができます。 IBM Cloud IAM トークン。
-
以下を使用して IBM Cloud にログインします。 IBM Cloud CLI。
ibmcloud loginログインに失敗した場合は、
ibmcloud login --ssoコマンドを実行して再試行してください。 この--ssoフェデレーションIDでログインする場合は、パラメータが必要です。 このオプションを使用する場合、CLI 出力にリストされているリンクに移動して、ワンタイム・パスコードを生成します。 -
Event Streams のプロビジョンされたインスタンスが含まれるアカウント、リージョン、およびリソース・グループを選択します。
-
作成 アプリケーションの サービス ID。
ibmcloud iam service-id-create SERVICE_ID_NAME [-d, --description DESCRIPTION] -
サービス ID については、 リソースへのアクセスの管理 を参照してください。
IBM Cloud コンソールを使用して、サービスIDへのアクセス権限を割り当てることができます マネージャー、 ライター、 リーダー が役割にアクセスする方法が、 特定の Key Protect サービスアクションにどのように対応しているかについては、 yRoles and permissions を参照してください。
IBM Cloud コンソールを使用して、サービスIDへのアクセス権限を割り当てることができます マネージャー、 ライター、および リーダー の各アクセス役割をユーザー・アクセス権限にマップする方法について説明します。 Event Streams のリソースについては、 What can I secure? を参照してください。
-
作成 サービス ID API キー。
ibmcloud iam service-api-key-create API_KEY_NAME SERVICE_ID_NAME [-d, --description DESCRIPTION] [--file FILE_NAME]<service_ID_name>を、前のステップでサービス ID に割り当てた固有の別名に置き換えます。 API キーをダウンロードして、安全な場所に保存します。 -
IAM Identity Services API を呼び出して、アクセス・トークンを取得します。
$ curl -X POST \ "https://iam.cloud.ibm.com/identity/token" \ -H "content-type: application/x-www-form-urlencoded" \ -H "accept: application/json" \ -d 'grant_type=urn%3Aibm%3Aparams%3Aoauth%3Agrant-type%3Aapikey&apikey=<API_KEY>' > token.json要求で、
<API_KEY>を前のステップで作成した API 鍵に置き換えます。 以下は、省略された例ですが、その内容を示していますtoken.jsonファイル:{ "access_token": "b3VyIGZhdGhlc...", "expiration": 1512161390, "expires_in": 3600, "refresh_token": "dGhpcyBjb250a...", "token_type": "Bearer" }以下を使用してサービスの鍵をプログラムで管理するには、Bearer トークン・タイプの接頭部が付いた完全な
access_token値を使用します。 Key Protect API。 例を表示するには Key Protect API 要求の例を確認するには、API 要求の形成を参照してください。アクセス・トークンが有効なのは 1 時間ですが、必要に応じて再生成できます。 サービスへのアクセスを維持するには、 IAM Identity Services API を呼び出して、 API キーのアクセス・トークンを定期的に再生成してください。
-
IBM Cloud Identity and Access Management (IAM) トークンを使用して、 すべての呼び出しにサービス資格情報を組み込むことなく、IBM Watson サービスに対して認証された要求を行います。
-
IAM 認証は認証にアクセス・トークンを使用します。アクセス・トークンは API キーをとともに要求を送信することによって取得します。
-
ステップ 2b: インスタンスを作成する
以下のようなコマンドを実行して、米国南部にエンタープライズ・インスタンスを作成します。
curl -X POST https://resource-controller.cloud.ibm.com/v2/resource_instances -H "Authorization: ${token}" -H "Content-Type: application/json" \
-d '{ "name": "JG-test-curl", "target": "us-south", "resource_group":"9eba3cff1b0540b9ab7fb93829911da0", "resource_plan_id": "ibm.message.hub.enterprise.3nodes.2tb", "parameters":{"service-endpoints":"public","throughput":"150"}}'
ステップ 3: コンソールを使用してトピックを作成し、パーティションの数を選択する
トピックの作成時に変更できる設定については、 トピック構成 を参照してください。
-
新しくプロビジョンしたインスタンスから、左側のメニューを使用して 「トピック」 にナビゲートします。
-
「トピックの作成」 ボタンをクリックし、トピック名を入力します。 **「次へ」**をクリックします。 トピック名は最大 200 文字に制限されています。
-
パーティションの数を選択します。
トピックは 1 つ以上のパーティションで構成されます。 パーティションは、メッセージの番号付きリストです。 開始するには 1 つの区画で十分ですが、多くの場合、実動システムにはそれ以上の区画があります。
パーティションはブローカーに分散され、トピックのスケーラビリティが向上します。 また、コンシューマー・グループのメンバー間でメッセージを分散させるためにパーティションを使用することもできます。
次へ をクリックします。
-
メッセージの保存期間を設定します。 これは、メッセージが削除されるまでの保存期間を示します。 この期間内にメッセージがコンシューマーによって読み取られない場合、それらは失われます。 メッセージのデフォルトの保存期間は24時間です。 最小は 1 時間、最大は 30 日間です。 時間の倍数でこの値を指定してください。
トピックの作成をクリックします。
コンソールを使用したトピックの処理
トピックを作成した後、コンソールを使用して トピックをリスト できます。
トピックのリスト
Event Streams インスタンスから、左側のメニューから 「トピック」 にナビゲートします。
「トピック」ページから、トピックに関する以下の情報を表示できます。 名前、 パーティション、 保存時間、 保存サイズ、 クリーンアップ・ポリシー、および ストリーム・ランディング。
ステップ 3: CLI を使用してトピックを作成し、パーティションの数を選択する
トピックの作成時に変更できる設定については、 トピック構成 を参照してください。
以下の ibmcloud es topic-create コマンドを使用して、選択したパーティション数で新規トピックを作成します。
ibmcloud es topic-create [--name] TOPIC_NAME [--partitions PARTITIONS] [--config KEY=VALUE[;KEY=VALUE]* ]*
前提条件: なし
コマンド・オプション:
- --name 値、-n 値
-
トピック名。 トピック名は最大 200 文字に制限されています。
- --partitions 値、-p 値
-
トピックのパーティションの数を設定します。
トピックは 1 つ以上のパーティションで構成されます。 パーティションは、メッセージの番号付きリストです。 開始するには 1 つの区画で十分ですが、多くの場合、実動システムにはそれ以上の区画があります。
パーティションはブローカーに分散され、トピックのスケーラビリティが向上します。 また、コンシューマー・グループのメンバー間でメッセージを分散させるためにパーティションを使用することもできます。
- --config KEY=VALUE、-c KEY=VALUE (オプション)
-
KEY=VALUE のペアとしてトピックの構成オプションを設定します。
-
複数の -config オプションを指定することができます。 各「-config」オプションで、セミコロンで区切った代入のリストを指定できます。 以下のリストは、有効な構成キーを示しています
- cleanup.policy
- retention.ms
- retention.bytes
- segment.bytes
- segment.ms
- segment.index.bytes
retention.ms キーで指定されたメッセージのデフォルトの保存期間は 24 時間です。 最小は 1 時間、最大は 30 日間です。 時間の倍数でこの値を指定してください。
トピックの操作
トピックを作成したら、CLI を使用して トピックをリスト し、 クラスターに関する詳細を表示 できます。
ibmcloud es topics コマンドを使用してトピックをリストします。
ibmcloud es topics コマンドを実行して、トピックをリストします。
ibmcloud es topics [--filter FILTER] [--json]
前提条件: なし
コマンド・オプション:
- --filter 値、-f 値 (オプション)
- トピック名。
- --json (オプション)
- JSON で出力をフォーマットします。 最大で 1000 件のトピックが返されます。
ibmcloud es cluster コマンドを使用してクラスターの詳細を表示します
ibmcloud es cluster コマンドを実行して、 Kafka バージョンなど、クラスターの詳細を表示します。
ibmcloud es cluster [--json]
前提条件: なし
コマンド・オプション:
- --json (オプション)
- JSON 出力フォーマット。
その他の Event Streams CLI コマンドについては、 CLI リファレンス を参照してください。
ステップ 3: トピックを作成し、管理 REST API を使用してパーティションの数を選択する
Event Streams には、トピックの作成とリストに使用できる管理用の REST API が用意されています。
/admin/topics パスに POST 要求を発行することにより、 Kafka トピックを作成できます。 要求の本体には JSON 文書が含まれている必要があります。 以下に例を示します。
{
"name": "topicname",
"partitions": 1,
"configs": {
"retentionMs": 86400000,
"cleanupPolicy": "delete"
}
}
JSON 文書には、作成する Kafka トピックの名前を指定する name 属性が含まれている必要があります。 トピック名は、最大 200 characters.The JSON では、( partitions プロパティーを使用して) トピックに割り当てるパーティションの数を指定することもできます。 パーティションの数が指定されていない場合、トピックは単一パーティションで作成されます。
トピックは 1 つ以上のパーティションで構成されます。 パーティションは、メッセージの番号付きリストです。 開始するには 1 つの区画で十分ですが、多くの場合、実動システムにはそれ以上の区画があります。
パーティションはブローカーに分散され、トピックのスケーラビリティが向上します。 また、コンシューマー・グループのメンバー間でメッセージを分散させるためにパーティションを使用することもできます。
要求内にオプションの configs オブジェクトを指定することもできます。 これにより、 Kafka がトピックにパブリッシュされたメッセージを保持する期間 (ミリ秒) を制御する retentionMs プロパティーを指定できます。 この時間が経過すると、メッセージは自動的に削除され、スペースが解放されます。 retentionMs プロパティーの値は、整数の時間数 (例えば、3600000 の倍数)
で指定する必要があります。 メッセージのデフォルトの保存期間は24時間です。 最小は 1 時間、最大は 30 日間です。
トピックの作成時に変更できる設定については、 トピック構成 を参照してください。
HTTP のステータスコードは以下の通りです
- 202: トピック作成要求が受け入れられました。
- 400: 要求 JSON が無効です。
- 403: トピックを作成する権限がありません。
- 422: 意味的に無効な要求です。
Kafka トピックの作成リクエストが成功した場合、 HTTP ステータスコード202(受理)が返されます。 操作に失敗した場合は、 HTTP ステータスコード422(Unprocessable Entity)が返され、失敗に関する追加情報を含むJSONオブジェクトがレスポンスのボディとして返されます。
例
以下の curl のスニペットを使用して、 Kafka トピックを作成するための REST エンドポイントを演習できます。 独自の API キーまたはトークンを指定し、ADMIN API の正しいエンドポイントを指定する必要があります。 鍵またはトークンの取得について詳しくは、 API を使用したアクセス・トークンの取得 を参照してください。
curl -i -X POST -H 'Accept: application/json' -H 'Content-Type: application/json' -H 'Authorization: Bearer ${TOKEN}' --data '{ "name": "newtopic", "partitions": 1}' ${ADMIN_URL}/admin/topics
管理 REST API を使用したトピックの処理
トピックを作成したら、管理 REST API を使用して トピックをリスト できます。 実行できるその他のトピック関連コマンドについては、 Admin REST API のメソッド を参照してください。
トピックのリスト
以下に対して GET 要求を発行することにより、すべての Kafka トピックをリストできます。
/admin/topics パス。
期待されるステータスコードは次のとおりです
- 200: トピック・リストは、以下の形式で JSON として返されます。
[
{
"name": "topic1",
"partitions": 1,
"retentionMs": 86400000,
"cleanupPolicy": "delete"
},
{ "name": "topic2",
"partitions": 2,
"retentionMs": 86400000,
"cleanupPolicy": "delete"
}
]
正常な応答は、 HTTP ステータスコード200(OK)となり、 JSONオブジェクトの配列を含みます。各オブジェクトは Kafka トピックを表し、以下のプロパティを持ちます。
| プロパティー名 | 説明 |
|---|---|
| 名前 | Kafka トピックの名前。 |
| パーティション | Kafka トピックに割り当てられたパーティションの数。 |
| retentionsMs | トピック上のメッセージの保存期間 (ミリ秒)。 |
| cleanupPolicy | Kafka トピックのクリーンアップ・ポリシー。 |
list topics の例
以下の curl コマンドを使用して、すべての Kafka トピックをリストできます。
curl -i -X GET -H 'Accept: application/json' -H 'Authorization: Bearer ${TOKEN}' ${ADMIN_URL}/admin/topics
ステップ 4: コンソールを使用したサービス資格情報の作成
Event Streams インスタンスに接続できるようにするには、 IBM Cloud コンソールを使用してサービス・キーを作成します。
- リソース・リストで Event Streams サービスを見つけます。
- サービス・タイルをクリックします。
- **「サービス資格情報」**をクリックします。
- **「新規資格情報」**をクリックします。
- 名前や役割など、新規資格情報の詳細を入力し、**「追加」**をクリックします。 新規資格情報が資格情報リストに表示されます。
- 新しい資格情報のセクションを展開して、JSON 形式で詳細を表示します。
ステップ 4: CLI を使用したサービス資格情報の作成
IBM Cloud CLI を使用してサービス・キーを作成し、 Event Streams インスタンスに接続できるようにします。
-
サービスを見つけます。
ibmcloud resource service-instances -
サービス・キーを作成します。
ibmcloud resource service-key-create <key_name> <key_role> --instance-name <your_service_name> -
サービス・キーを印刷します。
ibmcloud resource service-key <key_name>各サービス・キーには、エンドポイント詳細の単一セットが含まれています。 単一のネットワーク・タイプに接続するように構成されたサービス・インスタンスの場合、 IBM Cloud パブリック・ネットワーク (デフォルト) または IBM Cloud プライベート・ネットワークに関連する詳細がサービス・キーに含まれます。 プライベート・ネットワークとパブリック・ネットワークの両方をサポートするように構成されたインスタンスの場合、パブリック・ネットワークの詳細が返されます。 プライベート・ネットワークの詳細が必要な場合は、前の service-key-create CLI コマンドに
--service-endpoint privateパラメーターを追加する必要があります。 以下に例を示します。ibmcloud resource service-key-create <private-key-name> <role> --instance-name <instance-name> --service-endpoint private
ステップ 4: CLI および REST プロデューサー API を使用したサービス資格情報の作成
Event Streams インスタンスに接続するために、サポートされている認証メカニズムはベアラー・トークンを使用しています。 IBM Cloud CLI を使用してトークンを取得するには、まず IBM Cloud にログインし、次に以下のコマンドを実行します
ibmcloud iam oauth-tokens
このトークンを、Bearer<token>の形式で HTTP 要求の許可ヘッダーに入れます。 API キーと JWT トークンの両方がサポートされています。
ステップ 5: コンソールを使用してデータを生成する
コンソールを使用してデータを作成することはできません。 コマンド・ライン、 REST プロデューサー API、または Kafka API を使用してデータを生成できます。
ただし、 入門チュートリアル のコンソールの手順を実行して、サンプル・スターター・アプリを実行し、トピック内を流れるメッセージを確認することができます。
ステップ 5: コマンド行を使用してデータを生成する
Event Streams Kafka コンソール・プロデューサー・ツールを使用して、データを生成できます。 コンソール・ツールは、 Kafka クライアント・ダウンロードの bin ディレクトリーにあります。このディレクトリーは、 Apache Kafka ダウンロードからダウンロードできます。
使用可能な最新の安定したバイナリー・バージョンをダウンロードすることをお勧めします。 Kafka クライアントのバージョンは、サーバー上の Kafka のバージョンと後方互換性があります。
ブローカーのリスト (BOOTSTRAP_ENDPOINTS プロパティーを使用) と SASL 資格情報を指定する必要があります。
このツールにSASL認証情報を提供するには、以下の例を参考にプロパティファイルを作成します
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<user>" password="<api_key>";
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.protocol=TLSv1.2
ssl.enabled.protocols=TLSv1.2
ssl.endpoint.identification.algorithm=HTTPS
サービス・キーの <user> フィールドをユーザー名として使用し、サービス・キーの <api_key> フィールドをパスワードとして使用します。 これらの値は、 IBM Cloud コンソールの Event Streams 「サービス資格情報」 タブにあります。
Event Streams には、 Java クライアント 用の producer.properties ファイルと consumer.properties ファイルの例が用意されています。
プロパティファイルを作成した後、ターミナルでコンソールプロデューサーを次のように実行できます
kafka-console-producer.sh --broker-list BOOTSTRAP_ENDPOINTS --producer.config CONFIG_FILE --topic TOPIC_NAME
例にある以下の変数を独自の値に置き換えます。
- IBM Cloud コンソールの「 Event Streams サービス資格情報 」タブの値を使用した BOOTSTRAP_ENDPOINTS
- CONFIG_FILE を構成ファイルのパスに置き換えます。
- サービス・キーの
<bootstrap_endpoints>フィールドを Kafka アプリケーションのbootstrap.serversプロパティーとして使用します。 - サービス・キーの
<user>フィールドをユーザー名として使用し、サービス・キーの<api_key>フィールドをパスワードとして使用します。 アプリケーションが詳細を構文解析することを確認してください。
このツールの他の多くのオプションは、 ZooKeeper へのアクセスを必要とするものを除いて、ご利用いただけます。 詳しくは、 Event Streamsでの Kafka コンソール・ツールの使用 を参照してください。
プロデューサー構成設定
プロデューサーに対して構成できる最も重要な設定の詳細については、以下の情報を参照してください。
ステップ 5: REST プロデューサー API を使用してデータを生成する
v2 というREST Producer APIのエンドポイントを使用して、 text、 binary、 JSON、または avro というタイプのメッセージをトピックに送信します。 v2 エンドポイントを使用すると、avro データタイプのスキーマを指定することで、 Event Streams スキーマレジストリを使用することができます。
- ヘッダーとは何ですか? これらはオプションですか? メッセージ本文にヘッダーが表示されます。 これは、要求または応答内のすべてを含むデータのチャンクです。 ヘッダーは通常、要求行または応答行の後にあります。 色の値は base64 です。どのようにしますか?
次のコードは、curl を使用して text タイプのメッセージを送信する例を示しています
curl -v -X POST \
-H "Authorization: Bearer $token" -H "Content-Type: application/json" -H "Accept: application/json" \
-d '{
"headers": [
{
"name": "colour",
"value": "YmxhY2s="
}
],
"key": {
"type": "text",
"data": "Test Key"
},
"value": {
"type": "text",
"data": "Test Value"
}
}' \
"$kafka_http_url/v2/topics/$topic_name/records"
詳しくは、 Event Streams REST Producer v2 エンドポイント API リファレンスを参照してください。
プロデューサー構成設定
プロデューサーに対して構成できる最も重要な設定の詳細については、以下の情報を参照してください。
ステップ 6: コンソールを使用してデータを取り込む
コンソールを使用してデータをコンシュームすることはできません。 コマンド・ライン または Kafka API を使用してデータを取り込むことができます。
ただし、 入門チュートリアル のステップを実行して、サンプル・スターター・アプリを実行し、トピックを流れるメッセージを確認することができます。
ステップ 6: コマンド行を使用したデータの取り込み
Event Streams Kafka コンソール・コンシューマー・ツールを使用して、データを取り込むことができます。
コンソール・ツールは、 Kafka クライアント・ダウンロードの bin ディレクトリーにあります。
ブローカーのリストと SASL 資格情報を指定する必要があります。 コマンド行を使用したデータの生成 の説明に従ってプロパティー・ファイルを作成した後、以下のように端末でコンソール・コンシューマーを実行します。
kafka-console-consumer.sh --bootstrap-server BOOTSTRAP_ENDPOINTS --consumer.config CONFIG_FILE --topic TOPIC_NAME
例にある以下の変数を独自の値に置き換えます。
- IBM Cloud コンソールの「 Event Streams サービス資格情報 」タブの値を使用した BOOTSTRAP_ENDPOINTS
- CONFIG_FILE を構成ファイルのパスに置き換えます。
このツールの他の多くのオプションは、 ZooKeeper へのアクセスを必要とするものを除いて、ご利用いただけます。 詳しくは、 Event Streamsでの Kafka コンソール・ツールの使用 を参照してください。
コンシューマー構成設定
コンシューマー用に構成できる最も重要な設定の詳細については、以下の情報を参照してください。
ステップ 6: API を使用してデータをコンシュームする
Event Streams API を使用してデータを取り込むことはできませんが、ネイティブ Kafka ライブラリーを使用して Kafka からデータを取り込むことは可能です。 詳しくは、 Kafka コンシューマー API を参照してください。
代わりに、 コマンド行 を使用してください。
ステップ 7: コンソールを使用して IBM Cloud Monitoring を接続し、操作の可視性を確保する
IBM Cloud Monitoring を使用して、アプリケーション、サービス、およびプラットフォームのパフォーマンスと正常性に対する運用上の可視性を得ることができます。 IBM Cloud Monitoring は、モニター、トラブルシューティング、アラートの定義、およびカスタム・ダッシュボードの設計を行うための拡張機能を備えた、管理者、 DevOps チーム、および開発者向けフルスタック・テレメトリーを提供します。
Monitoring を Event Streams と併用する方法の詳細については、こちらをご覧ください
ステップ 7: CLI またはコマンド・ラインを使用して、操作の可視性のために IBM Cloud Monitoring を接続する
CLI またはコマンド・ラインを使用して IBM Cloud Monitoring に接続することはできません。 このタスクを実行するには、 コンソール を使用します。
ステップ 7: API を使用した操作の可視性のための IBM Cloud Monitoring の接続
API を使用して IBM Cloud Monitoring に接続することはできません。 このタスクを実行するには、 コンソール を使用します。
ステップ 8: IBM Cloud® Activity Tracker を接続してサービス・アクティビティーを監査する
IBM Cloud Activity Tracker を使用すると、企業のポリシーおよび業界の規制に準拠するために、サービス・アクティビティーを表示、管理、および監査できます。 Activity Tracker は、 IBM Cloud内のサービスの状態を変更するユーザー開始アクティビティーを記録します。 Activity Tracker を使用して、スタンダードプランおよびエンタープライズプランの Event Streams サービスとユーザーおよびアプリケーションの相互関係を追跡します。
Activity Trackerを稼働させるには、 Activity Trackerを参照してください。
Activity Tracker では、場所ごとに存在できるインスタンスは 1 つだけです。 イベントを表示するには、サービス・インスタンスが使用可能になっている場所と同じ場所で、Activity Tracker サービスの Web UI にアクセスする必要があります。 詳しくは、 Web UI の起動を参照してください。
Event Streamsに固有のイベントについて詳しくは、以下を参照してください。
イベントは、クラウド監査データ連合(CADF)標準に従ってフォーマットされます。 それらに含まれる情報の詳細については、 CADF 標準 を参照してください。
ステップ 8: CLI またはコマンド・ラインを使用して IBM Cloud® Activity Tracker を接続し、サービス・アクティビティーを監査する
CLI またはコマンド・ラインを使用して Activity Tracker に接続することはできません。 このタスクを実行するには、 コンソール を使用します。
ステップ 8: API を使用して IBM Cloud® Activity Tracker を接続し、サービス・アクティビティーを監査する
API を使用して Activity Tracker に接続することはできません。 このタスクを実行するには、 コンソール を使用します。
ステップ 9: (オプション) Kafka Connect または ksqlDB を使用する
Kafka Connect
Kafka Connectは プロジェクトの一部であり、外部システムを に接続することができます。 Apache Kafka Kafka これは、コネクターを実行してクラスターとの間でデータをコピーすることのできるランタイムから構成されています。
詳しくは、 Using Kafka Connect with Event Streams を参照してください。
Kafka Connect は、管理対象 Event Streams サービスの一部ではありません。
ksqlDB
ストリーム処理のために、 Event Streams エンタープライズ・プランで KSQL を使用できます。
ksqlDB は、イベント・ストリーミング用の専用データベースです。 Apache Kafka用の専用ストリーム処理データベースを使用して、エンドツーエンドのイベント・ストリーミング・アプリケーションを迅速に作成するために使用します。
最初に、以下の セットアップ・ステップ を実行します。 ksqlDB を Event Streams で実行する最も簡単で迅速な方法は 、 ksqlDB quickstart で説明されているように、Dockerコンテナを使用することです。
ステップ 10: ヘルプを表示する
Event Streams のヘルプを利用する方法、およびサポートを利用する場所の概要については、 ヘルプおよびサポートの利用 を参照してください。
FAQ は、 Event Streamsに関するいくつかの一般的な質問に対する回答の詳細を示しています。
Event Streamsで問題が発生している場合は、Case 「 Event Streams チームへの問題の報告-標準プランおよびエンタープライズ・プラン」 を開く前に収集する必要がある情報のリストを以下に示します。