Apache Kafka
Apache Kafka是一个分布式事件流平台。 连接到Apache Kafka实时处理服务器，用于从主题写入和读取事件流。
为 Apache Kafka 数据源配置以下详细信息：
| 字段 | 描述 |
|---|---|
| 显示名称 | 输入要显示在屏幕上的数据源名称。 |
| 主机名 | 输入主机名。 您可以添加多个主机信息。 点击 “添加”图标即可添加。 出现一个新行用于添加主机名和端口。 输入详细信息。 |
| 端口 | 请输入端口号。 |
| SASL 连接 |
使用切换开关启用或禁用简单身份验证安全层 (SASL)，以包含身份验证机制。 如果启用，
|
| 连接状态 | 点击“测试连接”链接，测试数据源连接。 如果数据源连接成功，则会出现一条成功消息。 |
| 关联目录 | 选中复选框，将目录与数据源关联。 此目录会自动与您的数据源关联，并作为您与其中存储的数据的查询界面。 |
| 目录名称 | 输入目录名称。 |
| 添加主题 | You can add topics after you create the data source. i. 前往基础设施经理。 二、 点击 Apache Kafka 数据源 iii. 点击添加主题选项。 四、 上传.json 定义文件。 您可以拖动文件或使用点击上传选项。 主题名称由定义文件确定。 五、 使用编辑查看和编辑主题文件的选项。 |
| 创建 | 点击“创建”创建数据源。 |
.json 定义文件示例
以下是要上传到 Kafka 源配置部分的 Kafka 主题 .json 定义文件示例：
{
"topicName": "customer_orders",
"tableName": "orders",
"fileContent": {
"tableName": "orders",
"columns": [
{
"name": "order_id",
"type": "INTEGER",
"primaryKey": true
}
],
"partitionKey": "customer_id",
"retentionPeriod": "7 days"
},
"contents": {
"tableName": "orders",
"topicConfig": {
"partitions": 1,
"replicationFactor": 1,
"retentionMs": 604800000,
"cleanupPolicy": "delete"
},
"schema": {
"type": "struct",
"fields": [
{
"name": "order_id",
"type": "int64"
}
]
}
}
}
SQL 语句的限制
- 对于基于数据源的目录，
CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE和ALTER SCHEMA语句在 Data Manager UI 中不可用。
数据类型的限制
- 当数据类型的字段
REAL小数部分有 6 位或以上数字，且数字主要为零，查询时的值会四舍五入。 观察发现，根据值的精度，舍入的方式会有所不同。 例如，四舍五入到小数点后三位数的小数1.654是相同的。 另一个例子是10.890009和10.89000。 值得注意的是10.89000四舍五入为10.89，然而10.89009没有四舍五入。 这是一个固有的问题，因为二进制浮点格式的表示限制。 当查询涉及排序时，这可能会产生重大影响。