Elasticsearch、机器学习和人工智能
人工智能 (AI) 和计算机科学的核心在于机器学习 (ML)。 它是计算机通过使用数据和算法学习和适应的地方,就像人类一样。
近几十年来,存储和处理能力的技术进步为基于 ML 的创新铺平了道路。 然而,2023 年,人工智能聊天机器人ChatGPT,的问世改变了游戏规则。 如今,ML 的潜力受到全线企业的追捧。
幸运的是,对于大多数企业来说,这大部分都可以通过现有技术 (例如 Elasticsearch) 来实现。 Elasticsearch是一个强大的支持搜索的数据库,非常适合无缝整合采用新技术的企业所寻求的基本 ML 功能。 Elastic 一直在执行此操作,将其 Elasticsearch 产品与 ML 功能打包在一起。
存储数据
机器学习算法尝试通过将这些资产转换为称为 向量嵌入的数字集来理解非结构化数据 (例如视频或图像)。 一旦像图像这样的资产被转换成一组嵌入,它就可以像任何其他数据一样存储在数据库中。 Elasticsearch 具有这些嵌入的特定数据类型 (密集向量类型)。
不同的 ML 算法 (称为模型) 将以不同的方式分析和变换数据。 ML 模型专门处理不同类型的数据和任务。 有关 Elastic 堆栈支持的模型的完整列表,请参阅 兼容第三方 NLP 模型。 有关开放式源代码 ML 模型的综合列表,请参阅 Hug Face。
查询数据
一旦在数据库中,您就可以使用 Elasticsearch的 向量搜索来理解这些资产。 给定搜索“术语”(例如,鸟类或汽车图片的向量嵌入),搜索引擎会在其数据集中查找在数学上更接近的向量嵌入,即“已知最近邻元素”或 kNN。 这将生成与搜索“术语”相似的鸟类或汽车列表。
Databases for Elasticsearch 如何帮助您完成 AI 之旅
企业套餐
如果只想存储和搜索向量嵌入,那么 Databases for Elasticsearch (用于部署 Elastic 的基本版本) 的企业套餐可能适合您。 此套餐支持密集向量数据类型以及 Elastic 提供的各种类型的向量搜索。
使用此套餐意味着您必须在其他位置生成实际嵌入,然后将其上载到数据库,因为企业套餐不支持生成嵌入。
企业套餐以 AI 数据管道中更高的复杂性为代价,为您提供了更大的灵活性。
白金套餐
对于更丰富的功能集,您可能需要 Databases for Elasticsearch 的白金套餐 (用于部署 Elastic 的白金版)。 通过铂金套餐,您可以访问企业套餐的所有功能,但也可以通过使用 Elastic 自己的 ML 模型 ELSER (ELastic Sparse EncodeR) 或使用 Elastic 支持的任何开放式源代码 ML 模型来自行生成嵌入。
铂金套餐提供一站式服务,用于生成,存储和搜索向量嵌入。
机器学习教程系列
如果您需要一些灵感来开始使用,我们将提供一个教程系列,介绍如何将 Elastic 的 ML 功能与第三方模型配合使用: