Elasticsearch、機械学習、AI
人工知能 (AI) とコンピューター・サイエンスの中心には、機械学習 (ML) があります。 コンピューターは、人間と同様に、データとアルゴリズムを使用して学習し、適応します。
ここ数十年で、ストレージと処理能力における技術的な進歩が、ML ベースのイノベーションへの道を拓いてきました。 しかし、2023年にゲームチェンジャーが到来し、ChatGPT,世界を魅了したAIチャットボット。 今日、ML の可能性は企業によって求められている。
幸い、ほとんどの企業では、 Elasticsearchなどの既存のテクノロジーを使用してこれを実現できます。 堅牢な検索対応データベースである Elasticsearchは、新しいテクノロジーを採用している企業が求める重要な ML 機能をシームレスに取り込むのに適しています。 Elastic は、そのために、ML 機能を備えた Elasticsearch 製品をパックしてきました。
データの保管
機械学習アルゴリズムは、ビデオやイメージなどの非構造化データを、これらの資産を ベクトル埋め込みと呼ばれる数値のセットに変換することによって、それらの非構造化データの意味を理解しようとします。 イメージのようなアセットが一連の組み込みに変換されると、他のデータと同様にそのアセットをデータベースに保管することができます。 Elasticsearch には、これらの組み込み用の特定のデータ型 (高密度ベクトル型) があります。
さまざまな ML アルゴリズム (モデルと呼ばれる) は、さまざまな方法でデータを分析および変換します。 ML モデルは、さまざまなタイプのデータとタスクを専門とします。 Elastic スタックでサポートされるモデルの完全なリストについては、 Compatible third party NLP modelsを参照してください。 オープン・ソース ML モデルの包括的なリストについては、 Hugging Faceを参照してください。
データの照会
データベース内に入ると、 Elasticsearchの ベクトル検索を使用して、これらの資産を理解することができます。 検索「用語」(例えば、鳥または車の写真のベクトル埋め込み) を指定すると、検索エンジンは、そのデータ・セット内で数学的により近い「既知の最近傍」または kNNのベクトル埋め込みを検出します。 これにより、検索語「term」に似た鳥または車のリストが生成されます。
Databases for Elasticsearch が AI ジャーニーにどのように役立つか
エンタープライズ・プラン
ベクトル組み込みの保管と検索のみを行う場合は、 Databases for Elasticsearch のエンタープライズ・プラン (Elastic の Basic バージョンをデプロイする) で十分です。 このプランは、高密度ベクトル・データ型と、Elastic が提供するベクトル検索のさまざまなフレーバーをサポートします。
このプランを使用すると、エンタープライズ・プランでは埋め込みの生成がサポートされていないため、実際の埋め込みを別の場所で生成してデータベースにアップロードする必要があります。
エンタープライズ・プランでは、AI データ・パイプラインの複雑さが増す代わりに、柔軟性が向上します。
プラチナ・プラン
豊富な機能セットについては、 Databases for Elasticsearch のプラチナ・プラン (Elastic のプラチナ・バージョンをデプロイする) が必要になる場合があります。 プラチナ・プランでは、エンタープライズ・プランのすべての機能にアクセスできますが、Elastic 独自の ML モデル ELSER (ELastic Sparse EncodeR) を使用するか、 Elastic がサポートする多くのオープン・ソース ML モデルのいずれかを使用して、組み込み自体を生成することもできます。
Platinum Plan は、ベクトル埋め込みを生成、保管、および検索するためのワンストップ・ショップを提供します。
機械学習チュートリアル・シリーズ
開始するために何らかのインスピレーションが必要な場合は、サード・パーティー・モデルで Elastic の ML 機能を使用する方法に関するチュートリアル・シリーズをまとめました。