정보 Red Hat AI Inference on IBM Cloud

Red Hat® AI Inference on IBM Cloud® Red Hat OpenShift AI를 기반으로 하는, 기업용으로 즉시 활용 가능하며 비공개적이고 안전한 생성형 인공지능(AI) 솔루션입니다. 는 두 가지 핵심 기능을 제공합니다. 바로 파운데이션 모델과 상호작용하기 위한 추론 기능과, 특정 요구 사항에 맞춰 모델을 미세 조정하기 위한 모델 정렬 기능입니다. Red Hat AI Inference

추론 기능을 활용하면, 즉시 생산 환경에 적용 가능한 API를 통해 파운데이션 모델을 사용해 AI 기반 애플리케이션을 구축하고, 모델의 동작을 테스트하며, 대화형 AI 기능을 워크플로에 통합할 수 있습니다. 챗봇 프로토타입을 제작하든, AI 어시스턴트를 구축하든, 아니면 애플리케이션에 자연어 이해 기능을 추가하든, 추론 기능을 통해 모델 호스팅의 복잡성 없이 파운데이션 모델에 즉시 접근할 수 있습니다.

보다 심층적인 맞춤 설정을 위해, 모델 정렬 기능을 활용하면 조직 고유의 지식과 기술을 바탕으로 대규모 언어 모델의 성능을 향상시킬 수 있습니다. 귀사는 ‘분류 체계’를 제공합니다. 이는 귀사의 비즈니스에 가장 중요한 지식과 기술을 담은, 선별된 데이터 목록입니다. 이 분류 체계는 합성 데이터를 생성하는 데 사용되며, 이를 통해 모델은 여러 단계의 미세 조정 과정을 거쳐 학습됩니다. 이 프로세스는 일반적인 지식뿐만 아니라, 귀사의 고유한 비즈니스 요구 사항에 가장 중요한 구체적인 기술과 맥락을 제공함으로써 LLM을 귀사의 목표에 부합하도록 조정합니다.

Red Hat AI Inference 에 대해 자세히 알아보세요.

대규모 언어 모델이란 무엇인가요?

대규모 언어 모델(LLM)은 기계 학습 기법을 활용하여 인간의 언어를 생성하는 AI 모델입니다. 이 모델들은 처음에 방대한 양의 일반 데이터를 바탕으로 훈련을 받아 자연어를 이해하고 생성할 수 있게 된 뒤, 이후 더 구체적인 맥락에 맞춰 미세 조정됩니다. 예를 들어, 일반 상식을 바탕으로 훈련된 모델을 소매업 관련 데이터로 미세 조정하여 고객 서비스 챗봇을 만들 수 있습니다. 이메일 초안 작성, 긴 텍스트 요약, 코드 오류 찾기 등 다양한 사용 사례에 맞춰 LLM을 미세 조정할 수 있습니다.

LLM은 다양한 방식으로 업무 프로세스를 효율화할 수 있지만, 그 기능에는 몇 가지 한계가 있다는 점을 명심해야 합니다. LLM은 제공받은 데이터를 바탕으로 작동합니다. 예를 들어, LLM에게 자신의 생일을 물어볼 수는 없을 것입니다. 왜냐하면 사용자의 개인 정보는 훈련 데이터에 포함되어 있지 않기 때문입니다. 마찬가지로, LLM만으로는 주식의 미래를 예측하는 데 최선의 선택이 될 수 없으며, 이 경우에는 예측 모델을 사용하는 것이 더 적절할 것입니다. 또한, LLM 자체만으로는 정적이며 환경과 상호작용할 수 없습니다. 시간이나 날짜를 말하는 것과 같은 작업에는 더 많은 주체적 흐름이나 틀이 필요할 것입니다.

LLM과 그 작동 원리에 대한 더 자세한 설명은 “LLM이란 무엇인가? ”를 참조하세요

추론이란 무엇인가?

추론이란 훈련된 AI 모델을 사용하여 응답을 생성하거나, 예측을 수행하거나, 입력 데이터를 처리하는 과정을 말합니다. ‘ Red Hat AI Inference ’는 업계 표준인 OpenAI-compatible API를 통해 파운데이션 모델에 즉시 접근할 수 있도록 지원합니다. 이를 통해 AI 모델의 배포 및 확장 과정에서 발생하는 복잡성을 해소함으로써, 사용자에게 가치를 창출하는 데 집중할 수 있게 됩니다.

Inference는 다음을 제공함으로써 애플리케이션에 AI 기능을 통합하는 과제를 해결합니다:

실제 운영에 바로 적용 가능한 API: 인프라를 직접 관리할 필요 없이, 익숙한 업계 표준 엔드포인트를 사용하여 파운데이션 모델과 상호작용할 수 있습니다.
모델에 즉시 접근: 모델 배포나 훈련을 기다릴 필요 없이 AI 기반 기능을 바로 구축해 보세요.
유연한 통합: 프로그래밍 방식으로 대화형 AI를 기존 시스템에 통합하고, 대량의 요청을 처리하며, 특정 사용 사례에 맞게 모델 동작을 맞춤 설정할 수 있습니다.
대화형 테스트: 애플리케이션에 통합하기 전에 콘솔 플레이그라운드에서 다양한 모델과 프롬프트를 직접 시험해 보세요.

추론에 대한 자세한 내용은 ‘AI 추론, 쉽게 이해하기’를 참조하세요.

추론 방법에 대한 자세한 내용은 ‘채팅 자동 완성 기능 사용’을 참조하세요.

추론의 작동 원리

Inference는 간단한 워크플로를 통해 파운데이션 모델에 즉시 접근할 수 있게 해줍니다:

1단계. 인증: Red Hat AI Inference 프로젝트를 생성한 후에는 베어러 토큰(bearer token) 또는 베어러 인증( IBM Cloud ) API 키를 사용하여 프로젝트의 추론 기능을 안전하게 이용할 수 있습니다.
2단계. 모델 선택: 응답 품질, 속도, 비용 등 사용 사례의 요구 사항에 따라 사용 가능한 기반 모델 중에서 선택하십시오.
3단계. 요청 보내기: 업계 표준인 OpenAI-compatible API를 사용하여 모델에 메시지를 전송하고 AI가 생성한 응답을 수신하세요. 시스템 프롬프트를 사용하여 모델의 동작을 사용자 정의하고, 무작위성 및 응답 제한과 같은 매개변수를 조정할 수 있습니다.
4단계. 응답 통합: 대화형 인터페이스, 콘텐츠 생성, 자연어 처리 작업 등 어떤 용도이든 모델의 응답을 애플리케이션 워크플로에 통합하세요.

프로덕션 애플리케이션에 통합하기 전에 콘솔 플레이그라운드에서 상호작용을 테스트하고 개선할 수 있습니다. 자세한 예시는 ‘채팅 자동 완성 기능 사용’을 참조하세요.

임베딩이란 무엇인가요?

텍스트 임베딩은 텍스트를 수치 벡터, 즉 문장이나 구절의 의미적 내용을 담아내는 숫자 목록의 형태로 표현하는 방법입니다. 텍스트를 이러한 벡터로 변환함으로써, 모델은 정확한 단어 대신 의미를 바탕으로 비교와 분류 작업을 수행할 수 있으며, 이는 컴퓨터가 빠르고 정확하게 처리할 수 있는 작업입니다.

임베딩 모델이 특정 텍스트에 대한 벡터를 생성할 때, 해당 텍스트의 의미를 반영하는 값을 할당하고, 다른 모든 벡터와 비교하여 다차원 공간 내에서 그 벡터의 위치를 결정합니다. 의미가 비슷한 텍스트들은 그 공간에서 서로 더 가까이 배치되고, 의미가 다른 텍스트들은 더 멀리 배치됩니다. 예를 들어, 같은 주제에 관한 두 문장은 — 비록 다른 단어를 사용하더라도 — 서로 가까운 벡터를 생성하는 반면, 관련 없는 주제를 다룬 문장들은 서로 멀리 떨어진 벡터를 생성합니다.

생성된 벡터는 벡터 데이터베이스에 저장할 수 있습니다. 데이터베이스에 있는 모든 콘텐츠에 대해 동일한 임베딩 모델을 사용하여 벡터를 생성하면, 벡터 저장소는 벡터 간의 관계를 활용하여 관련 결과를 신속하게 반환할 수 있습니다. 기존의 키워드 기반 검색과 달리, 임베딩을 활용한 시맨틱 검색은 단순히 어휘가 일치하는 정보가 아니라 의미적으로 유사한 정보를 찾아냅니다. 이는 사용자가 검색어를 원본 콘텐츠와 다르게 표현하는 경우 더 나은 결과를 제공합니다.

텍스트 임베딩의 일반적인 용도로는 다음이 있습니다:

의미 기반 검색 및 정보 검색
문서의 군집화 및 분류
검색 강화 생성(RAG)은 검색된 콘텐츠를 언어 모델에 전달하여 구체적인 근거를 바탕으로 한 응답을 생성하는 방식이다

임베딩의 작동 원리

Red Hat AI Inference 에 임베딩하는 과정은 다음과 같은 간단한 워크플로를 따릅니다:

1단계. 인증: 베어러 토큰이나 IBM Cloud API 키를 사용하여 프로젝트의 임베딩 기능을 안전하게 이용하세요.
2단계. 모델 선택: 사용 사례에 따라 임베딩 모델을 선택하십시오. granite-embedding-278m-multilingual 모델이 제공되며, 여러 언어를 지원합니다.
3단계. 입렉 텍스트 전송: 임베딩 API를 사용하여 하나 이상의 텍스트 입력을 제출하세요. 이 모델은 각 입력에 대해 벡터 표현을 반환하는데, 이는 텍스트의 의미적 내용을 인코딩한 부동소수점 숫자 목록입니다.
4단계. 벡터를 사용하세요: 생성된 벡터를 벡터 데이터베이스에 저장하거나, 이를 활용하여 시맨틱 검색 기능을 강화하거나, RAG 파이프라인에 통합하여 모델의 응답을 자체 데이터에 기반하게 할 수 있습니다.

벡터 저장을 위해서는 다음을 사용하십시오. IBM Cloud Databases for Elasticsearch 또는 IBM watsonx.data 를 사용하십시오.

단계별 안내를 보려면 “벡터 임베딩과 RAG를 활용한 채팅 자동 완성 기능 개선”을 참조하세요.

왜 IBM Cloud 에서 ‘ Red Hat ’ AI를 선택해야 할까요?

Red Hat IBM Cloud 의 AI 기능은 당면한 통합 요구 사항과 장기적인 맞춤화 요구 사항을 모두 충족하는 포괄적인 AI 기능을 제공합니다.

추론 기능을 통한 즉각적인 AI 통합: 인프라를 관리할 필요 없이 AI 기반 기능을 즉시 구축해 보세요. 실전 환경에 바로 적용 가능한 API를 활용하여 대화형 AI를 통합하고, 모델 동작을 테스트하며, 비즈니스 요구 사항에 맞춰 애플리케이션을 확장하세요.
유연한 배포 옵션: 사용자께서 직접 데이터와 모델을 관리합니다. 클라우드, 온프레미스 또는 비즈니스에 필요한 그 밖의 어떤 환경에서도 이 서비스를 활용하실 수 있습니다. 독보적인 비즈니스 데이터를 활용하여 AI 기반 솔루션을 개발함으로써 업무 효율성을 높이고 혁신을 주도합니다.
치명적인 망각의 위험을 최소화하십시오: 정확도를 높이고 위험을 줄이기 위해, 내장된 Granite 모델들을 새로운 기술과 지식을 습득하는 기반으로 활용합니다. 모델이 새로운 정보를 학습하더라도 이전에 학습한 정보는 사라지지 않습니다.
비용 효율적이고 확장성이 뛰어나다: IBM Cloud 의 ‘ Red Hat ’ AI는 서비스 형태로 제공되므로, 필요한 만큼만 비용을 지불함으로써 불필요한 비용을 절감할 수 있습니다. 더 간단하고, 더 빠르며, 더 경제적인 AI 솔루션을 제공함으로써 IT 지출을 최적화합니다.
업계 표준 API: OpenAI-compatible 의 익숙한 엔드포인트를 활용하면, 별도의 전용 인터페이스를 익힐 필요 없이 기존 워크플로우와 애플리케이션에 AI 기능을 통합할 수 있습니다.

비용 청구는 어떻게 적용됩니까?

청구에 대해 자세히 알아보려면 ‘ 자주 묻는 질문 ’를 참조하십시오.