Acerca de Red Hat AI Inference on IBM Cloud

Red Hat® AI Inference on IBM Cloud® es una solución de inteligencia artificial (IA) generativa, lista para su uso empresarial, privada y segura, basada en Red Hat OpenShift AI. Red Hat AI Inference ofrece dos capacidades principales: inferencia para interactuar con modelos base y alineación de modelos para ajustarlos a tus necesidades específicas.

Con la inferencia, puedes empezar a utilizar inmediatamente los modelos base a través de API listas para producción con el fin de crear aplicaciones basadas en IA, probar el comportamiento de los modelos e integrar capacidades de IA conversacional en tus flujos de trabajo. Tanto si estás creando un prototipo de chatbot, desarrollando un asistente de IA o incorporando la comprensión del lenguaje natural a tu aplicación, la inferencia te ofrece acceso inmediato a modelos básicos sin la complejidad que supone el alojamiento de modelos.

Para una personalización más profunda, la alineación de modelos te permite mejorar los grandes modelos de lenguaje con los conocimientos y habilidades específicos de tu organización. Usted proporciona una taxonomía, es decir, un directorio de datos seleccionados que contiene los conocimientos y habilidades más importantes para su empresa. Esta taxonomía se utiliza para generar datos sintéticos, con los que se entrena el modelo a través de múltiples fases de ajuste fino. Este proceso adapta tu LLM a tus objetivos, proporcionándole no solo conocimientos generales, sino también las habilidades y los contextos específicos que resultan más importantes para las necesidades concretas de tu empresa.

Más información sobre Red Hat AI Inference.

¿Qué son los modelos de lenguaje a gran escala?

Los modelos de lenguaje a gran escala, o LLM, son modelos de IA que utilizan técnicas de aprendizaje automático para generar lenguaje humano. En un primer momento, se entrenan con grandes cantidades de datos generales que les permiten comprender y generar lenguaje natural; posteriormente, se ajustan para adaptarse a contextos más específicos. Por ejemplo, un modelo entrenado con conocimientos generales puede ajustarse con datos del sector minorista para crear un chatbot de atención al cliente. Puedes ajustar los modelos de lenguaje grande (LLM) para diversos casos de uso, como redactar correos electrónicos, resumir textos extensos o detectar errores en el código.

Aunque los modelos de lenguaje grande (LLM) pueden agilizar los procesos de diversas formas, hay que tener en cuenta que existen algunas limitaciones en cuanto a lo que son capaces de hacer. Los modelos de lenguaje grande (LLM) funcionan con los datos que se les proporcionan. Por ejemplo, no podrías preguntarle a un modelo de lenguaje grande (LLM) cuándo es tu cumpleaños, ya que tu información personal no forma parte de los datos de entrenamiento. Del mismo modo, un modelo de lenguaje grande (LLM) por sí solo no sería la mejor opción para predecir la evolución futura de una acción; en ese caso, sería más adecuado utilizar un modelo de predicción. Además, los modelos de lenguaje grande (LLM) por sí solos son estáticos e incapaces de interactuar con el entorno. Tareas como indicar la hora o la fecha requerirían flujos o marcos más orientados a la acción.

Para obtener una explicación más detallada sobre los LLM y cómo funcionan, consulta ¿Qué son los LLM?.

¿Qué es la inferencia?

La inferencia es el proceso de utilizar un modelo de IA entrenado para generar respuestas, realizar predicciones o procesar datos de entrada. Red Hat AI Inference ofrece acceso inmediato a modelos básicos a través de las API estándar del sector OpenAI-compatible. Esto elimina la complejidad de implementar y escalar modelos de IA, lo que te permite centrarte en crear valor para tus usuarios.

Inference resuelve el reto de integrar capacidades de IA en sus aplicaciones al ofrecer:

API listas para su uso en producción: Utiliza puntos finales conocidos y estándar del sector para interactuar con modelos básicos sin necesidad de gestionar la infraestructura.
Acceso inmediato a los modelos: Empieza a desarrollar funciones basadas en IA sin tener que esperar a la implementación o al entrenamiento de los modelos.
Integración flexible: Incorpore mediante programación la IA conversacional en los sistemas existentes, gestione grandes volúmenes de solicitudes y personalice el comportamiento de los modelos para sus casos de uso específicos.
Pruebas interactivas: Prueba diferentes modelos y indicaciones en el entorno de pruebas de la consola antes de integrarlos en tus aplicaciones.

Para obtener más información sobre la inferencia, consulta La inferencia de IA, simplificada y explicada.

Para obtener más información sobre cómo realizar inferencias, consulta Trabajar con autocompletados en el chat.

Cómo funciona la inferencia

Inference ofrece acceso inmediato a los modelos base mediante un flujo de trabajo sencillo:

Paso 1. Autenticar: Una vez creado un proyecto de Red Hat AI Inference, utiliza un token de portador o una clave API de IBM Cloud para acceder de forma segura a las capacidades de inferencia de tu proyecto.
Paso 2. Seleccione un modelo: Elige entre los modelos básicos disponibles en función de los requisitos de tu caso de uso, como la calidad de la respuesta, la velocidad o las consideraciones de coste.
Paso 3. Enviar solicitudes: Utiliza las API de OpenAI-compatible, estándar del sector, para enviar mensajes al modelo y recibir respuestas generadas por IA. Puede personalizar el comportamiento del modelo mediante indicaciones del sistema y ajustar parámetros como la aleatoriedad y los límites de respuesta.
Paso 4. Integrar las respuestas: Incorpora las respuestas del modelo a los flujos de trabajo de tu aplicación, ya sea para interfaces conversacionales, generación de contenido o tareas de procesamiento del lenguaje natural.

Puedes probar y perfeccionar tus interacciones en el entorno de pruebas de la consola antes de integrarlas en las aplicaciones de producción. Para ver ejemplos detallados, consulta Cómo utilizar las sugerencias de chat.

¿Qué es la integración?

La incrustación de texto es una forma de representar el texto como un vector numérico: una lista de números que capta el significado semántico de una frase o un pasaje. Al convertir el texto en estos vectores, el modelo puede realizar comparaciones y agrupaciones basadas en el significado, en lugar de en palabras exactas, algo que los ordenadores pueden hacer con rapidez y precisión.

Cuando un modelo de incrustación genera un vector para un fragmento de texto, le asigna valores que reflejan el significado de ese texto y sitúa el vector en un espacio multidimensional en relación con todos los demás vectores. Los textos con significados similares se sitúan más cerca entre sí en ese espacio, y los textos con significados diferentes se sitúan más lejos unos de otros. Por ejemplo, dos frases sobre el mismo tema —aunque utilicen palabras diferentes— generarían vectores cercanos entre sí, mientras que frases con temas no relacionados generarían vectores muy alejados entre sí.

Puedes almacenar los vectores generados en una base de datos vectorial. Cuando se utiliza el mismo modelo de incrustación para generar vectores para todo el contenido de la base de datos, el almacén de vectores puede utilizar las relaciones entre los vectores para devolver resultados relevantes rápidamente. A diferencia de la búsqueda tradicional basada en palabras clave, la búsqueda semántica mediante representaciones recupera información similar en significado, no solo en vocabulario. Esto ofrece mejores resultados en los casos en que los usuarios formulan sus consultas de forma diferente al contenido original.

Entre los usos habituales de las representaciones de texto se incluyen:

Búsqueda semántica y recuperación de información
Agrupación y clasificación de documentos
Generación aumentada por recuperación (RAG), en la que el contenido recuperado se transmite a un modelo de lenguaje para generar respuestas fundamentadas

Cómo funciona la integración

La integración en Red Hat AI Inference sigue un flujo de trabajo sencillo:

Paso 1. Autenticar: Utiliza un token de portador o una clave de API de IBM Cloud para acceder de forma segura a las funciones de integración de tu proyecto.
Paso 2. Seleccione un modelo: Elige un modelo de integración en función de tu caso de uso. El modelo granite-embedding-278m-multilingual está disponible y admite varios idiomas.
Paso 3. Enviar texto de entrada: Utiliza la API de incrustaciones para enviar una o varias entradas de texto. El modelo devuelve una representación vectorial para cada entrada: una lista de números de coma flotante que codifica el contenido semántico del texto.
Paso 4. Utiliza los vectores: Almacena los vectores generados en una base de datos vectorial, utilízalos para potenciar la búsqueda semántica o intégralos en un proceso RAG para basar las respuestas del modelo en tus propios datos.

Para el almacenamiento vectorial, utiliza IBM Cloud Databases for Elasticsearch o IBM watsonx.data.

Para obtener una guía paso a paso, consulta Mejorar las sugerencias del chat con incrustaciones vectoriales y RAG.

¿Por qué Red Hat en lugar de AI on IBM Cloud?

Red Hat La IA en IBM Cloud ofrece capacidades de IA completas que satisfacen tanto las necesidades de integración inmediatas como los requisitos de personalización a largo plazo.

Integración inmediata de la IA con inferencia: Empieza a desarrollar funciones basadas en IA de inmediato sin tener que gestionar la infraestructura. Utiliza API listas para producción para integrar la IA conversacional, probar el comportamiento de los modelos y escalar tus aplicaciones en función de las necesidades de tu empresa.
Opciones de implementación flexibles: Tú controlas tus datos y tus modelos. Elige utilizarlos en la nube, en tus propias instalaciones o en cualquier otro lugar que tu empresa necesite. Aprovecha los datos empresariales exclusivos para mejorar la eficiencia e impulsar la innovación mediante la creación de soluciones basadas en la inteligencia artificial.
Minimizar el riesgo de un olvido catastrófico: Para lograr una mayor precisión y reducir el riesgo, se utilizan modelos de Granite integrados como base para adquirir nuevas habilidades y conocimientos. La información aprendida anteriormente no se pierde cuando los modelos aprenden información nueva.
Rentables y escalables: Dado que la IA Red Hat de IBM Cloud está disponible como servicio, puedes reducir costes innecesarios pagando solo por lo que necesitas. Optimice los gastos en TI ofreciendo soluciones de IA más sencillas, rápidas y económicas.
API estándar del sector: Utiliza los puntos de conexión habituales de OpenAI-compatible para integrar capacidades de IA en tus flujos de trabajo y aplicaciones existentes sin necesidad de aprender interfaces propias.

¿Cómo funciona la facturación?

Para obtener más información sobre la facturación, consulta el Preguntas más frecuentes.