시작하기 전에

웹 채팅에서 스트리밍을 사용 설정하려면 다음 단계를 따르세요:

• 홈 > 미리 보기 > 웹 채팅 사용자 지정으로 이동합니다.
• 스타일 탭을 클릭합니다.
• 스트리밍 토글 버튼을 On 로 설정합니다.
• 저장 후 종료를 클릭하십시오.

확장 프로그램에서 스트리밍하는 방법

다음에 설명된 단계를 따를 수 있습니다. 사용자 정의 확장 호출. 선택한 경우 작업 정의하다 text/event-stream 응답으로 content-type, 그러면 이 기능을 통해 작업으로 생성된 SSE에서 스트리밍할 텍스트를 선택할 수 있습니다.

작업에서 다음 예와 같은 서버 전송 이벤트를 생성하는 경우:

data: {"model_id":"ibm/granite-13b-chat-v2","created_at":"2024-07-01T21:49:29.696Z","results":[{"generated_text":"to lear","generated_token_count":10,"input_token_count":0,"stop_reason":"not_finished"}]}

data: {"model_id":"ibm/granite-13b-chat-v2","created_at":"2024-07-01T21:49:29.731Z","results":[{"generated_text":"n ne","generated_token_count":11,"input_token_count":0,"stop_reason":"not_finished"}]}

data: {"model_id":"ibm/granite-13b-chat-v2","created_at":"2024-07-01T21:49:29.767Z","results":[{"generated_text":"w skill","generated_token_count":12,"input_token_count":0,"stop_reason":"not_finished"}]}

text 를 watsonx Assistant JSON 경로로 지정하여 각 SSE에서 텍스트 또는 토큰이 추출되는 위치를 표시합니다. 이전 예에서는 results[0].generated_text 텍스트가 추출되는 경로이며 결과는 다음과 같습니다.to learn new.

스트림 실행

사용자 지정 확장 프로그램이 호출되면, watsonx Assistant 지정된 작업 에서 텍스트 스트림을 호출하려고 시도합니다. 다음 단계는 스트림이 성공적으로 완료된 후에만 실행되거나 스트리밍이 시작되기 전에 오류가 발생하는지 여부에 따라 실행됩니다. 스트림이 성공적으로 완료되면 스트리밍된 텍스트는 .body 결과 변수의 속성입니다.

.last_event 속성을 참조하여 스트림의 마지막 이벤트에서 속성에 액세스할 수 있습니다. 예를 들어, 특정 데이터를 검색하려면 ${step_596_result_1.last_event.citations} 를 사용합니다.

성공 또는 실패 확인

사용 Ran successfully 스트림이 성공적으로 완료되었는지 확인하거나 스트림이 시작되지 않는 경우를 처리하기 위한 응답 변수입니다. 이 변수는 부울 값(true 또는 false)을 반환합니다. 그것은 true 스트림이 성공적으로 완료되고 false 스트림이 시작되지 않는 경우. HTTP 상태에 기반한 조건 설정에 대한 자세한 내용은 HTTP 조건 설정을 참조 하여 조건 설정 방법을 확인하십시오.

네트워크 문제로 인해 스트림이 시작된 후 실패하거나 최대 30초 제한 시간에 도달하면 사용자에게 오류가 생성됩니다.