구조화된 출력

페이지 복사

​개요 #

Dify의 구조화된 출력을 통해 LLM은 예측 가능한 JSON 형식으로 데이터를 반환하므로 출력을 처리하고 애플리케이션에 통합하기가 더 쉬워집니다.

​이익 #

• 일관된 데이터 형식 : LLM에서 생성된 모든 콘텐츠는 미리 정의된 형식을 따르므로 데이터 불일치가 없습니다.
• 원활한 통합 : 데이터베이스, API 또는 프런트엔드 애플리케이션은 추가 데이터 정리 없이 JSON 스키마를 직접 구문 분석할 수 있습니다.
• 간소화된 개발 : 개발자는 JSON 스키마가 출력 제약 조건을 처리하도록 하여 복잡한 검증 코드 작성을 건너뛸 수 있습니다.

​구현 방법 #

Dify는 구조화된 출력을 생성하는 두 가지 방법을 제공합니다.

​방법 1: 도구 매개변수 #

도구 매개변수에서 직접 출력 구조를 정의하세요. 도구 > 데이터 구조 > 반환 변수 정의를 참조하세요 .

​방법 2: JSON 스키마 편집기 #

LLM 노드에 내장된 편집기를 사용하세요. LLM > 고급 기능 > 구조화된 출력 및 LLM > 사용 사례 > 구조화된 출력을 참조하세요 .

​오류 처리 #

무엇이 잘못될 수 있는가JSON 스키마 편집기를 사용할 때 몇 가지 일반적인 문제에 직면할 수 있습니다.

• 제한된 모델 성능 : 작은 LLM(예: GPT-3.5 Turbo)은 때때로 JSON 스키마 지침을 올바르게 따르는 데 문제가 있습니다.
• 형식 문제 : 일부 LLM은 기본 JSON만 이해하고 전체 JSON 스키마는 이해하지 못합니다.
• 오류 메시지Failed to parse structured output: output is not a valid json str : 모델이 적절한 JSON을 생성하지 못할 때 나타날 수 있습니다 .

이러한 문제를 해결하는 방법

1. 적합한 모델을 선택하세요 . 다음 모델은 JSON 스키마와 가장 잘 작동합니다.
   • 제미니 2.0 플래시/플래시라이트
   • 제미니 1.5 플래시 8B(버전 0827/0924)
   • 제미니-1.5 프로
   • GPT-4o 및 GPT-4o-mini
   • o1-mini/o3-mini 시리즈
2. 명확한 지침을 작성하세요 . 하려는 작업과 일치하는 프롬프트를 작성하세요. 예를 들어, 수학 공식이 필요한 경우 법률 분석을 요청하지 마세요. 이는 AI가 필요한 내용을 정확히 이해하는 데 도움이 됩니다.
3. 백업 계획을 세우세요 .
   1. 사용자 정의 재시도 횟수 및 간격으로 실패 시 재시도를 활성화합니다 .
   2. 오류를 처리하기 위해 실패 분기를 설정합니다 .