From 8250c4971684241e52bc22b330ea8f249ba4c97d Mon Sep 17 00:00:00 2001 From: regisss <15324346+regisss@users.noreply.github.com> Date: Thu, 21 Nov 2024 13:00:31 +0100 Subject: [PATCH] Test --- notebooks/ko/structured_generation.ipynb | 20 ++++++++++++++++++++ 1 file changed, 20 insertions(+) diff --git a/notebooks/ko/structured_generation.ipynb b/notebooks/ko/structured_generation.ipynb index 87b7ec4c..e8787d80 100644 --- a/notebooks/ko/structured_generation.ipynb +++ b/notebooks/ko/structured_generation.ipynb @@ -478,6 +478,26 @@ "answer = json.loads(llm_client.post(json=data))[0][\"generated_text\"]\n", "print(answer)" ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "✅ 높은 temperature 설정으로 인해 답변 내용은 여전히 말이 되지 않지만, 생성된 출력 텍스트는 이제 우리가 문법에서 정의한 정확한 키와 자료형을 가진 올바른 JSON 형식입니다!\n", + "\n", + "이제 이 출력물을 추가 처리를 위해 파싱할 수 있습니다." + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "### Outlines를 사용해서 로컬 환경에서 문법 활용하기\n", + "\n", + "[Outlines](https://github.com/outlines-dev/outlines/)는 Hugging Face의 Inference API에서 출력 생성을 제한하기 위해 내부적으로 실행되는 라이브러리입니다. 이를 로컬 환경에서도 사용할 수 있습니다.\n", + "\n", + "이 라이브러리는 [로짓(logits)에 편향(bias)을 적용하는 방식](https://github.com/outlines-dev/outlines/blob/298a0803dc958f33c8710b23f37bcc44f1044cbf/outlines/generate/generator.py#L143)으로 작동하여, 사용자가 정의한 제약 조건에 부합하는 선택지만 강제로 선택되도록 합니다." + ] } ], "metadata": {