generate_evaluation.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 이 문서를 수정할 당신에게...\n",
    "#### 현재 상황은 아래와 같습니다.\n",
    "1. Assistant와 Agent의 성능 측정을 위해서는 이에 대한 evaluation 제작이 필요합니다.\n",
    "\n",
    "#### 당신의 목표는 아래와 같습니다.\n",
    "1. [generate dialog 노트북](generate_dialog.ipynb)에서 생성된 대화 데이터셋을 받아서 Assistant에 대한 evaluation set을 구성합니다.\n",
    "2. Agent의 evaluation을 수행할 수 있는 방법을 생각하고, evaluation set을 제작합니다.(Tool에서 데이터를 잘 빼오는지에 대한 evaluation이 따로 필요할 수 있습니다.)\n",
    "\n",
    "\n",
    "#### 생각할 수 있는 해결 방식은 아래와 같습니다.\n",
    "문제 1에 대하여...\n",
    "1. Format 설정\n",
    "어떤 format으로 evaluation을 작성할지 먼저 생각합니다. 아래는 format의 예시입니다.\n",
    "```\n",
    "conversation_history:\n",
    "   이우선: 안녕하세요! 저는 이우선이라고 합니다. 와인에 대해 궁금한 점이 있으시면 언제든지 물어보세요! 😊\n",
    "    User: 와인 추천해주세요 \n",
    "    이우선: 좋아요! 와인 추천을 위해 몇 가지 질문을 드리겠습니다. 먼저, 어떤 종류의 와인을 선호하시나요?\n",
    "    User: 레드 와인이요 \n",
    "Answer: 2\n",
    "```\n",
    "2. LLM 활용하기\n",
    "LLM이 이러한 annotation을 하는데 특화되어 있습니다. LLM을 활용하여 일단 제작한 이후 사람이 검수하는 방식을 사용하면 빠른 수행이 될 것 으로 생각됩니다.\n",
    "\n",
    "assistant 단계가 확정지어지고, 대화 데이터셋 생성이 마무리 된 후에 이를 수행할 수 있을 듯 합니다.\n",
    "\n",
    "\n",
    "#### 참고 사항\n",
    "아래 논문은 직접적이진 않지만 비싼 사람 데이터대신 언어모델을 사용하여 데이터를 수집하는 방식에 근간이 된 논문입니다. 이 논문이 도움이 될 수도 있습니다. \n",
    "- [Self-Instruct: Aligning Language Models with Self-Generated Instructions](https://arxiv.org/pdf/2212.10560.pdf)\n",
    "\n",
    "추가로 이러한 작업을 하는 방식에 대한 논문도 많을 것으로 생각되니 논문을 먼저 찾아보는 것도 좋습니다."
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}