EDA.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "ec2d55d5-18bc-4c3c-a638-133b749fa00a",
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "import random\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "from tqdm import tqdm, trange\n",
    "from pprint import pprint\n",
    "\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "\n",
    "import torch\n",
    "from torch.utils.data import DataLoader, TensorDataset\n",
    "import torch.nn.functional as F\n",
    "\n",
    "from datasets import (load_dataset, \n",
    "                      load_metric, \n",
    "                      load_from_disk,\n",
    "                      Dataset,\n",
    "                      DatasetDict\n",
    ")\n",
    "from transformers import (\n",
    "    AutoTokenizer,\n",
    "    BertModel, BertPreTrainedModel,\n",
    "    RobertaModel, RobertaPreTrainedModel,\n",
    "    AdamW, get_linear_schedule_with_warmup,\n",
    "    TrainingArguments,\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "1b92bcb9-02d3-4b9d-bb40-b49c6120fa6d",
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('wikipedia_documents.json', \"r\", encoding=\"utf-8\") as f:\n",
    "    wiki = json.load(f)\n",
    "    \n",
    "wiki_corpus = list(\n",
    "    dict.fromkeys([v[\"text\"] for v in wiki.values()])\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "51605d2b-0bbd-43d8-aaee-2f2c83236529",
   "metadata": {},
   "source": [
    "#### wikipedia_documents EDA"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "43aef58f-a130-4799-81a6-b72d5ea526b5",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "중복 없는 위키 문서의 개수: 56737\n"
     ]
    }
   ],
   "source": [
    "print('중복 없는 위키 문서의 개수:', len(list(set(wiki_corpus))))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "72f48d15-744c-4480-b89e-6daea977a944",
   "metadata": {},
   "outputs": [],
   "source": [
    "doc_len = np.array([])\n",
    "for doc in wiki_corpus:\n",
    "    doc_len = np.append(doc_len, len(doc))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "d1cb3b86-b3af-4c0e-86c6-b5eb2011f6c6",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 document 길이: 46099.0\n",
      "평균 document 길이: 750.8205932636552\n",
      "가장 짧은 document 길이: 184.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 document 길이:', doc_len.max())\n",
    "print('평균 document 길이:', doc_len.mean())\n",
    "print('가장 짧은 document 길이:', doc_len.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "679317e6-2a81-40b4-9594-e7d2e4dbc9eb",
   "metadata": {},
   "outputs": [],
   "source": [
    "import kss"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "a5c8240a-e934-4f66-b759-9fb79afb164a",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "ename": "IndexError",
     "evalue": "list index out of range",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mIndexError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-8-01efc56a026d>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0mcount\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;36m0\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      2\u001b[0m \u001b[0;32mfor\u001b[0m \u001b[0mdoc\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mwiki_corpus\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 3\u001b[0;31m     \u001b[0md\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mkss\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msplit_sentences\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdoc\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      4\u001b[0m     \u001b[0;32mfor\u001b[0m \u001b[0msent\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mdoc\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m         \u001b[0mcount\u001b[0m \u001b[0;34m+=\u001b[0m \u001b[0;36m1\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/opt/conda/lib/python3.8/site-packages/kss/kss.py\u001b[0m in \u001b[0;36msplit_sentences\u001b[0;34m(text, use_heuristic, use_quotes_brackets_processing, max_recover_step, max_recover_length, backend, num_workers, disable_gc)\u001b[0m\n\u001b[1;32m    156\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    157\u001b[0m     \u001b[0;32mif\u001b[0m \u001b[0misinstance\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mtext\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mstr\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 158\u001b[0;31m         \u001b[0;32mreturn\u001b[0m \u001b[0mresults\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    159\u001b[0m     \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    160\u001b[0m         \u001b[0;32mreturn\u001b[0m \u001b[0mresults\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mIndexError\u001b[0m: list index out of range"
     ]
    }
   ],
   "source": [
    "\n",
    "count = 0\n",
    "for doc in wiki_corpus:\n",
    "    d = kss.split_sentences(doc)\n",
    "    for sent in doc:\n",
    "        count += 1\n",
    "\n",
    "print('total_setences:', count)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "81ac0fff-4759-46f8-8051-f1d478eae6ea",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:>"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkcAAAD4CAYAAADmQEJ+AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAQo0lEQVR4nO3dbYwd110H4N9JvHZt0pLEcZzGSdlG66qxFASNVRVRoaikrWMq4AMfIqHGAqRGILlvkfqiOKwtuaqgUtLaIDUVIG0koEABtUJJIKGt+NQWmzZNiEu8DabgJE3ivmE5Sf0yfNjZ5e/NOttrr313V88jje69Z86ZOWfO6Oa3M3Od1nVdAACYctGwOwAAsJgIRwAAhXAEAFAIRwAAhXAEAFCsGKTyFVdc0Y2Ojp6nrgAALJz9+/c/33XdukHbDRSORkdHs2/fvkH3AQBwwbXW/uts2rmtBgBQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQrBi0wd69ezM5OZnDhw8nSTZs2JAkGRsby/bt2xe2dwAAF9jA4WhycjLfeOxAki5J8sxLK3Lxse8tdL8AAIbirG6rnVxzeU6uWZuTa9bmhTduzck1ly90vwAAhsIzRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAhXAEAFAIRwAAxUDh6Nlnnx14B3v37s3evXsHbgcAMAwrBqn80ksvDbyDycnJgdsAAAyL22oAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQrDjfO3jkkUeSJDfddNP53tWCa61l5cqVueyyy/LMM8+ktZau62bWj4yM5Morr8zhw4ezbt26PPfcc1m5cmWuuuqqPP/883n3u9+de++9N1dffXUuvfTSbNmyJXfffXfGx8dz7bXXZvv27bn22mtz++2356677sqGDRvyrne9K/fcc0/uuOOOfP7zn89TTz2VPXv2ZGxsLEeOHMmOHTty4sSJnDx5Mk8//XSuueaafPjDH86ePXsyPj6etWvXzvRv3759+dCHPpRPfOITufHGG08b25EjR3LXXXel67rccccdL2t/5MiR7Nq1K+9973uzZ8+emdfx8fF8//vfn+n7xz/+8axdu3am/uw+zOdM7ebb3iD7O9u+nQ8Xsi+Ladxzqefg7t27F7SPCzX2xX4MGb7ldo4st/GcLVeOXkHXdXnppZfyzDPPzHyujh8/nsOHDydJnnvuuSTJj3/843znO9/JsWPHcu+99yZJnnrqqTz++OO55557kiQf+9jHsnv37rzwwgt54oknMj4+nmPHjuXgwYP55Cc/mSS5++67Mzk5mWPHjmX37t1JkomJiRw4cCAHDx7Mk08+mRdeeCEHDx7M7t278+ijj+a+++47rX87d+7MqVOnMj4+/rKxTUxM5PHHH8+BAwfmbD8xMZFHH310Zl2tU/s+3Wa6/uw+zOdM7ebb3iD7O9u+nQ8Xsi+LadxzqefgQvdxoca+2I8hw7fczpHlNp6zdV7D0VK8WnQ+TYerEydO5NChQzPlR48efVmdGsQOHTqU/fv354EHHphzu4cOHUrXdXnwwQdz5MiRJFNXjaa3e/To0ezfv3+m/pEjR/Lggw+esf30+q7rZtZNv95///2n9f3+++/P5OTkTP3ah/nU/dR2Zyqfr90g+xiGC9mXxTTuucw+Bx944IEF6+NCjX2xH0OGb7mdI8ttPOdioHD04osvZnJyMhe9+KPTN/LijzI5OZn3ve99py0snPHx8Zw4ceIV65w8eXIm7e/cufNl7adNTEzk+PHjZ2w/MTGRU6dOzbmP2e2OHz+e3bt3z9SvfZhP3U9td6by+doNso9huJB9WUzjnsvsc/D48eML1seFGvtiP4YM33I7R5bbeM7FvOGotfae1tq+1tq+2beVuHCOHj36stt6s504cSIPPfTQTP3Z7ac9/PDDc25ruv3DDz88bxCrDh06NFO/9mE+dT+13ZnK52s3yD6G4UL2ZTGNey6zz8Gu6xasjws19sV+DBm+5XaOLLfxnIt5w1HXdZ/pum5z13WbV69enbGxsZx61WtOq3PqVa/J2NhYPvWpT522sHAuueSStNZesc6KFSvy9re/fab+7PbTbr755jm3Nd3+5ptvzooVP/mz+qOjozP1ax/mU/dT252pfL52g+xjGC5kXxbTuOcy+xxsrS1YHxdq7Iv9GDJ8y+0cWW7jORceyF4idu3aNW9gufjii3PbbbcleflttV27ds2837ZtW0ZGRs7Yftu2bbnoorlPjdntRkZGsmPHjpn6tQ/zqfup7c5UPl+7QfYxDBeyL4tp3HOZfQ6OjIwsWB8XauyL/RgyfMvtHFlu4zkX5zUcffnLXz6fm19ypv9SXrFiRUZHR2fK61Wd6Tr1r+rR0dHceOONueWWW+bc7ujoaFpr2bJly8xPLzdv3jyz3UsuueS0n/KvXbs2W7ZsOWP76fWttZl1069bt249re9bt27N2NjYTP3ah/nU/dR2Zyqfr90g+xiGC9mXxTTuucw+B2+55ZYF6+NCjX2xH0OGb7mdI8ttPOfClaNX0FrLqlWrctVVV818rkZGRrJhw4Ykybp165IkK1euzOte97qsWbMmt99+e5Lk6quvzqZNm/KBD3wgSXLnnXdmx44dWb16dd7whjdk165dWbNmTTZu3Jj3v//9SZIPfvCDGRsby5o1a7Jjx44kU6n++uuvz8aNG3Pddddl9erV2bhxY3bs2JEbbrjhZSl/586dueiii067ajRt27Zt2bRpU66//vo522/bti033HDDzLpap/a9Xu2Zqw/zOVO7+bY3yP7Otm/nw4Xsy2Ia91zqObjQfVyosS/2Y8jwLbdzZLmN52y1QR6yXr9+fXfrrbdm/5PfnSl74Y1bs/pb9+fG69bP+ZzR9K/WPIMEAFxIrbX9XddtHrSdK0cAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQCEcAAIVwBABQrBik8qpVqwbewdjY2MBtAACGZaBwdOWVVw68g+3btw/cBgBgWNxWAwAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgEI4AgAohCMAgGLF2TS6+Nj3knRJktXfur//vH4BuwUAMBwDh6OxsbEkyeHDh5MkGzasT7J+phwAYCkbOBxt3779fPQDAGBR8MwRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFMIRAEAhHAEAFK3rup+8cmvPJfmv89cdFtgVSZ4fdic4K+ZuaTJvS5N5W7rmm7uf6bpu3aAbHSgcsbS01vZ1Xbd52P1gcOZuaTJvS5N5W7rO19y5rQYAUAhHAACFcLS8fWbYHeCsmbulybwtTeZt6Tovc+eZIwCAwpUjAIBCOAIAKISjJaC19mettWdba4+Vsstbaw+11g72r5f15a21tqe1Ntla+2Zr7U2lzba+/sHW2rZSfmNr7dG+zZ7WWruwI1yeWmvXtta+1Fp7vLX276219/Xl5m4Ra629qrX2tdbaI/287erLX99a+2p/rP+qtbayL1/Vf57s14+WbX20L/+P1to7S/mWvmyytfaRCz7IZay1dnFr7euttX/oP5u3JaC1dqj/LvtGa21fXza878qu6yyLfEnyS0nelOSxUvaHST7Sv/9Ikj/o329N8kCSluQtSb7al1+e5Mn+9bL+/WX9uq/1dVvf9pZhj3k5LElem+RN/ftXJ3kiySZzt7iX/lhe0r8fSfLV/hj/dZJb+/JPJ/nd/v3vJfl0//7WJH/Vv9+U5JEkq5K8Psm3k1zcL99Ocl2SlX2dTcMe93JZknwwyV8k+Yf+s3lbAkuSQ0mumFU2tO9KV46WgK7r/iXJ92YV/1qSif79RJJfL+X3dVO+kuTS1tprk7wzyUNd132v67rvJ3koyZZ+3Wu6rvtKN3UG3Ve2xTnouu7pruv+rX//v0kOJNkQc7eo9cf/aP9xpF+6JG9L8rm+fPa8Tc/n55L8cv9X6a8l+WzXdS91XfefSSaTvLlfJruue7Lruh8n+Wxfl3PUWrsmya8k+ZP+c4t5W8qG9l0pHC1d67uue7p//0yS9f37DUn+u9T7n77slcr/Z45yFlB/yf7nM3UVwtwtcv2tmW8keTZTX7DfTvKDrutO9FXqsZ6Zn379D5OszeDzybn7ZJIPJTnVf14b87ZUdEn+qbW2v7X2nr5saN+VK85mBCwuXdd1rTX/JsMi1Vq7JMnfJnl/13U/qre6zd3i1HXdySQ/11q7NMnfJ3njcHvEfFpr70rybNd1+1trNw25OwzurV3XHW6tXZnkodbat+rKC/1d6crR0vXd/lJh+tdn+/LDSa4t9a7py16p/Jo5ylkArbWRTAWjP++67u/6YnO3RHRd94MkX0ryC5m6dD/9B2U91jPz06//6SRHMvh8cm5+McmvttYOZeqW19uSfCrmbUnouu5w//pspv4geXOG+F0pHC1dX0gy/ST+tiSfL+W39U/zvyXJD/vLkv+Y5B2ttcv6J/7fkeQf+3U/aq29pb/fflvZFuegP55/muRA13V3l1XmbhFrra3rrxiltbY6ydsz9bzYl5L8Rl9t9rxNz+dvJPli/1zDF5Lc2v8q6vVJNmbqodB/TbKx/xXVykw9DPyF8z6wZa7ruo92XXdN13WjmTqmX+y67jdj3ha91tpPtdZePf0+U99xj2WY35XDfDrd8hM/xf+XSZ5OcjxT90p/J1P3xv85ycEkDye5vK/bkvxxpp6ReDTJ5rKd387Uw4WTSX6rlG/uT8RvJ/mj9P9yuuWc5+2tmbqP/s0k3+iXreZucS9JfjbJ1/t5eyzJ7/fl12XqP5KTSf4myaq+/FX958l+/XVlW3f2c/MfKb+O6c+DJ/p1dw57zMttSXJT/v/XauZtkS/9HD3SL/8+fWyH+V3pfx8CAFC4rQYAUAhHAACFcAQAUAhHAACFcAQAUAhHAACFcAQAUPwfB8IvV4qirroAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import seaborn as sns\n",
    "\n",
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(doc_len.min(), doc_len.max()*1.1)\n",
    "sns.boxplot(x=doc_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "f817fb1d-575f-49d6-b46f-db3b104a92b1",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "document의 길이가 10000 이샹인 개수 25\n"
     ]
    }
   ],
   "source": [
    "count = 0 \n",
    "length = 10000\n",
    "for num in doc_len:\n",
    "    if num >= length:\n",
    "        count += 1\n",
    "print('document의 길이가',length,'이샹인 개수', count)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "ed98b9af-b95c-493e-a51c-e9cfefb45d89",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>length</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>578</th>\n",
       "      <td>14309.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>699</th>\n",
       "      <td>12517.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>973</th>\n",
       "      <td>25351.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3249</th>\n",
       "      <td>10098.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4529</th>\n",
       "      <td>27406.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4531</th>\n",
       "      <td>19191.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4533</th>\n",
       "      <td>41411.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4534</th>\n",
       "      <td>46099.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5540</th>\n",
       "      <td>10950.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5953</th>\n",
       "      <td>29016.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7116</th>\n",
       "      <td>12061.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10919</th>\n",
       "      <td>25327.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25967</th>\n",
       "      <td>10811.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27901</th>\n",
       "      <td>13798.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28942</th>\n",
       "      <td>11795.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29028</th>\n",
       "      <td>12079.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31111</th>\n",
       "      <td>15069.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31351</th>\n",
       "      <td>10091.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35918</th>\n",
       "      <td>10749.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37157</th>\n",
       "      <td>11619.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41686</th>\n",
       "      <td>21701.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42484</th>\n",
       "      <td>12208.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42547</th>\n",
       "      <td>10112.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48517</th>\n",
       "      <td>11415.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>53658</th>\n",
       "      <td>16077.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        length\n",
       "578    14309.0\n",
       "699    12517.0\n",
       "973    25351.0\n",
       "3249   10098.0\n",
       "4529   27406.0\n",
       "4531   19191.0\n",
       "4533   41411.0\n",
       "4534   46099.0\n",
       "5540   10950.0\n",
       "5953   29016.0\n",
       "7116   12061.0\n",
       "10919  25327.0\n",
       "25967  10811.0\n",
       "27901  13798.0\n",
       "28942  11795.0\n",
       "29028  12079.0\n",
       "31111  15069.0\n",
       "31351  10091.0\n",
       "35918  10749.0\n",
       "37157  11619.0\n",
       "41686  21701.0\n",
       "42484  12208.0\n",
       "42547  10112.0\n",
       "48517  11415.0\n",
       "53658  16077.0"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(doc_len)\n",
    "df.columns = ['length']\n",
    "\n",
    "is_over = df['length'] > 10000\n",
    "over_length = df[is_over]\n",
    "over_length"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "16933903-3217-40be-978d-d8cc8b78c359",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "idx_list = over_length.index.tolist()\n",
    "for i, idx in enumerate(idx_list):\n",
    "    print(\"passage\",i, over_length.iloc[i])\n",
    "    print(wiki_corpus[idx])\n",
    "    print()\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "98c26776-a850-48a9-9756-32e5f049ad5b",
   "metadata": {},
   "source": [
    "길이가 10000 이상인 문서들을 확인한 결과 <br>\n",
    "html 태그(?)가 제대로 지워지지 않은 경우도 존재했고, 문자가 많이 깨진 경우도 존재했다. <br>\n",
    "이를 처리해주는 과정이 필요할 것이라고 생각 <br>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "id": "7769a659-3f75-4fba-9156-addc9e3d933a",
   "metadata": {},
   "outputs": [],
   "source": [
    "model = 'klue/bert-base'\n",
    "tokenizer = AutoTokenizer.from_pretrained(model)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "76ce4ffe-7cb2-4ea2-9da8-3d1768f801c8",
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenized_doc_len = np.array([])\n",
    "for doc in wiki_corpus:\n",
    "    tokenized_doc_len = np.append(tokenized_doc_len, len(tokenizer.tokenize(doc)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "372e16bf-1b7a-4908-87b7-90252f779dbe",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 tokenized document 길이: 27539.0\n",
      "평균 tokenized document 길이: 401.88920810053406\n",
      "가장 짧은 tokenized document 길이: 54.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 tokenized document 길이:', tokenized_doc_len.max())\n",
    "print('평균 tokenized document 길이:', tokenized_doc_len.mean())\n",
    "print('가장 짧은 tokenized document 길이:', tokenized_doc_len.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "ec4698d8-b3ec-40da-879e-5e6e3ad0d99f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:>"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkoAAAD4CAYAAAATvsnOAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAQC0lEQVR4nO3dX4xcV30H8O/J2sShgQIORCiBmnSREA8VBauiEkKoDWD7hVbigadYpRJS/yQuoQ9UhDoRfmklEoKpiqiK5FRVoaWtykOcNm6BPgF12oQEG+IlGGgUEjAFCoTE3pw+7F0zu96f4/HOzq67n4802jt37j33nN892f36zp1J670HAIBzXbbeHQAA2KgEJQCAgqAEAFAQlAAACoISAEBhyzgbX3XVVX3Hjh1r1BUAgMm57777vtt7f/Fq2hgrKO3YsSNHjx5dzfEAAKaitfaN1bbhrTcAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABQEJQCAgqAEAFAQlAAAClsuZqeDBw/mc5/7XJLkmmuuSZLMzs7mxhtvnFzPAADW2UUFpbm5uXznu6eSmS359lNbMvOT7026XwAA6+7i33qb2ZL5527Pk6/ak/nnvmiCXQIA2BjcowQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABQEJQCAgqAEAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABQEJQCAgqAEAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQGCsoPfHEE2Mf4ODBgzl48ODY+wEArLct42z81FNPjX2Aubm5sfcBANgIvPUGAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABQEJQCAgqAEAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKCwZa0P8MADDyRJ3vSmN631oS7KzMxMkmR+fn7J+ssuuyzPPPPMOctbt25Nay1Jcvr06Vx77bXZtm1b5ufn89hjj+XAgQP5yEc+kpMnT6b3npe//OXZtm1beu9prWVmZia7du3KHXfckZtvvjlHjhzJTTfdlA9+8INpreXmm2/O7bffnt57Dhw4kCR5//vfv+T5LbfccnbbD3/4w7npppty++2358yZM5mZmcl73vOec9q47bbbsn///iX7v/Od78z+/ftz5513ZnZ2tqzRqVOnzu6/ffv2VdX71KlTS8ZTtXe+Y47bn0n2fzVG+5H87Dx84AMfGLtf0x7TetRw0sfcKPOAS89mmjubaawXatNfUZqfnz8nJCU5G4yWL58+fTpPP/10nn766fTe861vfSsnTpzII488kieffDL79+/P17/+9fTekyTf/OY38/DDD+fEiRN5+OGHc/z48XzoQx9Kktxxxx158MEHc+DAgRw/fjzHjh3LgQMHcuzYsRw/fjx33XVXDh06dM7z0W0X9z927NjZ9ldq48EHHzxn/1tvvTU//vGPz4apyuj+q7V8PBdzzHH7M8n+r0Z1Hi6mX9Me03rUcNLH3CjzgEvPZpo7m2msF2pNg9JGvYq0ln70ox896zaLIar3nt57Tp48efa10eW77747hw8fXvL87rvvXrLt8v1XauOee+5J7z2HDx9e0t5iX0+ePJm5ubkV+3rq1Kmz+99zzz05derUs46vstjWosOHD6/Y3vmOOW5/Jtn/1Rjtx+HDh5ecx6oOF9LWNMa0HjWc9DE3yjzg0rOZ5s5mGus4xgpKP/3pT7Nv376FP6rP/OwqzGU//WHm5uayb9++JQ9W5/Tp0zl9+vSS52fOnLnoNpa3N6q6qnTo0KGzV9Tm5+dX9a+MQ4cOnTOe6opRdcxx+zPJ/q/GaD+Wn8eqDhfS1jTGtB41nPQxN8o84NKzmebOZhrrOJ41KLXW3tVaO9paO7p4JYRLy+gVrMryq1KLjhw5cvaP+pkzZ3LvvfdedD+OHDmypA+99xXbO98xx+3PJPu/GqP9WH4eqjpcSFvTGNN61HDSx9wo84BLz2aaO5tprON41qDUe/9Y731n733nFVdc8bMbfy+bObvNM9uen9nZ2dx5551LHmwMizefL/5cyY4dO1Zcf/3112fLloV7/rds2ZI3v/nNF92P66+/fkkfWmsrtne+Y47bn0n2fzVG+7H8PFR1uJC2pjGm9ajhpI+5UeYBl57NNHc201jHselv5t7Itm7dmq1bty55vjiJL6aN5e2NuuWWW1Zcv3fv3lx22cI0mZmZyQ033DDW8Ze3tXw8K7V3vmOO259J9n81Rvux/DxWdbiQtqYxpvWo4aSPuVHmAZeezTR3NtNYx7GmQemzn/3sWja/IV155ZXPus3oFZ7W2pKrOaPLe/bsye7du5c837Nnz5Jtl++/Uhu7du1Kay27d+9e0t5iX3fs2FF+PcD27dvP7r9r165VfVx0sa1Fu3fvXrG98x1z3P5Msv+rMdqP3bt3LzmPVR0upK1pjGk9ajjpY26UecClZzPNnc001nGs+fcobXST/h6l22677YK/R+nd7373eb9HaTHNz83NLXl+4sSJC/4epcV9Tp48ec7+i9+jVF1NWrR3794l+6/G3r17zxnPuMcctz+T7P9qLO/H4nm4mH5Ne0zrUcNJH3OjzAMuPZtp7mymsV6oNs4N2ldffXV//PHHs2/fvtz/0LHMP3d7nnzVnlzxlbvzuuuuXvG+pMVPv7lnCQCYptbafb33natpwz1KAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABQEJQCAgqAEAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKW8bZ+PLLLx/7ALOzs2PvAwCwEYwVlF7ykpeMfYAbb7xx7H0AADYCb70BABQEJQCAgqAEAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABQEJQCAgqAEAFAQlAAACoISAEBBUAIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKBw8UFp/kxmfnIqV3zl7sz85HsT7BIAwMaw5WJ2mp2dzaOPPpokueaaq5NcndnZ2Un2CwBg3bXe+wVvvHPnzn706NE17A4AwGS01u7rve9cTRvuUQIAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAqCEgBAQVACACgISgAABUEJAKAgKAEAFAQlAICCoAQAUBCUAAAKghIAQEFQAgAoCEoAAAVBCQCgICgBABRa7/3CN27tO0m+sXbdYcRVSb673p3YRNR7utR7+tR8utR7uqp6/0Lv/cWraXisoMT0tNaO9t53rnc/Ngv1ni71nj41ny71nq61rLe33gAACoISAEBBUNq4PrbeHdhk1Hu61Hv61Hy61Hu61qze7lECACi4ogQAUBCUAAAKgtIUtdZOttYebK3d31o7Oqx7UWvt3tbaieHnC4f1rbX24dbaXGvtS6211460s3fY/kRrbe96jWcjaq19vLX2RGvtoZF1E6txa+11wzmcG/Zt0x3hxlLU+9bW2qPDPL+/tbZn5LU/Gmr31dbaW0fW7xrWzbXW3juy/hWttS8M6z/ZWnvO9Ea38bTWXtZa+0xr7Vhr7cuttX3DenN8DZyn3ub4GmitbWutfbG19sBQ79uG9SvWqLV2+fB8bnh9x0hbY52H8+q9e0zpkeRkkquWrfvTJO8dlt+b5E+G5T1JDidpSV6f5AvD+hcleWT4+cJh+YXrPbaN8kjyxiSvTfLQWtQ4yReHbduw7+71HvMGrPetSf5whW1fneSBJJcneUWSryWZGR5fS3JdkucM27x62Odvk7xjWP5okt9Z7zGvc71fmuS1w/Lzkjw81NUcn269zfG1qXdLcuWwvDXJF4a5uGKNkvxuko8Oy+9I8smLPQ/ne7iitP7eluTQsHwoyW+MrL+rL/h8khe01l6a5K1J7u29f6/3/j9J7k2ya8p93rB67/+e5HvLVk+kxsNrz++9f74v/Nd410hbm1JR78rbknyi9/5U7/3rSeaS/MrwmOu9P9J7fzrJJ5K8bbiS8WtJPjXsP3ruNqXe+2O99/8clv83yfEk18QcXxPnqXfFHF+FYZ7+aHi6dXj01DUanfefSvLrQ03HOg/P1i9Babp6kn9prd3XWnvXsO7q3vtjw/K3k1w9LF+T5Fsj+/73sK5aT21SNb5mWF6+nnP9/vBWz8cX3wbK+PXenuT7vfczy9aTZHib4Zez8K9uc3yNLat3Yo6vidbaTGvt/iRPZCHAfy11jc7WdXj9B1mo6UT/fgpK0/WG3vtrk+xO8nuttTeOvjj8C873NawhNZ6KP0/yi0lek+SxJB9c1978P9RauzLJ3yf5g977D0dfM8cnb4V6m+NrpPc+33t/TZJrs3AF6FXr2yNBaap6748OP59I8o9ZmASPD5e7M/x8Ytj80SQvG9n92mFdtZ7apGr86LC8fD0jeu+PD7/snknyF1mY58n49T6VhbeKtixbv6m11rZm4Y/2X/fe/2FYbY6vkZXqbY6vvd7795N8Jsmvpq7R2boOr/98Fmo60b+fgtKUtNZ+rrX2vMXlJG9J8lCSTydZ/MTJ3iT/NCx/OskNw6dWXp/kB8Ol9X9O8pbW2guHy71vGdZRm0iNh9d+2Fp7/fA++A0jbTFY/IM9+M0szPNkod7vGD6p8ookr8zCjcP/keSVwydbnpOFmzI/PVwZ+UyStw/7j567TWmYd3+Z5Hjv/faRl8zxNVDV2xxfG621F7fWXjAsX5HkzVm4L6yq0ei8f3uSfxtqOtZ5eNaOrcWd6x4r3s1/XRbusH8gyZeTvG9Yvz3JvyY5keRIkhf1n939/2dZeH/2wSQ7R9p6ZxZuTptL8lvrPbaN9EjyN1m4FH46C+8///Yka5xkZxZ+KX4tyUcyfLv9Zn0U9f6roZ5fGn4JvXRk+/cNtftqRj5NlYVPZz08vPa+kfXXDb/g5pL8XZLL13vM61zvN2ThbbUvJbl/eOwxx6deb3N8ber9S0n+a6jrQ0n++Hw1SrJteD43vH7dxZ6H8z38L0wAAAreegMAKAhKAAAFQQkAoCAoAQAUBCUAgIKgBABQEJQAAAr/BzaaVROdxA6HAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(tokenized_doc_len.min(), tokenized_doc_len.max()*1.1)\n",
    "sns.boxplot(x=tokenized_doc_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "id": "6a1b86ea-478a-44c4-8026-66b26058a29c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "document의 길이가 10000 이샹인 개수 9\n"
     ]
    }
   ],
   "source": [
    "count = 0 \n",
    "length = 10000\n",
    "for num in tokenized_doc_len:\n",
    "    if num >= length:\n",
    "        count += 1\n",
    "print('document의 길이가',length,'이샹인 개수', count)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "id": "d5b748e9-a76b-417d-ad71-a3840e8b4218",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>length</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>973</th>\n",
       "      <td>12427.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4529</th>\n",
       "      <td>16618.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4531</th>\n",
       "      <td>11556.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4533</th>\n",
       "      <td>24372.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4534</th>\n",
       "      <td>27539.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5953</th>\n",
       "      <td>15536.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10919</th>\n",
       "      <td>13963.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31111</th>\n",
       "      <td>11587.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41686</th>\n",
       "      <td>11373.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        length\n",
       "973    12427.0\n",
       "4529   16618.0\n",
       "4531   11556.0\n",
       "4533   24372.0\n",
       "4534   27539.0\n",
       "5953   15536.0\n",
       "10919  13963.0\n",
       "31111  11587.0\n",
       "41686  11373.0"
      ]
     },
     "execution_count": 79,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(tokenized_doc_len)\n",
    "df.columns = ['length']\n",
    "\n",
    "is_over = df['length'] > 10000\n",
    "over_length = df[is_over]\n",
    "over_length"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a41141b6-5f6c-4ae3-b282-7ac9ea4fd9e3",
   "metadata": {},
   "outputs": [],
   "source": [
    "idx_list = over_length.index.tolist()\n",
    "for i, idx in enumerate(idx_list):\n",
    "    print(\"passage\",i, over_length.iloc[i])\n",
    "    print(tokenizer.tokenize(wiki_corpus[idx]))\n",
    "    print()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 189,
   "id": "ad14cb67-35e8-46ee-bc11-edef423941ba",
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "22.934747085950832\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['어딘',\n",
       " '실',\n",
       " '##이',\n",
       " '##니',\n",
       " '례',\n",
       " '##예',\n",
       " '여',\n",
       " '##재',\n",
       " '##라',\n",
       " '○',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '名',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '字',\n",
       " '原',\n",
       " '明',\n",
       " '.',\n",
       " '[UNK]',\n",
       " '國',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '之',\n",
       " '長',\n",
       " '子',\n",
       " '.',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '[UNK]',\n",
       " '家',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '重',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '不',\n",
       " '以',\n",
       " '事',\n",
       " '物',\n",
       " '經',\n",
       " '心',\n",
       " ',',\n",
       " '而',\n",
       " '[UNK]',\n",
       " '國',\n",
       " '夫',\n",
       " '人',\n",
       " ',',\n",
       " '性',\n",
       " '[UNK]',\n",
       " '有',\n",
       " '法',\n",
       " '度',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '愛',\n",
       " '公',\n",
       " ',',\n",
       " '然',\n",
       " ',',\n",
       " '敎',\n",
       " '公',\n",
       " ',',\n",
       " '事',\n",
       " '事',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '規',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '의',\n",
       " '일',\n",
       " '##홈',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '이오',\n",
       " '字',\n",
       " '原',\n",
       " '明',\n",
       " '이니',\n",
       " '[UNK]',\n",
       " '國',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '[',\n",
       " '일',\n",
       " '##홈',\n",
       " '公',\n",
       " '[UNK]',\n",
       " 'ㅣ',\n",
       " '##니',\n",
       " '[UNK]',\n",
       " '은',\n",
       " '봉',\n",
       " '히',\n",
       " '##오',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '은',\n",
       " '시',\n",
       " '##회',\n",
       " '##니',\n",
       " '[UNK]',\n",
       " '적',\n",
       " '[UNK]',\n",
       " '라',\n",
       " ']',\n",
       " '의',\n",
       " '아이',\n",
       " '##라',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '이',\n",
       " '집',\n",
       " '##의',\n",
       " '이',\n",
       " '##실',\n",
       " '제',\n",
       " '간략',\n",
       " '##며',\n",
       " '[UNK]',\n",
       " '잡',\n",
       " '##일',\n",
       " '아니',\n",
       " '##며',\n",
       " '잡',\n",
       " '##말',\n",
       " '아니야',\n",
       " '일과',\n",
       " '온',\n",
       " '##갓',\n",
       " '거스',\n",
       " '##로',\n",
       " '애',\n",
       " '경',\n",
       " '영',\n",
       " '##티',\n",
       " '아니',\n",
       " '##고',\n",
       " '[UNK]',\n",
       " '國',\n",
       " '夫',\n",
       " '人',\n",
       " '이',\n",
       " '性',\n",
       " '이',\n",
       " '[UNK]',\n",
       " '고',\n",
       " '法',\n",
       " '度',\n",
       " 'ㅣ',\n",
       " '이',\n",
       " '##셔',\n",
       " '비록',\n",
       " '심',\n",
       " '히',\n",
       " '公',\n",
       " '을',\n",
       " '랑',\n",
       " '##나',\n",
       " '그러나',\n",
       " '公',\n",
       " '을',\n",
       " '츄',\n",
       " '規',\n",
       " '[UNK]',\n",
       " '조차',\n",
       " '[UNK]',\n",
       " '더라',\n",
       " '[UNK]',\n",
       " '十',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '立',\n",
       " '[UNK]',\n",
       " '日',\n",
       " ',',\n",
       " '不',\n",
       " '命',\n",
       " '之',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '不',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '也',\n",
       " '.',\n",
       " '日',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '以',\n",
       " '見',\n",
       " '長',\n",
       " '者',\n",
       " ',',\n",
       " '平',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '在',\n",
       " '父',\n",
       " '母',\n",
       " '長',\n",
       " '者',\n",
       " '之',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '不',\n",
       " '得',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '계',\n",
       " '##오',\n",
       " '열',\n",
       " '설',\n",
       " '##에',\n",
       " '큰',\n",
       " '치',\n",
       " '##위',\n",
       " '##와',\n",
       " '덥',\n",
       " '##고',\n",
       " '비',\n",
       " '##올',\n",
       " '제',\n",
       " '##라',\n",
       " '##두',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '날',\n",
       " '##이',\n",
       " '도록',\n",
       " '야',\n",
       " '命',\n",
       " '야',\n",
       " '안',\n",
       " '##라',\n",
       " '아니',\n",
       " '##커',\n",
       " '##든',\n",
       " '[UNK]',\n",
       " '히',\n",
       " '안',\n",
       " '아니',\n",
       " '##더라',\n",
       " '날',\n",
       " '##마다',\n",
       " '반',\n",
       " '##시',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '야',\n",
       " '얼',\n",
       " '##우',\n",
       " '##신',\n",
       " '뵈',\n",
       " '##오',\n",
       " '##며',\n",
       " '샹',\n",
       " '##해',\n",
       " '이',\n",
       " '##실',\n",
       " '제',\n",
       " '비록',\n",
       " '심히',\n",
       " '더',\n",
       " '##우',\n",
       " '##나',\n",
       " '父',\n",
       " '母',\n",
       " '와',\n",
       " '얼',\n",
       " '##우',\n",
       " '##신',\n",
       " '[UNK]',\n",
       " '이',\n",
       " '##셔',\n",
       " '시',\n",
       " '##러',\n",
       " '##곰',\n",
       " '곳',\n",
       " '##갈',\n",
       " '##와',\n",
       " '보',\n",
       " '션',\n",
       " '##과',\n",
       " '[UNK]',\n",
       " '밧',\n",
       " '##디',\n",
       " '아니야',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '을',\n",
       " '오직',\n",
       " '삼가',\n",
       " '##더라',\n",
       " '行',\n",
       " '[UNK]',\n",
       " '出',\n",
       " '入',\n",
       " ',',\n",
       " '無',\n",
       " '得',\n",
       " '入',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '市',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '語',\n",
       " ',',\n",
       " '鄭',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '未',\n",
       " '[UNK]',\n",
       " '一',\n",
       " '經',\n",
       " '於',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '不',\n",
       " '正',\n",
       " '之',\n",
       " '書',\n",
       " ',',\n",
       " '非',\n",
       " '禮',\n",
       " '之',\n",
       " '色',\n",
       " ',',\n",
       " '未',\n",
       " '[UNK]',\n",
       " '一',\n",
       " '[UNK]',\n",
       " '於',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '녀',\n",
       " '거',\n",
       " '##러',\n",
       " '나',\n",
       " '##며',\n",
       " '들',\n",
       " '##음',\n",
       " '##애',\n",
       " '시',\n",
       " '##러',\n",
       " '##곰',\n",
       " '차',\n",
       " '집',\n",
       " '##과',\n",
       " '술',\n",
       " '집',\n",
       " '##의',\n",
       " '드',\n",
       " '디',\n",
       " '아니',\n",
       " '##며',\n",
       " '져',\n",
       " '##제',\n",
       " '##와',\n",
       " '말',\n",
       " '##와',\n",
       " '鄭',\n",
       " '과',\n",
       " '[UNK]',\n",
       " 'ㅅ',\n",
       " '소',\n",
       " '[',\n",
       " '두',\n",
       " '나라',\n",
       " '일',\n",
       " '홈',\n",
       " '##이',\n",
       " '##니',\n",
       " '음',\n",
       " '##탕',\n",
       " '풍',\n",
       " '##라',\n",
       " ']',\n",
       " '를',\n",
       " '일',\n",
       " '##즉',\n",
       " '번',\n",
       " '귀',\n",
       " '##예',\n",
       " '디',\n",
       " '##내',\n",
       " '##디',\n",
       " '아니',\n",
       " '##며',\n",
       " '正',\n",
       " '티',\n",
       " '아니',\n",
       " '글',\n",
       " '##월',\n",
       " '##와',\n",
       " '禮',\n",
       " '아닌',\n",
       " '빗',\n",
       " '일',\n",
       " '##즉',\n",
       " '번',\n",
       " '눈',\n",
       " '##에',\n",
       " '브',\n",
       " '##티',\n",
       " '##디',\n",
       " '아',\n",
       " '니',\n",
       " '##더라',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '通',\n",
       " '判',\n",
       " '[UNK]',\n",
       " '州',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '陽',\n",
       " '公',\n",
       " '[UNK]',\n",
       " '知',\n",
       " '州',\n",
       " '事',\n",
       " '.',\n",
       " '[UNK]',\n",
       " '先',\n",
       " '生',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '[UNK]',\n",
       " '强',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '文',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '所',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '方',\n",
       " '正',\n",
       " ',',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '之',\n",
       " ',',\n",
       " '使',\n",
       " '敎',\n",
       " '[UNK]',\n",
       " '子',\n",
       " '.',\n",
       " '[UNK]',\n",
       " '生',\n",
       " '小',\n",
       " '有',\n",
       " '過',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '先',\n",
       " '生',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '與',\n",
       " '相',\n",
       " '對',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '日',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '不',\n",
       " '與',\n",
       " '之',\n",
       " '語',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '生',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '先',\n",
       " '生',\n",
       " '方',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '色',\n",
       " '.',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '이',\n",
       " '[UNK]',\n",
       " '州',\n",
       " '[',\n",
       " '고을',\n",
       " '일',\n",
       " '##홈',\n",
       " '##이',\n",
       " '##라',\n",
       " ']',\n",
       " 'ㅣ',\n",
       " '##예',\n",
       " '通',\n",
       " '判',\n",
       " '[',\n",
       " '판',\n",
       " '##관',\n",
       " '[UNK]',\n",
       " '벼슬',\n",
       " '##이',\n",
       " '라',\n",
       " ']',\n",
       " '여',\n",
       " '##실',\n",
       " '제',\n",
       " '[UNK]',\n",
       " '陽',\n",
       " '公',\n",
       " '[',\n",
       " '일',\n",
       " '##홈',\n",
       " '##은',\n",
       " '修',\n",
       " 'ㅣ',\n",
       " '##니',\n",
       " '[UNK]',\n",
       " '적',\n",
       " '샹',\n",
       " '##이',\n",
       " '##라',\n",
       " ']',\n",
       " '이',\n",
       " '州',\n",
       " '事',\n",
       " '를',\n",
       " '지',\n",
       " '##엿',\n",
       " '##더니',\n",
       " '[',\n",
       " '아',\n",
       " '##단',\n",
       " '말',\n",
       " '##이',\n",
       " '##니',\n",
       " '목',\n",
       " '[UNK]',\n",
       " '벼슬',\n",
       " '##이',\n",
       " '##라',\n",
       " ']',\n",
       " '[UNK]',\n",
       " '先',\n",
       " '生',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '[UNK]',\n",
       " '强',\n",
       " '[',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '일',\n",
       " '##홈',\n",
       " '##이',\n",
       " '##오',\n",
       " '[UNK]',\n",
       " '强',\n",
       " '은',\n",
       " '라',\n",
       " ']',\n",
       " '이',\n",
       " '文',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '[',\n",
       " '[UNK]',\n",
       " '陽',\n",
       " '公',\n",
       " '시',\n",
       " '##회',\n",
       " '##라',\n",
       " ']',\n",
       " '곧',\n",
       " '##애',\n",
       " '손',\n",
       " '##이',\n",
       " '되',\n",
       " '##야',\n",
       " '##셔',\n",
       " '[UNK]',\n",
       " '고',\n",
       " '거',\n",
       " '##여',\n",
       " '##우',\n",
       " '##며',\n",
       " '모나',\n",
       " '##고',\n",
       " '[UNK]',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '이',\n",
       " '블러',\n",
       " '마자',\n",
       " '##다가',\n",
       " '여',\n",
       " '##곰',\n",
       " '모',\n",
       " '아',\n",
       " '##을',\n",
       " '치',\n",
       " '더니',\n",
       " '모',\n",
       " '션',\n",
       " '죠',\n",
       " '##곰',\n",
       " '##애나',\n",
       " '글',\n",
       " '##옴',\n",
       " '##이',\n",
       " '잇',\n",
       " '##거',\n",
       " '##든',\n",
       " '先',\n",
       " '生',\n",
       " '이',\n",
       " '[UNK]',\n",
       " '안',\n",
       " '##자',\n",
       " '블러',\n",
       " '더블',\n",
       " '##어',\n",
       " '서',\n",
       " '##르',\n",
       " '對',\n",
       " '야',\n",
       " '날',\n",
       " '##이',\n",
       " '[UNK]',\n",
       " '나',\n",
       " '##조',\n",
       " '##히',\n",
       " '초',\n",
       " '더블',\n",
       " '##어',\n",
       " '말',\n",
       " '##을',\n",
       " '아니',\n",
       " '##다가',\n",
       " '모',\n",
       " '션',\n",
       " '저',\n",
       " '##허',\n",
       " '복',\n",
       " '##죄',\n",
       " '##여',\n",
       " '先',\n",
       " '生',\n",
       " '이',\n",
       " '보',\n",
       " '##야',\n",
       " '##호',\n",
       " '로',\n",
       " '말',\n",
       " '##이',\n",
       " '##며',\n",
       " '빗',\n",
       " '잠',\n",
       " '기',\n",
       " '더라',\n",
       " '時',\n",
       " '公',\n",
       " '方',\n",
       " '十',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '內',\n",
       " '則',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '與',\n",
       " '[UNK]',\n",
       " '國',\n",
       " '夫',\n",
       " '人',\n",
       " '敎',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '如',\n",
       " '此',\n",
       " '之',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '外',\n",
       " '則',\n",
       " '[UNK]',\n",
       " '先',\n",
       " '生',\n",
       " '化',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '如',\n",
       " '此',\n",
       " '之',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '故',\n",
       " '公',\n",
       " '德',\n",
       " '[UNK]',\n",
       " '成',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '大',\n",
       " '異',\n",
       " '[UNK]',\n",
       " '人',\n",
       " '.',\n",
       " '公',\n",
       " '[UNK]',\n",
       " '言',\n",
       " ',',\n",
       " '人',\n",
       " '生',\n",
       " '內',\n",
       " '無',\n",
       " '[UNK]',\n",
       " '父',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '外',\n",
       " '無',\n",
       " '[UNK]',\n",
       " '師',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '而',\n",
       " '能',\n",
       " '成',\n",
       " '者',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '그',\n",
       " '적',\n",
       " '##의',\n",
       " '公',\n",
       " '이',\n",
       " '보',\n",
       " '##야',\n",
       " '##호',\n",
       " '##로',\n",
       " '열',\n",
       " '남',\n",
       " '##은',\n",
       " '설',\n",
       " '##이',\n",
       " '##러',\n",
       " '##니',\n",
       " '안',\n",
       " '##흐로',\n",
       " '正',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '과',\n",
       " '다',\n",
       " '[UNK]',\n",
       " '國',\n",
       " '夫',\n",
       " '人',\n",
       " '이',\n",
       " '[UNK]',\n",
       " '이러',\n",
       " '##시',\n",
       " '[UNK]',\n",
       " '고',\n",
       " '밧',\n",
       " '##로',\n",
       " '[UNK]',\n",
       " '先',\n",
       " '生',\n",
       " '이',\n",
       " '되게',\n",
       " '야',\n",
       " '인도',\n",
       " '##홈',\n",
       " '##이',\n",
       " '이러',\n",
       " '##시',\n",
       " '도',\n",
       " '##타오',\n",
       " '##니',\n",
       " '그러',\n",
       " '##모로',\n",
       " '公',\n",
       " '이',\n",
       " '德',\n",
       " '과',\n",
       " '그르',\n",
       " '##시',\n",
       " '이러',\n",
       " '##키',\n",
       " '모',\n",
       " '사',\n",
       " '##에',\n",
       " '##셔',\n",
       " '다니',\n",
       " '##라',\n",
       " '公',\n",
       " '이',\n",
       " '일',\n",
       " '##즉',\n",
       " '닐',\n",
       " '##오',\n",
       " '人',\n",
       " '生',\n",
       " '애',\n",
       " '안',\n",
       " '##해',\n",
       " '어딘',\n",
       " '아비',\n",
       " '##와',\n",
       " '[UNK]',\n",
       " '이',\n",
       " '업',\n",
       " '##스',\n",
       " '##며',\n",
       " '밧',\n",
       " '[UNK]',\n",
       " '스승',\n",
       " '##과',\n",
       " '[UNK]',\n",
       " '업',\n",
       " '##고',\n",
       " '能',\n",
       " '히',\n",
       " '일',\n",
       " '##움',\n",
       " '##이',\n",
       " '이시',\n",
       " '##리',\n",
       " '[UNK]',\n",
       " '더라',\n",
       " '○',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '長',\n",
       " '夫',\n",
       " '人',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '制',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '之',\n",
       " '[UNK]',\n",
       " '女',\n",
       " '也',\n",
       " '.',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '愛',\n",
       " ',',\n",
       " '然',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '常',\n",
       " '至',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '事',\n",
       " ',',\n",
       " '敎',\n",
       " '之',\n",
       " '[UNK]',\n",
       " '有',\n",
       " '法',\n",
       " '度',\n",
       " '.',\n",
       " '如',\n",
       " '[UNK]',\n",
       " '食',\n",
       " '之',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " ',',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '不',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '也',\n",
       " '.',\n",
       " '時',\n",
       " '張',\n",
       " '公',\n",
       " '[UNK]',\n",
       " '爲',\n",
       " '[UNK]',\n",
       " '制',\n",
       " '河',\n",
       " '北',\n",
       " '都',\n",
       " '[UNK]',\n",
       " '運',\n",
       " '使',\n",
       " '[UNK]',\n",
       " '.',\n",
       " '[UNK]',\n",
       " '[UNK]',\n",
       " '公',\n",
       " '의',\n",
       " '張',\n",
       " '夫',\n",
       " '人',\n",
       " '[UNK]',\n",
       " '制',\n",
       " '[',\n",
       " '벼슬',\n",
       " '일',\n",
       " '##홈',\n",
       " '##이',\n",
       " '##라',\n",
       " ']',\n",
       " '일',\n",
       " '##홈',\n",
       " '[UNK]',\n",
       " '之',\n",
       " '의',\n",
       " '[UNK]',\n",
       " '이라',\n",
       " '장',\n",
       " '랑',\n",
       " '##을',\n",
       " '모',\n",
       " '##도',\n",
       " '##와',\n",
       " '##시',\n",
       " '##나',\n",
       " ...]"
      ]
     },
     "execution_count": 189,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tok_doc = tokenizer.tokenize(wiki_corpus[4534])\n",
    "\n",
    "count = 0\n",
    "for tok in tok_doc:\n",
    "    if tok == '[UNK]':\n",
    "        count += 1\n",
    "        \n",
    "print(count / len(tok_doc) * 100)\n",
    "tok_doc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "id": "0d5f7484-bf7f-4b09-b9d4-d48736c86e19",
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    },
    "tags": []
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[':',\n",
       " '참고',\n",
       " '문헌',\n",
       " '목록',\n",
       " '##은',\n",
       " '제',\n",
       " '##1',\n",
       " '##차',\n",
       " '세계',\n",
       " '대전',\n",
       " '##의',\n",
       " '서지',\n",
       " '문서',\n",
       " '##를',\n",
       " '참조',\n",
       " '##하',\n",
       " '##십시오',\n",
       " '.',\n",
       " '*',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'American',\n",
       " 'Ar',\n",
       " '##m',\n",
       " '##ies',\n",
       " 'and',\n",
       " 'B',\n",
       " '##att',\n",
       " '##le',\n",
       " '##f',\n",
       " '##ield',\n",
       " '##s',\n",
       " 'in',\n",
       " 'Europe',\n",
       " ':',\n",
       " 'A',\n",
       " 'History',\n",
       " ',',\n",
       " 'Gu',\n",
       " '##ide',\n",
       " ',',\n",
       " 'and',\n",
       " 'Re',\n",
       " '##fer',\n",
       " '##ence',\n",
       " 'Book',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'US',\n",
       " 'Go',\n",
       " '##vern',\n",
       " '##ment',\n",
       " 'Pr',\n",
       " '##int',\n",
       " '##ing',\n",
       " 'Off',\n",
       " '##ice',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '1938',\n",
       " '|',\n",
       " 'u',\n",
       " '##r',\n",
       " '##l',\n",
       " '=',\n",
       " 'http',\n",
       " ':',\n",
       " '/',\n",
       " '/',\n",
       " 'www',\n",
       " '.',\n",
       " 'sec',\n",
       " '##st',\n",
       " '##ate',\n",
       " '.',\n",
       " 'w',\n",
       " '##a',\n",
       " '.',\n",
       " 'go',\n",
       " '##v',\n",
       " '/',\n",
       " 'his',\n",
       " '##t',\n",
       " '##ory',\n",
       " '/',\n",
       " 'w',\n",
       " '##w',\n",
       " '##1',\n",
       " '/',\n",
       " 'm',\n",
       " '##ap',\n",
       " '##s',\n",
       " '.',\n",
       " 'as',\n",
       " '##p',\n",
       " '##x',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '59',\n",
       " '##80',\n",
       " '##37',\n",
       " '##0',\n",
       " '##6',\n",
       " '|',\n",
       " 'a',\n",
       " '##uth',\n",
       " '##or',\n",
       " '=',\n",
       " 'American',\n",
       " 'B',\n",
       " '##att',\n",
       " '##le',\n",
       " 'Mon',\n",
       " '##um',\n",
       " '##ents',\n",
       " 'Comm',\n",
       " '##ission',\n",
       " '*',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'Ar',\n",
       " '##my',\n",
       " 'Art',\n",
       " 'of',\n",
       " 'World',\n",
       " 'War',\n",
       " 'I',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'United',\n",
       " 'State',\n",
       " '##s',\n",
       " 'Ar',\n",
       " '##my',\n",
       " 'Center',\n",
       " 'of',\n",
       " 'M',\n",
       " '##il',\n",
       " '##it',\n",
       " '##ary',\n",
       " 'History',\n",
       " ':',\n",
       " 'Sm',\n",
       " '##ith',\n",
       " '##son',\n",
       " '##ian',\n",
       " 'Instit',\n",
       " '##ution',\n",
       " ',',\n",
       " 'National',\n",
       " 'Mus',\n",
       " '##e',\n",
       " '##um',\n",
       " 'of',\n",
       " 'American',\n",
       " 'History',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '1993',\n",
       " '|',\n",
       " 'u',\n",
       " '##r',\n",
       " '##l',\n",
       " '=',\n",
       " 'http',\n",
       " ':',\n",
       " '/',\n",
       " '/',\n",
       " 'www',\n",
       " '.',\n",
       " 'sec',\n",
       " '##st',\n",
       " '##ate',\n",
       " '.',\n",
       " 'w',\n",
       " '##a',\n",
       " '.',\n",
       " 'go',\n",
       " '##v',\n",
       " '/',\n",
       " 'his',\n",
       " '##t',\n",
       " '##ory',\n",
       " '/',\n",
       " 'public',\n",
       " '##ations',\n",
       " '_',\n",
       " 'de',\n",
       " '##t',\n",
       " '##ail',\n",
       " '.',\n",
       " 'as',\n",
       " '##p',\n",
       " '##x',\n",
       " '?',\n",
       " 'p',\n",
       " '=',\n",
       " '28',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '286',\n",
       " '##0',\n",
       " '##85',\n",
       " '##39',\n",
       " '|',\n",
       " 'a',\n",
       " '##uth',\n",
       " '##or',\n",
       " '##1',\n",
       " '=',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'B',\n",
       " '##ade',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'K',\n",
       " '##l',\n",
       " '##aus',\n",
       " 'J',\n",
       " '|',\n",
       " 'la',\n",
       " '##st',\n",
       " '##2',\n",
       " '=',\n",
       " 'Bro',\n",
       " '##w',\n",
       " '##n',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '##2',\n",
       " '=',\n",
       " 'All',\n",
       " '##is',\n",
       " '##on',\n",
       " '(',\n",
       " 'tr',\n",
       " '.',\n",
       " ')',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'M',\n",
       " '##ig',\n",
       " '##ration',\n",
       " 'in',\n",
       " 'Europe',\n",
       " '##an',\n",
       " 'History',\n",
       " '|',\n",
       " 'se',\n",
       " '##ri',\n",
       " '##es',\n",
       " '=',\n",
       " 'The',\n",
       " 'm',\n",
       " '##ak',\n",
       " '##ing',\n",
       " 'of',\n",
       " 'Europe',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'Oxford',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'Bl',\n",
       " '##ack',\n",
       " '##we',\n",
       " '##ll',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '2003',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '0',\n",
       " '-',\n",
       " '63',\n",
       " '##1',\n",
       " '-',\n",
       " '189',\n",
       " '##39',\n",
       " '-',\n",
       " '4',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '52',\n",
       " '##69',\n",
       " '##55',\n",
       " '##73',\n",
       " '(',\n",
       " 'trans',\n",
       " '##l',\n",
       " '##ated',\n",
       " 'from',\n",
       " 'the',\n",
       " 'Ge',\n",
       " '##r',\n",
       " '##man',\n",
       " ')',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'B',\n",
       " '##ake',\n",
       " '##r',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'K',\n",
       " '##ev',\n",
       " '##in',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'St',\n",
       " '##ab',\n",
       " '##be',\n",
       " '##d',\n",
       " 'in',\n",
       " 'the',\n",
       " 'B',\n",
       " '##ack',\n",
       " '!',\n",
       " 'The',\n",
       " 'p',\n",
       " '##ast',\n",
       " 'and',\n",
       " 'f',\n",
       " '##ut',\n",
       " '##ure',\n",
       " 'of',\n",
       " 'a',\n",
       " 'r',\n",
       " '##ight',\n",
       " '-',\n",
       " 'w',\n",
       " '##ing',\n",
       " 'my',\n",
       " '##th',\n",
       " '|',\n",
       " 'per',\n",
       " '##io',\n",
       " '##d',\n",
       " '##ical',\n",
       " '=',\n",
       " 'Har',\n",
       " '##per',\n",
       " \"'\",\n",
       " 's',\n",
       " 'Ma',\n",
       " '##g',\n",
       " '##az',\n",
       " '##ine',\n",
       " '|',\n",
       " 'd',\n",
       " '##ate',\n",
       " '=',\n",
       " 'J',\n",
       " '##une',\n",
       " '2006',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'B',\n",
       " '##al',\n",
       " '##ak',\n",
       " '##ian',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'Peter',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'The',\n",
       " 'Bu',\n",
       " '##r',\n",
       " '##ning',\n",
       " 'T',\n",
       " '##ig',\n",
       " '##ris',\n",
       " ':',\n",
       " 'The',\n",
       " 'Ar',\n",
       " '##me',\n",
       " '##n',\n",
       " '##ian',\n",
       " 'Ge',\n",
       " '##n',\n",
       " '##oc',\n",
       " '##ide',\n",
       " 'and',\n",
       " 'Americ',\n",
       " '##a',\n",
       " \"'\",\n",
       " 's',\n",
       " 'Res',\n",
       " '##p',\n",
       " '##ons',\n",
       " '##e',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'New',\n",
       " 'York',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'Har',\n",
       " '##per',\n",
       " '##C',\n",
       " '##oll',\n",
       " '##ins',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '2003',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '97',\n",
       " '##8',\n",
       " '-',\n",
       " '0',\n",
       " '-',\n",
       " '06',\n",
       " '-',\n",
       " '01',\n",
       " '##98',\n",
       " '##40',\n",
       " '-',\n",
       " '4',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '56',\n",
       " '##82',\n",
       " '##21',\n",
       " '##0',\n",
       " '##8',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'B',\n",
       " '##all',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'Al',\n",
       " '##an',\n",
       " 'M',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'And',\n",
       " 'No',\n",
       " '##w',\n",
       " 'My',\n",
       " 'So',\n",
       " '##ul',\n",
       " 'Is',\n",
       " 'Har',\n",
       " '##d',\n",
       " '##ene',\n",
       " '##d',\n",
       " ':',\n",
       " 'Ab',\n",
       " '##and',\n",
       " '##one',\n",
       " '##d',\n",
       " 'Ch',\n",
       " '##ild',\n",
       " '##ren',\n",
       " 'in',\n",
       " 'So',\n",
       " '##v',\n",
       " '##iet',\n",
       " 'R',\n",
       " '##uss',\n",
       " '##ia',\n",
       " ',',\n",
       " '1918',\n",
       " '[UNK]',\n",
       " '1930',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'Ber',\n",
       " '##ke',\n",
       " '##ley',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'University',\n",
       " 'of',\n",
       " 'Cal',\n",
       " '##if',\n",
       " '##orn',\n",
       " '##ia',\n",
       " 'Press',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '1996',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '97',\n",
       " '##8',\n",
       " '-',\n",
       " '0',\n",
       " '-',\n",
       " '520',\n",
       " '-',\n",
       " '206',\n",
       " '##94',\n",
       " '-',\n",
       " '6',\n",
       " ',',\n",
       " 're',\n",
       " '##v',\n",
       " '##iew',\n",
       " '##ed',\n",
       " 'in',\n",
       " '(',\n",
       " 'v',\n",
       " '##ia',\n",
       " 'H',\n",
       " '##igh',\n",
       " '##be',\n",
       " '##am',\n",
       " '.',\n",
       " 'com',\n",
       " ')',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'Bas',\n",
       " '##s',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'G',\n",
       " '##ary',\n",
       " 'J',\n",
       " '##on',\n",
       " '##ath',\n",
       " '##an',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'St',\n",
       " '##ay',\n",
       " 'the',\n",
       " 'H',\n",
       " '##and',\n",
       " 'of',\n",
       " 'V',\n",
       " '##eng',\n",
       " '##ea',\n",
       " '##n',\n",
       " '##ce',\n",
       " ':',\n",
       " 'The',\n",
       " 'Poli',\n",
       " '##tics',\n",
       " 'of',\n",
       " 'War',\n",
       " 'C',\n",
       " '##ri',\n",
       " '##me',\n",
       " '##s',\n",
       " 'Tr',\n",
       " '##ib',\n",
       " '##un',\n",
       " '##als',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'Princ',\n",
       " '##et',\n",
       " '##on',\n",
       " 'University',\n",
       " 'Press',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'Princ',\n",
       " '##et',\n",
       " '##on',\n",
       " ',',\n",
       " 'New',\n",
       " 'Je',\n",
       " '##r',\n",
       " '##se',\n",
       " '##y',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '2002',\n",
       " '|',\n",
       " 'p',\n",
       " '##age',\n",
       " '##s',\n",
       " '=',\n",
       " '42',\n",
       " '##4',\n",
       " '##pp',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '0',\n",
       " '-',\n",
       " '69',\n",
       " '##1',\n",
       " '-',\n",
       " '09',\n",
       " '##27',\n",
       " '##8',\n",
       " '-',\n",
       " '8',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '248',\n",
       " '##0',\n",
       " '##21',\n",
       " '##79',\n",
       " '##0',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'Bl',\n",
       " '##air',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'D',\n",
       " '##ale',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'No',\n",
       " 'Qu',\n",
       " '##art',\n",
       " '##er',\n",
       " ':',\n",
       " 'Un',\n",
       " '##l',\n",
       " '##aw',\n",
       " '##ful',\n",
       " 'K',\n",
       " '##ill',\n",
       " '##ing',\n",
       " 'and',\n",
       " 'Su',\n",
       " '##r',\n",
       " '##ren',\n",
       " '##der',\n",
       " 'in',\n",
       " 'the',\n",
       " 'A',\n",
       " '##ust',\n",
       " '##ral',\n",
       " '##ian',\n",
       " 'War',\n",
       " 'Ex',\n",
       " '##per',\n",
       " '##ience',\n",
       " ',',\n",
       " '1915',\n",
       " '[UNK]',\n",
       " '1918',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '2005',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '1',\n",
       " '-',\n",
       " '740',\n",
       " '##27',\n",
       " '-',\n",
       " '29',\n",
       " '##1',\n",
       " '-',\n",
       " '9',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '62',\n",
       " '##51',\n",
       " '##46',\n",
       " '##21',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'G',\n",
       " '##in',\n",
       " '##n',\n",
       " '##ind',\n",
       " '##er',\n",
       " '##ra',\n",
       " 'Press',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'Char',\n",
       " '##n',\n",
       " '##wo',\n",
       " '##od',\n",
       " ',',\n",
       " 'A',\n",
       " '##ust',\n",
       " '##ral',\n",
       " '##ia',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '=',\n",
       " 'Br',\n",
       " '##and',\n",
       " '##s',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '=',\n",
       " 'He',\n",
       " '##n',\n",
       " '##ry',\n",
       " 'William',\n",
       " '|',\n",
       " 'a',\n",
       " '##uth',\n",
       " '##or',\n",
       " '-',\n",
       " 'l',\n",
       " '##ink',\n",
       " '=',\n",
       " 'H',\n",
       " '.',\n",
       " 'W',\n",
       " '.',\n",
       " 'Br',\n",
       " '##and',\n",
       " '##s',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'T',\n",
       " '.',\n",
       " 'R',\n",
       " '.',\n",
       " ':',\n",
       " 'The',\n",
       " 'La',\n",
       " '##st',\n",
       " 'Ro',\n",
       " '##man',\n",
       " '##tic',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'New',\n",
       " 'York',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'Bas',\n",
       " '##ic',\n",
       " 'Book',\n",
       " '##s',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '1997',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '0',\n",
       " '-',\n",
       " '46',\n",
       " '##5',\n",
       " '-',\n",
       " '06',\n",
       " '##95',\n",
       " '##8',\n",
       " '-',\n",
       " '4',\n",
       " '|',\n",
       " 'o',\n",
       " '##cl',\n",
       " '##c',\n",
       " '=',\n",
       " '36',\n",
       " '##95',\n",
       " '##46',\n",
       " '##15',\n",
       " '*',\n",
       " 'la',\n",
       " '##st',\n",
       " '##1',\n",
       " '=',\n",
       " 'Bro',\n",
       " '##w',\n",
       " '##n',\n",
       " '|',\n",
       " 'f',\n",
       " '##irst',\n",
       " '##1',\n",
       " '=',\n",
       " 'J',\n",
       " '##ud',\n",
       " '##ith',\n",
       " 'M',\n",
       " '.',\n",
       " '|',\n",
       " 'a',\n",
       " '##uth',\n",
       " '##or',\n",
       " '##lin',\n",
       " '##k',\n",
       " '=',\n",
       " 'J',\n",
       " '##ud',\n",
       " '##ith',\n",
       " 'M',\n",
       " '.',\n",
       " 'Bro',\n",
       " '##w',\n",
       " '##n',\n",
       " '|',\n",
       " 'y',\n",
       " '##ear',\n",
       " '=',\n",
       " '1994',\n",
       " '|',\n",
       " 't',\n",
       " '##it',\n",
       " '##le',\n",
       " '=',\n",
       " 'Mod',\n",
       " '##ern',\n",
       " 'Ind',\n",
       " '##ia',\n",
       " ':',\n",
       " 'The',\n",
       " 'Or',\n",
       " '##ig',\n",
       " '##ins',\n",
       " 'of',\n",
       " 'an',\n",
       " 'Asia',\n",
       " '##n',\n",
       " 'Dem',\n",
       " '##oc',\n",
       " '##ra',\n",
       " '##c',\n",
       " '##y',\n",
       " '|',\n",
       " 'l',\n",
       " '##oc',\n",
       " '##ation',\n",
       " '=',\n",
       " 'Oxford',\n",
       " 'and',\n",
       " 'New',\n",
       " 'York',\n",
       " '|',\n",
       " 'p',\n",
       " '##ubl',\n",
       " '##ish',\n",
       " '##er',\n",
       " '=',\n",
       " 'Oxford',\n",
       " 'University',\n",
       " 'Press',\n",
       " '|',\n",
       " 'is',\n",
       " '##b',\n",
       " '##n',\n",
       " '=',\n",
       " '0',\n",
       " '-',\n",
       " '19',\n",
       " '-',\n",
       " ...]"
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.tokenize(wiki_corpus[973])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "43020596-1c9d-470c-8669-6b22217c1d4f",
   "metadata": {},
   "source": [
    "글자가 많이 깨지고 한자가 많이 등장했던 문서는 tokenizing이 제대로 안되는 것을 확인할 수 있다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f0e97446-0616-4f96-b048-b86c70a3b92b",
   "metadata": {},
   "source": [
    "#### Train / Val EDA"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "fd7fc4c8-c410-4e3b-af21-1f00a0bb8e8d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "DatasetDict({\n",
       "    train: Dataset({\n",
       "        features: ['__index_level_0__', 'answers', 'context', 'document_id', 'id', 'question', 'title'],\n",
       "        num_rows: 3952\n",
       "    })\n",
       "    validation: Dataset({\n",
       "        features: ['__index_level_0__', 'answers', 'context', 'document_id', 'id', 'question', 'title'],\n",
       "        num_rows: 240\n",
       "    })\n",
       "})"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "datasets = load_from_disk('../data/train_dataset')\n",
    "datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "062b74e6-1175-4c0f-a84b-ba9b2d2a95c9",
   "metadata": {},
   "outputs": [],
   "source": [
    "contexts = datasets['train']['context'] + datasets['validation']['context']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "d9745bab-d38f-4bae-9634-a2087f27f9fa",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4192"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(contexts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "559ee197-19af-4bd8-8116-c945d782284c",
   "metadata": {},
   "outputs": [],
   "source": [
    "context = list(set(contexts))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "id": "cdfb906a-d32d-4e76-8cb8-799133969148",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "중복을 제외한 trian/val 총 context 수: 3504\n"
     ]
    }
   ],
   "source": [
    "print('중복을 제외한 trian/val 총 context 수:', len(context))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "id": "14072a3b-3a43-42cf-9cd7-54dcb3e146b9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "train/val에 공통으로 등장하는 context 수 71\n"
     ]
    }
   ],
   "source": [
    "a = set(datasets['train']['context']) \n",
    "b = set(datasets['validation']['context'])\n",
    "\n",
    "print('train/val에 공통으로 등장하는 context 수', len(a&b))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 192,
   "id": "b3e20829-8ac0-4fee-9a94-9aa5940e121c",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_context = datasets['train']['context']\n",
    "validation_context = datasets['validation']['context']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 193,
   "id": "81b70a0d-459d-4a6b-8d56-83f6a03664cd",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_len = np.array([])\n",
    "for doc in train_context:\n",
    "    train_len = np.append(train_len, len(doc))\n",
    "\n",
    "val_len = np.array([])\n",
    "for doc in validation_context:\n",
    "    val_len = np.append(val_len, len(doc))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "10d61395-96bc-40e0-baff-e6bbc11d09b1",
   "metadata": {
    "tags": []
   },
   "source": [
    "#### train context 분포"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 200,
   "id": "90116c64-c549-4bc8-b167-a92dc11fd747",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAATkAAAEvCAYAAAA+brZ3AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAA2JElEQVR4nO2dfXQV1bn/v8/J20lCQoJAPCA00SKWdAFK1KBwkVfti3ANVRFopeXFpL1tr97VLtvetuvKaldrrbU/rfTa21Z/ar30Z6m37brtrS/Ve+kS2lgSioBVU1/QEGKByAWSQHh+f5yzhzlz5v3MnDPn5PmsNStzZu/Z+5k5M9/svWf29xAzQxAEoViJ5TsAQRCEMBGREwShqBGREwShqBGREwShqBGREwShqBGREwShqCnNZWXjx4/nxsbGXFYpCMIo4IUXXniHmSeYpeVU5BobG9HZ2ZnLKgVBGAUQ0etWadJdFQShqBGREwShqBGREwShqBGREwShqBGREwShqBGREwShqBGREwShqHEUOSL6EREdIqI9hu2fJqL9RPQiEd0ZXojO9Pb2YsGCBTh48GA+wxAEIYK4ack9COAa/QYiWghgBYBZzNwM4K7gQ3PP5s2bsX37dtxxxx35DEMQhAhCbpyBiagRwK+Y+f2pzz8F8AAzP+WlspaWFg5yxkNlZSUGBwcztsfjcZw8eTKwegRBiDZE9AIzt5il+R2TuxDAfCLaSUTPEdGlNpVvIqJOIurs7+/3WZ05PT09WL16NWKx5GFUVlZizZo1+Otf/xpoPYIgFC5+Ra4UwDgArQA+B+CnRERmGZn5AWZuYeaWCRNM58/6JpFIoLa2FmfOnAEADA0Noba2Fueee26g9QiCULj4FbkDALZxkj8AOANgfHBhuaevrw/l5eUAgHXr1snDB0EQ0vDrQvIEgIUAfkdEFwIoB/BOUEF5Ydu2bRg3bhyGh4dx55134pxzzslHGIIgRBRHkSOixwBcBWA8ER0A8FUAPwLwo9RrJcMAbuY8/rahRU9ZEATBWeSY+SaLpLUBx+Ib+e1YQRCsKKoZD9KiEwTBSFGJnCAIghEROUEQipqiEDkZkxMEwYqiEDlBEAQrikLk5IGDIAhWFIXISXdVEAQrikLkFNKiEwTBSKRFTm+GGbYxphhvCkJxEmmR05thhm2MKcabglCcuDLNDAq3pplWZph69MaYdXV1GBgYwOHDh1FfX+8pJjHeFITCJwzTzFBRZpglJSUZaVVVVZbGmH7G5FRdbsoXBKHwiKTIKTPMkZGRtO2xWAyDg4OWxph+WqWqLoVd+YIgFB5+/eRCp6+vDzNmzMDevXsRj8cxODiIJUuW4L3vfS96e3sDr0vR3t4eePmCIOSPyIrctm3bsGnTJuzduxdXXHEFnnnmGYwdOxbf+973LPfx+wrJtm3btH3tyhcEofCIZHdVEAQhKCItcqp1pcba5GVfQRC8EmmRM2L1YEGmdQmCYEWkRU5acIIgZEukRc4r0qITBMFIpEVOxuQEQciWSIucEWmpCYLglUiLnNcWnIigIAhGHEWOiH5ERIdSPyRtTPsnImIiGh9OeIIgCNnhpiX3IIBrjBuJaAqAZQDeCDgmfR0AnFtoKv3aa6819YMTrzhBGL04ihwz/zeAwyZJ3wHweQCh9xHddld37Nhh6gcnXnGCMHrxNSZHRCsAvMXM3QHHk4abMbbKykocO3YMAHDmzBls2bIFRITKykpUVlaCiLBly5aMNEEQRgeeRY6IqgB8EcBXXObfRESdRNTZ39/vtTpVhmVaT08PSkvP+gxUVFRofnDiFScIgp+W3AUAmgB0E9FrAM4D8CciMjVgY+YHmLmFmVsmTJjgK0i7Fl0ikUgTweHhYc0PTrziBEHwbLXEzH8GMFF9TgldCzO/E2Bcqmy3MWnrCxcuTHvAIF5xgjC6cRQ5InoMwFUAxhPRAQBfZeYfhh0Y4P69N/243Mc+9jHcfPPNWpp4xQnC6MZR5Jj5Jof0xsCisUCmcwmC4JdIz3hQuH1PThAEwUikRU5acIIgZEukRU5aaIIgZEukRU7hdnqXIAiCkYIQOUEQBL9EWuTENFMQhGyJtMhJ91QQhGyJtMgpnMbkRAwFQbCioEROEATBKwUhcp2dnb726+rqQl1dnfbZylCztbXVb2iBIcaeghAOBSFyR48e9bXf2rVrMTAwoH22MtTcuXOn39ACQ4w9BSEcKJfjWS0tLey2VVZZWYnBwcGM7fF4HCdPnkzbNmbMGBw/fhwA8NBDD6VN0DcjHo8DgGn5VnWEhZfjFATBHCJ6gZlbzNIi25Lr6enBBRdckLZtypQpjoaXzIxdu3Zh8uTJGWnxeDzNUPO6667LyNPW1pZTU00x9hSEcPHsJ5crEokEysvL07aVlZW5MrycPXs2qqurM7brDTUBoKGhISNPQ0NDTk01xdhTEMIlsi05ABndNavupVmXWz8Wp2hvb7c01FTkY+DfaOwpDx8EITgi25IDgKVLl+IHP/iB9vmKK65w3Ee9bvLnP/8ZEydOTEszmmbqDTX123KNGHsKQnhEuiXnB9Wqi8WK7tAEQfBB0SqBvEAsCAJQxCInU70EQQCKUOSkBScIgp6iEzmFtOQEQQCKROT0gqbWReQEQQCKROTMEJETBAEoQpGTMTlBEPQ4ihwR/YiIDhHRHt22bxHRfiLaTUQ/J6K6UKNM4aV1Ji05QRAAdy25BwFcY9j2JID3M/NMAH8B8IWA4wKQKVQnT55Ea2sr5s6dmzb1SZ/vyJEjWLBggemULb1fm/Jvc4vK393dLb5vglBIMLPjAqARwB6LtOsAPOqmnDlz5rAXNmzYwAC0pampSVvv6OjQ8pWUlGjbFy5cyLFYjD/2sY+l7QuAY7GYtl9HRwfHYrGMPFao/M3NzWnlBIVT/YIgWAOgky10x5WfHBE1AvgVM7/fJO2XALYy8yNO5QThJxc2xvPhFEdQvm/y27KC4J/Q/OSI6EsATgN41CbPJiLqJKLO/v5+12Wb+cnpKSkpwQc+8AEsXLjQMt2MyspKU4sluziuv/5603LE900Qoo9vkSOidQA+DGAN2zQ/mPkBZm5h5pYJEya4Lj+RSKCsrMwyfWRkBI2NjWlebMZ0k5gxNDSkletmEn8ikcCYMWMytg8NDYnvmyAUAL5EjoiuAfB5AMuZ+USwIZ3FrhvY1NSEgwcP4vDhw6bpU6dOzdh20UUXob29XbNKX7Rokas4VAtU3zoU3zdBKBCsBuv47IOFxwD0AjgF4ACA9QBeAfAmgK7U8n2nctjHg4eNGzdmPBiAYYD+ueeeM01/8803M7a1tLQwM/NPf/pTBsArV6509eDhyJEjDIDHjh0b2gOCsMoVhNEAbB48OJpmMvNNJpt/6EVI8wGHMIAfRpmCIIRLpGc8ZCMqZvv6nQ0hsygEoXCJtMiFhYiWIIweIi1y2YhRkC05uzIFQYg2kRa5bAhSkKTlJwiFS6RFzo1QWeWRlpwgCEDERS5ojCLnVrSkJScIhUvBi5yVANkJmIiWIIweIi1ybsTIS3c1W6S7KgiFR6RFLirvyYm4CULhEmmRs+PgwYPo7e1FR0eH631efPHFtPmmXi2Szpw54yqfMti0m9tqlScbQ0439QrCaKNgRe6OO+7A5s2bsW/fPtN0s9bXu+++izvuuEP7vH//fk91Dg8Pu8q3efNmbN++Pa0ut3mc9su2XkEYbbgyzQyKXJpmvvTSS5g+fbrn/cxMMOPxOIaGhhzzWsWsz+fluNwacrqpVxCKmdBMM8PEyTTTL/F4HJdffrllupkJZnd3d8Y2M8PMnp4erF69WvOpq6ioyMin8iiqqqrQ1taWVk5VVZUnQ86enh60tJz9fr3uLwjFTGRFzsk00wmrFurQ0BDq6uos9zMzwTTbZmaYmUgkUFtbq43dDQ8PZ+RTeRSDg4MZTsWDg4OeDDkTiQTi8TiApOed1/0FoZhxtFrKJ3ZdraqqKpw4Ye3XaSVyH/3oR/HSSy95isOsLKvB/b6+PkycOBGHDh1CW1ubaT79L4m1t7ejt7c3Ld1smxPHjh0DAKxcuRLjx4/3vL8gFC1WRnNhLEGbZlqlAeC9e/eabj9w4AD/7Gc/czTj1KNMM53yKS677DIGwDt27LDMYyzHbdlW3HfffQyAP/nJT/raXxAKGdiYZka2uwoU7gu9uahDEAR3RFrksiFIoRHREoTCRUROEISiRkQuxLLECEAQ8k/RipwVRCTiIwijiKIVOavWl3RjBWF0UbQi53YyvRtEGAWhcBGRCwERRUGIDo4iR0Q/IqJDRLRHt20cET1JRC+n/taHG6Z3/IqcCJQgFBduWnIPArjGsO12AE8z8zQAT6c+55QFCxbYps+fP990e19fH/75n//Zcr+rrroqbSpWb28vrr322ox8brzb2tvbHb3d3Hq/iVecIPjDUeSY+b8BHDZsXgHgodT6QwD+PtiwnNm+fbttutW81+9+97uWHnSqXL0f2+bNm7Fz586MfG6827q6uhy93dx6v4lXnCD4xGq+l34B0Ahgj+7zUd066T/bLV7nrm7YsMF2fmqUlng8zszM8XjcV7p+0eNUnkLmrgqjGYQ5dzVVgeVAFhFtIqJOIurs7+/PtrqcoDzerrvuOld59d5tPT09mu2RVbreT055zllh5j8nXnGC4B6/ItdHRAkASP09ZJWRmR9g5hZmbpkwYYLP6nKL8nibOHGiq7x677ZEIpH28MIsXe8npzznrDDznxOvOEFwj1+R+wWAm1PrNwP4j2DCCR/l2muHemCg931zyqtH/2TXLF1f7vLlyx0fJhj95+ThgyB4wKofy2fH3B4D0AvgFIADANYDOAfJp6ovA3gKwDincjgiY3KLFi1yPSY2MjLiafxMMW7cONt0XRefn3322bTPVvs4lSdjcsJoBjZjco7OwMx8k0XSYqd9owh7eA/OS15BEKJJpGc8hCEyMjlfEEYXkRa5MBCRE4TRxagTOemuCsLoItIiJyIjCEK2RFrk8o2IrCAUPqNO5ES4BGF0EWmRy7cg+a0/33ELgnCWUSdy8nRVEEYXkRa5MBCRE4TRxagTOTcog8re3l7HvHV1ddi9e3faNqsWqJnx5d/+9rcMA1Dj3FR9HNmaZ4ZlvimmnkJUibTIhdFddVOmMqj8+te/7ph3YGAgzQoJsG4tmhlfPvTQQxkGoEZjzM2bN9uW4YWwzDfF1FOILFaTWsNYvEzQR0jmlrFYLLSykZpAX19fn/bZjVGm30WZZzpN0HdrvumVsMoVBC8gTNPMsNi1axcqKysDL3fu3Lmu83qpv7GxEd3d3QAyW4tG40uncsvKyrBmzRp0dXWhpaXFNI9X88ywzDd7enpwySWXBF6uIARFZEVu9uzZKC8vD7zciooK13mHhoZc562ursbMmTNN04zGl07lnj59GrW1tZg1a5ZlvF7NM8My30wkEpoTcklJiZh6CpEjsiIHJF1z88mGDRtc5Wtubsbhw8bf+kmnr69PG6vbuHGjbd558+ZpA/jHjh0zzePHPDMs800V44033iimnkL0sOrHhrF4Nc386Ec/GvgY1uLFi13nPXHihOtxOD11dXWmaaWlpQyAh4eHbcu77777tH3uvfdeV3W6Nc202j8bvvOd7zAA/sxnPhNouYLgFhTimFxYcB5dSNyWF3S9YSPvHgpRRkROEISiJtIil29B8lt/tnHn+7j9UqhxC8WNiFzEKYRzoLqrhRCrMPqItMgJhYGMyQlRJtIiF8bNk88HD27LlRaRIARHpEVObvbCQr4vIYqIyOWwfj+vkOT7HLhBuqtClMlK5IjoViJ6kYj2ENFjRBQPKrCwiIJoSHdVEHKHb5EjoskAPgOghZnfD6AEwKqgAgsLo62RHW7FxuilNjIyoqW1trZi7ty5nqY6HThwwNSnzq7+u+66CwBw4sQJ23xBoo773XffBZCdOIsfnRAW2XZXSwFUElEpgCoAb2cf0lnCaNHoBSgojF5q+gn4O3fuxI4dOzz5rD3yyCOmPnV29b/22msAgD/+8Y+2+YJEHfevf/1rANl9X+JHJ4QFZXNhEtFnAXwNwEkAv2XmNXb5W1pauLOz03X5JSUlOHPmjO/4osrJkycDsZGKx+MYHBy0TDt58iSApLWTWT59Hi9YlVdSUoLTp08HUpbf2ITRCRG9wMymvmTZdFfrAawA0ARgEoBqIlprkm8TEXUSUWd/f7+nOq699lq/4QXC9ddf7yqfGngvKyvDOeecY5qnpKTEVwxW+3V3d6OnpwcrVqzIiKWtrS3Nz83oJQcgK8+3np4ezJ8/X/tcVlYGAFi7NuPrd1VWGD53gqDIpru6BMBfmbmfmU8B2AbgCmMmZn6AmVuYuWXChAmeKgjDNNMLNTU1rvKp1vDp06e1G96I326ylafezJkzkUgkMHHixIxYGhoa0vzcjF5yALLyfEskElpcsVhMa735+b7C8rkTBEU2IvcGgFYiqqJkU2YxgH3BhBUNDh065CpfdXU1AGDp0qWWXaympiZt3e0QweTJk3Hq1ClPMdbU1JgO3uu95IDMH8vxinrYsHTp0rRWnR/C8rkTBADZ+ckB+BcA+wHsAfAwgAq7/F795G688cbA/eS8LEeOHHGV7/rrr2cAvHXrVt6yZYul/5v6fQm3PnWPPvoo33PPPbZ+coODg2nb7fzkzPb3y09+8hMGwKtWreL777+fAXB7e7vv8oKKSxidwMZPrtSPMCqY+asAvppNGVGGfby8G4tZN47dlleoFPvxCYVJpGc8FBpEZCtyimITA5nxIESZSItcoYkBM9uKXLGLQaF9X8LoINIil2/83LRBd1ed9hFhEQR7Ii1yhXgDu2mt+RnrizLF3kIVCptIi1y+8SoybsfkgiRKQhilWARBISIXMEG2auxEI0qCIi05IcpEWuTyfSMHPSaXTblWZeT7HAlC1Im0yBUKbt+TC6vOqBDFmAQh0iJXaDdNGGNyVucgSi05+bUuIcpEWuTyjds5lE888QQA4MiRIzh69KhlWUoEEomE6xjUHFEjzIze3l5cffXVrsoxGmYqk8ru7m5Ts0q9iaWToeXAwAAAc8NOv2aYYqIpBIbVfK8wFq9zV1euXJnXuavr1q3zlH/ZsmW8ePFi07SOjg7P9T/88MN8+eWXm6YNDQ1xe3u7Nh9WLVZzV2+55Za0fBs3buRYLMbNzc0ci8W4o6MjLf+mTZu07SqvPo9+7uq8efMYAF900UUZ9erLsUPFpY/XzX6CwGw/dzXSItfW1pZXkSvExShy8Xg88Dri8bgmclbpVvXG43Gri1RL97KfIDDbi5x0V3NERUWF533GjRtnmXbDDTe4KsPMMNOM0tJSrFmzBl1dXWn59WOMZoaWDQ0N2npJSYmW7tcMU0w0haDJyoVEcI+TL5wZVoaZgHtDTzPDTDNGRkZQW1uLWbNmpeVX9vNEZGpoWVpamlGGSvdjhikmmkLQRLolx3l+WhekM3F7e7vnfex+eau/v9/1S7hGw0zFlClTNLt2/S+K6fOfd955AICpU6eaGloODw9r69OnT09L92uGKSaaQqBY9WPDWLyOyV133XV5Hd86ePCgp/zLli2zTEuNG3ha7r33Xsu0Y8eOcWlpqeOYnG7MImO57bbb+NZbb2UAfNddd5nm37dvHwPg6dOnp6WrMblFixZpedetW2dZrxPGfG73EwRmGZPzDUd4xkW+YxOEQiHSIldoN3Iu53AWwrkphBiF4ifSIpdvvN6kubypoyggUYxJECItcqP9pslldzWMVuho//6EaBBpkROsYeacdI9FqIRCJ9Iil+8bzGv9xTwm58fxON/fnyAAERe5YsLPDZ+L7qoIkVDsiMjZEOSDBzVzwAt2+0RRnKQlJ0SRrESOiOqI6HEi2k9E+4hoblCBAcV1k4yMjHjeR96TGz3HKYRHti257wL4DTNfBGAWgH3Zh3SWfF/g559/vqf8v//97y3T/EzQ/+IXv2iZtmTJEtP5sD//+c8tPeKMHD9+3DGG/v5+AMk5pHV1ddi9eze6urqwfv16x32D+P6cyhDfOcEJ3yJHRGMB/B2AHwIAMw8z89GA4ooE+nmZbnAjGl4YGhqyTNu9e7fp9t7eXqxZswbbt2/HHXfcYVv+888/7xjDli1bAABvv/02BgYGsHr1aqxduxYnT57MyBvGPyWnMjdv3uzqWIVRjNV8L6cFwGwAfwDwIIBdAP4NQLXdPl7nriJPc1ZH43L33Xczc3b+c2vXrk37/oaGhrQ0t9+18fOpU6dM84vvnKAHIc1dLQVwCYAtzHwxgOMAbjdmIqJNRNRJRJ2q6+OW+fPnZxGeUFlZiba2NrS2tpqml5aWYvr06WnbjH5udnZPgL9uuBfYoiUnvnOCW7IRuQMADjDzztTnx5EUvTSY+QFmbmHmlgkTJniqwI0PmmAOEWFoaAgNDQ2W5/H06dMZImb0c3PywSspKdHWjYJkJVBesHrCLL5zglt8ixwzHwTwJhGppsBiAHsDiUrIGr3/m/qhGSOzZs0y9azT+7ndeOONaWl6k0wgKZSKIETNiF2Z4jsnuCHbp6ufBvAoEe1Gcozu61lHJATCmjVr8L3vfQ/btm3D5z//edM8ixcvxoc//OGM7du2bdPWv/zlL6elGVt2V155pWUMQYieXRn6ONWxCoKRrOzPmbkLQEswoZiWH1bRgg1ROu9RikUoTCI940Eu8Pzg97znckxOENwSaZET8oNeWLwIVa7H5ATBDSJyAoB0lxG9sGQjMmGPyQmCG0TkhAz8tuTCQLqrQrZEWuTyfYONVryInF2rT1pyQhSItMgJ4WMmIkF1V4Mg3/ULhY+InJCB35aclzS3iMgJ2RJpkZMLPBi8nscoPV2VMTkhW0TkhAy8dFelJSdEnUiL3DvvvJPvEAqWb33rW5g1axbmzp1r6czxyCOP4LHHHgMAvPXWW2htbcXcuXPR29ur5XFyjvErcr29vVp93d3drsqIqkGmn7iieixFiZUHUxiLVz+5WCyWd5+1YljOO+88xzwTJ07U1j/+8Y9r6x/60IfS8jGn+/zNnz9fW7/++uvTvr+BgYG0/fTo67jooosy8qnPb7/9trZt48aNHIvFuKOjIyNfPrnlllsy4gpjH8Ea2PjJRVLk8i0Ksrhf5s2bZylyR48ezRAhN6ac+jxvvfWWrUGmsfxc4se4U8w+wwEhmWaGxm9/+1tUVVXlO4xRi94jzkhbW5tlGrsYP+vp6cGiRYss01evXp3WvWbmyBpkqrjKysoAJE1KneIyHoubfYTsiKTILV26NHTHWcEau18Wa2hoSPtsJ2xmaYlEAuecc47lPjU1NWnGl8wcWYNMFZfy1BsaGnKMy3gsbvYRsiOSIgfA1MwRAOrr6/HNb35T+3zDDTdk5JkxY4a2fuGFFwYfXJEzdepUy7QgBsoPHz6srRtNOPVGmMDZV0iiapDZ19eHiy++GACwbt06V3Hpj2Xjxo2ROZaixaofG8YSxA/ZjIyMpKWZ5evs7NTWX3311byPWxXacuDAAcs04/m+4oortPWVK1emfX+HDx82HTPbvXu3tv2SSy5JK0/9cI36/Nprr2VcD2bXSD657bbbGAD39/e73kfFPTQ0FGJkowcU2pgc4G58xwq9o4bgnVy+gGv8np0+RxH105F+Yi2E4yt0IityVuNCbgQsFovsYRUEXkTO7iYN4qYvBBFQv88rIhdNIqsGdoPfTiiRIyK5iHzg95yFIWqFMK1LteT8xCrXZ/hEVuSsLhg3LTmVR1p0/vDbkvPTCpPuavSPr9CJrAoE0ZITkfNH2K0nL8JYCCIgIhdtIqsC2dxo+pacXETeyeWYnFOeYu+uCuETWZHLpiUn3dXsCHtMzur3JNx8jiLy4CHaRFYFsvmvqH/wIHhHxuS8Id3VaJO1yBFRCRHtIqJfBRGQIqiWnFxE3slnt0tETgiaIFpynwWwL4By0rC60dxMgVEXzsmTJx390IRM9u/fb5lWV1eX9tntmNyYMWPQ0tKC7u5urF271nJ/5bOmUNeB3uOupaUFBw8eTNvmhBv/Nr8eb8YxObtyjMenP/5ceMzlw8cu7955VlMh3CwAzgPwNIBFAH7llN/LtC6rqUXKf0t91q+rZd++fdr6TTfdFNr0p2Jdzj//fNd5L730Um19+fLlad9hX19fRv7m5ua0z9OnT0/7vH79+jQfwd27dzMzc0dHR8Z1oN/mREdHh6N/m5s8ZqhjePXVVx3LUWkq7iNHjmRdvxdyUUc+6kRYfnIAHgcwB8BVQYqcG88xWaKxtLS0aOt6kcvHd2jmyebGvy1bj7empiYGwBUVFZblWNVRUVGRE4+5fPjY5bJOhDF3lYg+DOAQM7/gkG8TEXUSUafbrmNPTw8+8IEPmKaVlJSkeZpdd911GXkmTZqkeaKJZVN+6OnpwcKFCx3z2XnXAcDWrVtx+eWXO5Zj5cnmxotO5VEPrCoqKjx5vKnu6jPPPIN58+aZ1tXT04OlS5dm7NvV1ZUTv7yenh5cddVVodZhVufq1au177i8vDwv3nnZjMldCWA5Eb0G4N8BLCKiR4yZmPkBZm5h5pYJEya4KjiRSOA973mPadrIyEiap5nR3wxIjv8wM+LxuPZ4XwgHtni6mkgkMGXKlKzLnzZtmul3bMTKk82NF53Ko8bUhoeHPXm8KZEbP3484vE4gORDL31diURCM4LVP/WfOHFiTvzyEokEKisrTWMLC3Vc6iHiqVOn8uKd51vkmPkLzHweMzcCWAXgGWZe67Cba4y+YkSESZMmoampKW0A05gPAAYGBtDe3o4dO3bgpptuclVfIpEw3a6/IEfLe3fqRs0WNy13pye5zIwjR45kbDd+F3aD2m686Pr6+rSbb8WKFZ4GyfVPVwcGBgAAS5YsyahLHcfMmTO1beofQy788o4ePQoAuOKKK3LmydfX14dp06YBABYtWpSfhw9W/VgvCwIek9P1s7XlyiuvNE0z5gPAhw4d0vLt37/f1XjOO++8w7fffnvG9gcffFBbv+eee3I+zpSPRX/MToveD+7aa69N+47efvttx/3r6+tt0zs7O/nZZ5/N2N7b25v22e21ZIfyxvuf//kft5coMzOXlZUxkHzg9eijjzIAXrVqVUa+7du3M5Duwaf3oHN7LH755S9/yUDyx4lyyapVqxgAP/bYY6HVAZsxuXRbVp8w87MAng2iLCu8vNhr90Z9EOUXO37fk3N7rvU4vQ9pFUuY7/J5uRaYGadOnQKQjEmdA7dl+DlnfvEaW1Aoe3ijC3SuKJj+l1+RC3Kf0SKEXm48u7xuylECYUSda6sycikOdujHfFXLAYi2yOUa9Y/M6SFTWBSlyEWx/ELC783gZz/1X95rmWG05PzEr8bj1P6qjCiO3+arJadETlpyARJWd3W0CGEhtOSymfZnhR8RMIqcEt8ot+Ty1V2VllyAhNVdHS1EwTJIfR9WsTi1AIOo2w16kdOPybltyeWjC5mvlly+WrcFI3LSXc0dfltyxv2CuIFz2V31g3FMTlpymah/SPn6zopS5MLqrkZlsDtsonCc+eiu+sFqTE5E7izquxKRc0Bacrkjl2NyfssPc0zOC4UocrlGteTy9Y+pYETOC2GNyUWhhZMLcvmenBWFPiYXZZHLV0suXyKXn2e6PojCe3KjhSiMyem7q2blyCsk3pExuQLFah6iV4gI//u//5uxXc33A4B3333Xc7mFyF133eU67549e7T17du3Y86cOZg5cyZqa2uxd+9e3zGo//oLFy7EokWLMtLnz5+f9lkZM3Z3d6O1tVWL4emnn04zqZwzZw7mzp2L7u7uNCPH3t5e7VgOHz6cVp7xb2trq1bGP/zDP2hl2z146O3txac+9amM4+jr68sw0lT5L7nkEtTW1mL37t2m58gYo9O8UCVyg4ODjqaeXueYWp2vgwcP5r0lF8jcVbdLNnNXFy9ebJpmNFMEksaLij179riagzk4OMgXX3xxxvaFCxdq61deeaWrsmRJLtOmTctZXWvXruVYLMYzZsxI215XV8dElJF/xowZTESakeP69eu1tLa2Nv7EJz7BsViMp02bxrFYjC+88ELtr/749GU///zzfP/99zMAbm9vT7teOzo6tLz6uatr167ldevWpRlpGuNpbm42vT82bNjAsViMp0+f7sqUcuvWrQyAzz33XMv8yrTUq8Hlxo0bmYj4fe97HxMRNzY2auXMnDmTAfBPfvITT2V6AWGZZnpdsjXNtDMflEWWfC/l5eV83333MXDWwTro69VNmVamlMpIwCy/X4NLL8f38MMPu7r//YAwTDPDRJntKf8rADj33HM180F9mtnYhzLW7OrqsjTfNLJixQrN78tYVr7e1BbCp6KiAuedd14gZT3++OMZ3VV1veqnNJWXl2vrZtevmdnolClT0N3dnVamkcrKSltTyu9+97tpn42mnn6MO61i0cdUU1MDQMbk0lBme0NDQ9oFUVpaqpkPqrR4PG564pSx5qxZsyzNN400NDRgcHAwzUutrKwMIyMjGBkZCcxjTYgWysgxCMaNG6cNsiuRU9er/mmw/p+m2fU7ffr0jG21tbWaD53RZFMxNDRka0pp/BEio6mnH+NOq1iA5DkYGhrSzoW8QmKgr68P7e3tuOeeewCkv1mu0nbs2IGmpiZUVVVh8uTJWnpjY6M2cNrX14eqqipUVVWlCVVFRUVay+3QoUNameo/z+c+9zk0NTWhqakJO3bswLhx4xzjDrPVF8UndnaYtYzDpLKyEmVlZY759A8F1q1bl2HKafyH5qZMIClYSsz031VfX1+aUaZe8Mzck40PzmpqanD48GHbPICz2SYbnh4b8/s17tTvV19fr61fcMEFaG9vz/vT1UiOyen5zW9+wwB42bJljnlLS0sZAB8/ftwyD1LjAwMDA2mfR0ZGtDy33HILA+D7778/bd+7775by59IJEzHHZYvXx7KeE9NTQ3/4Ac/yPu4k5fl97//ve99J0yY4HmfpqYm3rRpk/b5ve99r3ZN6JelS5fyuHHjGDhrWqlP/+Mf/5j2ecmSJa7qf+655/jrX/86A+DPfOYzadfOpz/9aS2f/sHDq6++mlGOMR6na9kpn+KRRx5xzO+2LKv9PvGJT2jjdN/+9reZmXnq1KkMgP/1X//Vc7ke6i+sMTk97OPdpWzfk7PaXx+LVYstzHeQ/JyLfJJNvH72NWspmLXC9GNibrpQXl7sNXZX7WJT++SKXNQ1PDysjT+q+mTGgwPqRAX9MrAxj9cZD1YiV2hdyqjip2tjdhM5iZxZPX6uDVWW1UyMKIhcLrqLp06d0kRO1SdzVx3wI3K5INctuagdvxui2pLT/0ylm9aFF9skqxvaqp5cilwuWlJ6kZOWnEfCntblhnx3V0cTfm7+oFpyxrq9iJzVIHsURC5XLTl1b6hjk5acA2FdBNmKkdWFL2NyZynUlpyxbj9jcsZy9bHpy5eWXPhEXuQUXsbMctGasqojzO7qaBK5oMbk9K02s21u6vEzJmfXkgvTQcUOGZOLKLl6uuoGN7FId/UsUW3JOT1dDaMlp/+s/10LacmFT+RFTlEo4lEoceaCbP5zhzkmp++u5mpMTv85XyLn5fvwG1dRjckR0RQi+h0R7SWiF4nos0EGpvBysr10V/2IkT4W6a46k2uRi0JLzspWKAoi56Ul5fe7M2vJGbutuSabltxpAP/EzDMAtAL4FBHNCCass6gT9fzzz7v2y3IzHcU4LcbKs8uKnp4e0+1PPvmkp3KKmQ996EO+9z1x4oTnfY4fP46tW7dqn19//fW06YCKhx56SBOa//zP/8z4PdC//OUvaZ+ffvppV/XfeuutePzxxwEkr4+6ujrs3r0bvb29adfF66+/rq339/c7ljtnzpw0H7unnnoqYx6qyjd37tw0jzy9N5xRuPTee2PGjMGsWbO0tF27dqG1tRVz5sxJK7e3tzfNT0/tr+js7MSrr74KAOjq6kr7B/G1r30t4z5T5al6jMcQCFZTIbwuAP4DwFK7PH6mdT3xxBPalBEnjyuV75ZbbnHMs2HDhrTPes+u9vZ2BjKndX3jG9/wPNUoqKWuro63bNmSt/oLdamsrMzYRkSaf5uZ/VBTU1PW9SrvuObmZlPPQ7XccMMNGdv016VampubtfX6+nrbutV90tHRkeYNd+edd1qWaVze9773mZarPxa7/QFwSUmJ6XHosTo3Xv3sELafHIBGAG8AqLXL51Xk3HpcucnnxffKTOTCuAFlkUUW+8XJz053f4Y3d5WIxgD4GYB/ZOYMf3Ai2kREnUTU6aZprqenpwerVq3SuhNWHlfK00q5R5jlM/peGV1IgKR7ifLsMrJr1640p5NcU11d7coFRSgs9A9BFLt27cqqzFgslmaRVFVVhba2NkybNi2rcoOisbERTz31FC688ELLPMoT0snPzg1ZiRwRlSEpcI8y8zazPMz8ADO3MHPLhAkTPJWfSCRQV1eHM2fOIB6PW3pcKU+r4eFhy3xG36tTp05lXGDV1dVp4wt6Zs+ejbFjx3qKP0jKy8tN3/kSChuzMcPZs2dnVeaZM2c0uzAg6Q3X0NCQ1+tXT3V1NRYvXmx7PStPSCc/Ozdk83SVAPwQwD5mvjvrSCzQe8fZeVy5yad/2LB+/XqcOHECzc3N2Lp1K5qbmzM8u4wcOXIENTU1WLZsWcZrBbFYDDfccAMmT54MIkpzNbaipqYG48ePN00bM2ZM2mci0gbjr776aseyhdxh9/S1urradt/ly5dnbOMsnrjG43E0NTVhYGAAADBp0iTtftD/UJMfI4mqqqqs/BKrq6vT7jMVo7HMmpoaNDU1BffwwW4MzW4BMA/JfvNuAF2p5YN2+/h58BA0asD5xIkTlnmsHjwYefjhh7WxAyM9PT2O4w0Ks7SjR4+mfR43bhzfc889DCS9ypzKliW5XHTRRa7yGX8Ax+3yla98hbu6uizTX3zxRdv9f/3rX2dsGxoaytg2f/58V/G0tbUxM/Mrr7zCALixsVG7zr785S9r+c4991zbcsw89JjZ1i/xtttus7ymJ02axFVVVWn3iCrrsssuyzinXoHNmJzv311l5u0ACu7N1yDfY7P7b8hZvv9kFqfVz90J1pw8edJVPr/fV2lpqe334fRumP53WxX69+gUbo/Drgyrd/XMsHpP7tixY5b72P1EQG1tbUbLTLXkjOfez+tDdhTMjIegyJXIZYtZnOpiEM869xw/ftxVPr8iR0S234eTyA0ODmZsMxMgs98EtkOVoT8uq6llZliJnF0cZg9RFDU1NRl+e+o3jY2xiMgFRBBil8uWHBFpF56InHvc3jB+3/BnZttryWkyvluRs2tBmZFtS84q3W9LTj0I0R+vasmJyEWYMEXODBE577i9Yfx+X3YiV1pa6ihybrurQYicl5bcu+9mvA3mGIdTdxUQkcsJhdxdFZELj2xEzur7KCsrcxSTfLXknMRXCZCXOJy6q0C6qFuJnNshBreMurulUB886Lur8uAhePx2V8+cOWP5fbgRObctOa/Xk1NLzgkrkbMbk/PaklPnXFpyEUYePBQPYXVXnUTO7Kmp2QvCXlFl6GPLVuRGRkZs/xl4ETn9+TYer4hclqgvPYgxM7sWVVRfIRGBNCcbkbMTDz8i57SPG5y6q0GVqcdLd1UvZPpyS0tLReSypZC7q0G05Iy2QkKSMERuZGQk7yJn9QqJH8zGD/V4acnpZxfpj7ehoUFELlvUl243ZUQNfFqNSyj0YuPVj85pH6Pf3ZEjR/D2228DCL45L/gf7P7xj39seS0NDAygra3Ndv977703Y9tHPvIRX7EAwLZt2/DMM8/g5ZdfBgAcOHAAY8aMQUtLiyvvOjsmTZpkm753717LNPVO3JIlS9DU1ISpU6dqafpxvpqaGrzxxhvR9JNzs0RhWpfyuFJ+cmaoKT7z58+3Les3v/mNNhXF6JO1b98+xyk4ah+ztE2bNmVsGz9+PAPglpYWX1OQZLFelP+bn2XlypV5j1+/1NfX8+TJkzO2jx07NtR6a2pqtOvfmDZlyhRXZVRXVzMQrJ8ccQjvc1nR0tLCnZ2dOatPT2VlpWlzOx6Pa10GN3kUdt1e5YQiCEJ2mN17ZhDRC8zcYpY2arqryk9OOR5UVlZaes4pC5iKigpT/zrA3F9O+dH19PTggx/8oKu45EGAUEzE43FLZx2v5Vjde14ZNXeY8pNjZlRUVGBoaMjSc+706dOoqKjAqVOnTP3rAHN/OeVHl0gk0sYc7DB7EGBnZ5ON1Y0ghE1lZSUmTpyYVRmxWAzDw8OW957n8rIuoYBQnnM7d+609ZxzyqM4cuSIpR9dX18fmpqaNI+50tJSTJ48GfF4HGVlZbj00kvR3NyM06dPax51yq9rwYIFqKqqQmlpKSZOnIja2lrEYjHU1NRgwYIFaGpqQlVVFeLxOEpLSxGLxVBSUoJYLKZ1o+3EMCovE6s4/MRjfJLn95jKysqyOh/xeFw77/F4PK//hIgo7Z9meXm5ZiCgegwq3iDQl1NfX4+ysjKcOHFC810sLy9HWVmZFocd+mv8qquucrz3vDBqxuQEQSheZExOEIRRi4icIAhFjYicIAhFjYicIAhFjYicIAhFjYicIAhFjYicIAhFjYicIAhFjYicIAhFTU5nPBBRP4DXc1TdeADv5KguiSG69UsMoyOG9zDzBLOEnIpcLiGiTqtpHhLD6KlfYpAYpLsqCEJRIyInCEJRU8wi90C+A4DEEIX6AYlBMSpjKNoxOUEQBKC4W3KCIAiFK3JEVEdEjxPRfiLaR0RziWgcET1JRC+n/tan8hIR/R8ieoWIdhPRJQHFcCsRvUhEe4joMSKKE1ETEe1M1bWViMpTeStSn19JpTf6rPNHRHSIiPbotnk+biK6OZX/ZSK6OYAYvpX6LnYT0c+JqE6X9oVUDC8R0dW67dektr1CRLdnG4Mu7Z+IiIlofK7PQ2r7p1Pn4kUiujOs82DxPcwmoh1E1EVEnUR0WcjnYAoR/Y6I9qaO97Op7Tm9Jm2x+hmvqC8AHgKwIbVeDqAOwJ0Abk9tux3AN1PrHwTwawAEoBXAzgDqnwzgrwAqU59/CmBd6u+q1LbvA+hIrX8SwPdT66sAbPVZ798BuATAHt02T8cNYByAntTf+tR6fZYxLANQmlr/pi6GGQC6AVQAaALwKoCS1PIqgPNT3183gBnZxJDaPgXAfyH5Pub4PJyHhQCeAlCR+jwxrPNgUf9vAXxAd9zPhnwOEgAuSa3XAPhL6lhzek3aLQXZkiOisUh+wT8EAGYeZuajAFYgKX5I/f371PoKAP+Xk+wAUEdEiQBCKQVQSUSlAKoA9AJYBOBxixhUbI8DWEzk/ccFmPm/ARw2bPZ63FcDeJKZDzPzEQBPArgmmxiY+bfMfDr1cQeA83Qx/DszDzHzXwG8AuCy1PIKM/cw8zCAf0/l9R1Diu8A+DySv+OpyNl5ANAB4BvMPJTKc0gXQ6DnwaJ+BlCbWh8L4G1d/WGcg15m/lNq/RiAfUg2AHJ6TdpRkCKH5H/CfgA/JqJdRPRvRFQNoIGZe1N5DgJoSK1PBvCmbv8DqW2+Yea3ANwF4A0kxW0AwAsAjupudn09Wgyp9AEA52QTgw6vxx34+TDwCST/W+c0BiJaAeAtZu42JOXyPFwIYH5qSOI5Iro0xzH8I4BvEdGbSF6fX8hV/ZQcgrkYwE5E6JosVJErRbKZvoWZLwZwHMkmsQYn28ChPTpOjTGsQFJwJwGoRkD/ebIh7ON2goi+BOA0gEdzXG8VgC8C+Eou6zWhFMkuVyuAzwH4qZ8WexZ0ALiVmacAuBWp3k7YENEYAD8D8I/M/K4+Ld/XZKGK3AEAB5h5Z+rz40iKXp/qhqb+qq7CW0iO1SjOS23LhiUA/srM/cx8CsA2AFci2fxWvwunr0eLIZU+FsDfsoxB4fW4wzgfIKJ1AD4MYE3qws5lDBcg+Q+nm4heS5X3JyI6N4cxAMlrc1uqO/YHAGeQnK+ZqxhuRvJaBID/h2R3GGHWT0RlSArco8ys6o7ENQkUqMgx80EAbxLR9NSmxQD2AvgFkl8yUn//I7X+CwAfSz3ZaQUwoGtK++UNAK1EVJX6T61i+B2Aj1jEoGL7CIBndEKQLV6P+78ALCOi+lSLdFlqm2+I6Bokx8KWM/MJQ2yrKPl0uQnANAB/APBHANMo+TS6HMmHMb/wWz8z/5mZJzJzIzM3Iik2l6SulZydBwBPIPnwAUR0IZIPE95Bjs4DkmNwC1LriwC8nFoP5Rykrv0fAtjHzHfrkvJ+TWoE8fQiHwuA2QA6AexG8sKqR3KM62kkv9inAIxL5SUA30PyKdafAbQEFMO/ANgPYA+Ah5F8cnY+khfvK0j+J1VP2eKpz6+k0s/3WedjSI4BnkLyRl7v57iRHDd7JbV8PIAYXkFyTKUrtXxfl/9LqRheQurJH5990vaXVNqXso3BkP4azj5dzeV5KAfwSOqa+BOARWGdB4v65yE5NtyN5NjYnJDPwTwku6K7dd/9B3N9TdotMuNBEISipiC7q4IgCG4RkRMEoagRkRMEoagRkRMEoagRkRMEoagRkRMEoagRkRMEoagRkRMEoaj5/zTrnjgy04AMAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 360x360 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "from collections import Counter\n",
    "\n",
    "count_len = Counter(train_len)\n",
    "count_len = sorted(count_len.items())\n",
    "x = [x[0] for x in count_len]\n",
    "y = [x[1] for x in count_len]\n",
    "\n",
    "fig, ax = plt.subplots(1, 1, figsize=(5, 5))\n",
    "ax.plot(x, y,\n",
    "        color='black',\n",
    "        marker='*',\n",
    "        linestyle='solid', \n",
    "       )\n",
    "\n",
    "plt.show()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "id": "f6813264-95e8-4348-b217-3d01eab36bd3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:>"
      ]
     },
     "execution_count": 108,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAj8AAAD4CAYAAAAD3ocSAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAQ/0lEQVR4nO3dfYxlZX0H8O+zO7szC1te113osuwwXaiQkChaQ1PbBqy6bAiQ6B/GCtiX1EiyLrukVXfXGiJ/oCJENqbG1DalGF8K0hKzRLG17V9qwcqLgnXkRVgQECpoEdyXp3/cM+MwMusuzMydvc/nk9zcc885k/n99rn33O+c89y7pdYaAIBWLOp3AQAA80n4AQCaIvwAAE0RfgCApgg/AEBThg5m5xUrVtTR0dE5KgUAYPbcfvvtP661vmL6+oMKP6Ojo7nttttmryoAgDlSSnnwxda77AUANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0Z6ncBs23Hjh0ZHx/vdxlzYteuXUmS1atX97mSwbdu3bps3Lix32UAMAcGLvyMj4/n23ffk72HHdPvUmbd4mefTpL86PmBG7YFZfGzT/W7BADm0EC+i+497Jj8/JUb+l3GrFt2784kGcjeFpKJf2cABpM5PwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAUw4q/Dz++ONzVQcADdixY0d27NjR7zJo3NDB7Pz888/PVR0ANGB8fLzfJYDLXgBAW4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmiL8AABNEX4AgKYIPwBAU4QfAKApwg8A0BThBwBoivADADRF+AEAmjLU7wIAaMszzzyTs846KyeddFK2bt2aa6+9Nu95z3ty7bXX5oMf/GCS5NJLL81DDz00+TMXXnhhbrzxxqxcuTJ79+7Nww8/nCVLliRJdu/enaVLl2bVqlV57LHHsm/fvuzZsyfHHHNMnnzyyRx33HFZvnx59u3bl0cffTSXXHJJPvaxj2V4eDgrVqzIrl27MjY2lne84x254oor8oEPfCA33XRTLrjgglxxxRXZvHlzPvGJT6TWmlJK3vve9+aqq67K+vXrc+ONN2ZoaCiHH354nn766ZRSUmvNhg0bsnPnzlx22WXZt29frrnmmpx77rn50pe+lCQ5/vjjc9RRR2X9+vW55pprkiSrV6/OEUcckcsuuyxXX311nnvuuTzyyCNZuXJlnnjiiZxwwgl5+9vfng996EPZvn17rr/++tx3330ZHh7O2rVr8653vSvbtm1LkqxZsyZXXnlljj322Pkc2kNGqbUe8M6rVq2qjz322ByW8/Jt2rQpt9/3WH7+yg39LmXWLbt3Z5IMZG8LybJ7d+Y1Y6vy8Y9/vN+lwMDZtGlT7rrrruzbty9JMjo6mgcffDBr167Ngw8+mPPOOy+11tx8881zVsNEQJluaGgoe/bsydDQUPbu3ZvFixdnz549v7L/xH4H+ruSvOjvm6mW0dHRPPDAAy+6/9Qap9ewfPny/OxnP5t8fP7552fz5s0HVOegKqXcXmt97fT1LnsBMG+eeeaZyeCTJA888EBqrZP3t9xyy+TZkbkyUxCZCBN79uxJrXXy8fT9DzT4TPzs/k4yvNi2mYLP9Bqnmxp8kmTnzp158sknD7DSthzUZa/nnnsumzZtmqtaZsX4+HgW/eLAz2bBdIueeybj4z9d8M91OBTdf//9+92+e/fu/YYFDtzu3btz3XXXNX/258X82jM/pZS/KKXcVkq5zRMSgLnkfWZ23Xrrrf0uYUH6tWd+aq2fSvKppDfnZ6HPg5iY8wMv1b6RI7LOnB+YE2efffYLLntNN9N8HF6aN77xjf0uYUEy5weAebN27dr9bl+yZEkWLfLWNBuWLFmSiy66qN9lLEieYQDMmyOOOOIF4WZ0dDSllMn7c845J+eee+6c1jDxCazphoaGJu9LKZOPp+8/sf5Af9dMv2+mWkZHR2fcf2qN0y1fvvwFjzds2OCj7jMQfgCYV2vXrk0pJWNjY9m+fXtOP/30yfuLLrooF198cdasWfOCn7nwwgtz2GGHZXR0NGvWrEkpJUuXLs3SpUtTSsnw8HBOPPHEDA8PZ8mSJSmlTL7xH3fccVm3bl3GxsaybNmybNmyJUkyPDyc1atXJ0nGxsaydevWLFq0KNu2bcvpp58++XjLli0ZGRnJ8PBwRkZGsm3bthx++OF5y1vekqQXRI488sgkvwwzGzb0vpJky5YtufTSS5PkBaHu+OOPz6mnnjq5Lel9z8+pp56a7du357TTTsvY2FhGRkZy4oknZtmyZTn55JOzbdu2LFq0KFu3bs3Y2NhkH6ecckouv/zyjIyMZGRkJCeffLKzPvvhe34OIb7nZ374nh+YOxOfovT6Yj74nh8AgAg/AEBjhB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANGXoYHYeHh6eqzoAaMC6dev6XQIcXPhZuXLlXNUBQAM2btzY7xLAZS8AoC3CDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThB8AoCnCDwDQFOEHAGiK8AMANEX4AQCaIvwAAE0RfgCApgg/AEBThvpdwFxY/OxTWXbvzn6XMesWP/tkkgxkbwvJ4mefSrKq32UAMEcGLvysW7eu3yXMmV279iRJVq/2xjy3Vg308wigdQMXfjZu3NjvEgCABcycHwCgKcIPANAU4QcAaIrwAwA0RfgBAJoi/AAATRF+AICmCD8AQFOEHwCgKcIPANAU4QcAaIrwAwA0RfgBAJoi/AAATRF+AICmCD8AQFOEHwCgKcIPANAU4QcAaIrwAwA0pdRaD3znUp5I8uDclfMrViT58Tz+voWk5d4T/bfcf8u9J/pvuf+We0/mpv+1tdZXTF95UOFnvpVSbqu1vrbfdfRDy70n+m+5/5Z7T/Tfcv8t957Mb/8uewEATRF+AICmLPTw86l+F9BHLfee6L/l/lvuPdF/y/233Hsyj/0v6Dk/AACzbaGf+QEAmFXCDwDQlL6Gn1LKUaWUG0op95ZS7iml/G4p5ZhSyq2llO9390d3+5ZSyrWllPFSyp2llDP6WftsKKVsLqV8p5Rydynls6WUkVLKSaWUb3R9fr6UsrTbd7h7PN5tH+1z+QetlPJ3pZTHSyl3T1l30ONdSrm42//7pZSL+9HLwZqh9492z/07Syk3lVKOmrLt/V3v3yulvHnK+vXduvFSyvvmuY2X7MX6n7LtslJKLaWs6B4P1NgnM/dfStnYPQe+U0r5yJT1AzP+Mzz3X1VK+Xop5dullNtKKa/r1g/i2K8ppXytlPLdbpw3desH/ti3n977f+yrtfbtluQfkvx5t7w0yVFJPpLkfd269yX5cLe8IcktSUqSM5N8o5+1z0Lvq5Pcn2RZ9/gLSd7Z3b+tW/fJJO/uli9J8slu+W1JPt/vHl5Cz3+Q5Iwkd09Zd1DjneSYJPd190d3y0f3u7eX2Pubkgx1yx+e0vtpSe5IMpzkpCQ/SLK4u/0gyVj3erkjyWn97u2l9t+tX5Pky+l9eeqKQRz7/Yz/WUm+mmS4e7xyEMd/ht6/kuScKeP97wM89scnOaNb/o0k/9ON8cAf+/bTe9+PfX0781NKOTK9F8Wnk6TW+ota60+SnJ9eKEp3f0G3fH6S62rP15McVUo5fl6Lnn1DSZaVUoaSHJbk0SRnJ7mh2z69/4l/lxuSvKGUUuav1Jev1vqfSZ6atvpgx/vNSW6ttT5Va/3fJLcmWT/nxb9ML9Z7rfUrtdY93cOvJzmhWz4/yedqrc/XWu9PMp7kdd1tvNZ6X631F0k+1+274M0w9klyTZK/SjL1kxcDNfbJjP2/O8mVtdbnu30e79YP1PjP0HtNckS3fGSSR7rlQRz7R2ut3+qWf5rknvT++B34Y99MvS+EY18/L3udlOSJJH9fSvnvUsrfllIOT7Kq1vpot8+PkqzqllcneWjKzz/crTsk1Vp3JbkqyQ/TCz1PJ7k9yU+mPCmm9jjZf7f96STHzmfNc+Rgx3ugngdT/Gl6f+0ljfReSjk/ya5a6x3TNjXRf5JTkvx+6V3G/o9Syu9061vo/9IkHy2lPJTecfD93fqB7r30piu8Osk30tixb1rvU/Xl2NfP8DOU3qnQv6m1vjrJ/6V36m9S7Z0HG8jP4nfXd89PLwT+ZpLDs8BT/Fwb5PHen1LKtiR7knym37XMl1LKYUm2JvnrftfSR0PpXcI4M8lfJvnCoXY292V4d5LNtdY1STanuwIwyEopy5PcmOTSWuszU7cN+rFvpt77eezrZ/h5OMnDtdaJFHhDemHosYnLWd39xKngXenND5hwQrfuUPVHSe6vtT5Ra92d5ItJfi+9U5xD3T5Te5zsv9t+ZJIn57fkOXGw4z1Qz4NSyjuTnJvkj7sDYNJG77+VXvC/o5TyQHq9fKuUclza6D/pHQO/2F3e+GaSfen9x44t9H9xese8JPmn9C5rJAPaeyllSXpv/p+ptU703cSxb4be+37s61v4qbX+KMlDpZTf7la9Icl3k9yc3gsj3f2/dMs3J7momwl/ZpKnp5wyPBT9MMmZpZTDur/2Jvr/WpK3dvtM73/i3+WtSf5tyhPmUHaw4/3lJG8qpRzdnT17U7fukFNKWZ/efJfzaq3PTtl0c5K3ld4n/E5KcnKSbyb5ryQnl94nApemN/H95vmuezbUWu+qta6stY7WWkfTCwJndMeFgR/7zj+nN+k5pZRT0pvI+eM0MP7pzfH5w2757CTf75YHbuy74/unk9xTa716yqaBP/bN1PuCOPa9nNnSL/eW5FVJbktyZ3oHgqPTm8fyr+m9GL6a5Jhu35LkE+nN+L4ryWv7Wfss9X95knuT3J3kH9Ob4T7WDfZ4en8RTXwSZKR7PN5tH+t3/S+h38+mN79pd3pvdn/2UsY7vWvE493tT/rd18vofTy969jf7m6fnLL/tq7376X7VEy3fkN6n5j4QZJt/e7r5fQ/bfsD+eWnvQZq7Pcz/kuTXN+9/r+V5OxBHP8Zen99enMc70hvDshrBnjsX5/eJa07p7zWN7Rw7NtP730/9vnvLQCApviGZwCgKcIPANAU4QcAaIrwAwA0RfgBAJoi/AAATRF+AICm/D9i7wZBifaCPgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(train_len.min(), train_len.max()*1.1)\n",
    "sns.boxplot(x=train_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "id": "69161ea9-cea0-4eba-bf34-f46c766aace7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 train context 길이: 2059.0\n",
      "평균 train context 길이: 920.2206477732793\n",
      "가장 짧은 train context 길이: 512.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 train context 길이:', train_len.max())\n",
    "print('평균 train context 길이:', train_len.mean())\n",
    "print('가장 짧은 train context 길이:', train_len.min())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "808fa8dd-22fe-4f68-a8d1-aa8b65a639f5",
   "metadata": {},
   "source": [
    "#### validation context 분포"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "id": "c4262b96-4b77-4e3f-aa11-72a10ebc3089",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:>"
      ]
     },
     "execution_count": 110,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAj8AAAD4CAYAAAAD3ocSAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAOnUlEQVR4nO3dbYxld10H8O+/O7ZsUfqwpStuidu6IOEVFCQ1PkUosDbG+oIXJCZdfIgJJrtLYzQgxMSkLwSMhm6MhIhmVwkPVtS+WBdaRX0FuEXKFlrkAgPsAi1spRBLC7P9++KeWWc37MDsPJyZ+/t8ksmc+7+n5/x+87/3zHfOOXfbeu8BAKjikrELAADYSMIPAFCK8AMAlCL8AAClCD8AQClzK1n5mmuu6bt3716nUgAA1s5999339d77M88fX1H42b17d44fP752VQEArJPW2he+17jLXgBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQyN3YBP4hDhw5lMpmMXcaoTp06lSTZtWvXyJXUsWfPnuzfv3/sMgBYY1si/Ewmk3z8gQdz5vKrxy5lNNsefyxJ8tUnt8SUbXnbHn907BIAWCdb5jfpmcuvzrefd8vYZYxm+0NHk6T0z2AjLf68AZg97vkBAEoRfgCAUoQfAKAU4QcAKEX4AQBKEX4AgFKEHwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEoRfgCAUoQfAKAU4QcAKEX4AQBKEX4AgFKEHwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEoRfgCAUoQfAKAU4QcAKEX4AQBKEX4AgFKEHwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEoRfgCAUoQfAKAU4QcAKEX4AQBKWVH4eeSRR9arDgCKOnToUA4dOjR2GRQyt5KVn3zyyfWqA4CiJpPJ2CVQjMteAEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwA8BMOH36dA4cOJDJZJIDBw7k9OnT54wvPl7t9le7nbXY53K1jFHnViP8ADATDh8+nBMnTuSOO+7IiRMncuTIkXPGFx+vdvur3c5a7HO5Wsaoc6sRfgDY8k6fPp1jx46l9575+fn03nPs2LFMJpOz48eOHbvosyFLt7+a7azFPperZYw6t6K5laz8xBNP5ODBg+tVywVNJpNc8p2+4fulrkue+GYmk2+N8nqHaiaTSbZv376qbRw+fDhPPfXUOWNnzpzJHXfccXb8zJkzOXLkSG6//fZVbX8121mLfS5Xyxh1bkXf98xPa+23W2vHW2vHexdAANh87r333iwsLJwztrCwkPn5+bPjCwsLueeee1a9/dVsZy32uVwtY9S5FX3fMz+993ckeUeS7Ny5s7/tbW9b96LOd/Dgwdz3uYc3fL/U9dTTnpE9N+zMGK93qGYtzrDefPPNOXr06DkBaG5uLtddd11OnjyZhYWFzM3N5eUvf/mqt7+a7azFPperZYw6tyL3/ACw5e3bty+XXHLur7Rt27blTW9609nxbdu25bbbblv19leznbXY53K1jFHnViT8ALDl7dixI3v37k1rLbt3705rLXv37s2ePXvOju/duzc7duxY9fZXs5212OdytYxR51a0ohueAWCz2rdvX+bn53PgwIHceeed55wpmZ+fX/VZkLXazlrsc7laxqhzq2kruYl5586d/eGHN/7em8V7fr79vFs2fN+bxfaHjiZJ6Z/BRtr+0NG8yD0/sCEW7/nxfmOttdbu672/+Pxxl70AgFKEHwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEoRfgCAUoQfAKAU4QcAKEX4AQBKEX4AgFKEHwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEoRfgCAUoQfAKAU4QcAKEX4AQBKEX4AgFKEHwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEoRfgCAUoQfAKAU4QcAKEX4AQBKEX4AgFKEHwCglLmVrHzZZZetVx0AFLVnz56xS6CYFYWfa6+9dr3qAKCo/fv3j10CxbjsBQCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFDK3NgF/KC2Pf5otj90dOwyRrPt8dNJUvpnsJG2Pf5okp1jlwHAOtgS4WfPnj1jlzC6U6cWkiS7dvmFvDF2et0BzKgtEX72798/dgkAwIxwzw8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCnCDwBQivADAJQi/AAApQg/AEApwg8AUIrwAwCUIvwAAKUIPwBAKcIPAFCK8AMAlCL8AAClCD8AQCmt9/6Dr9za15J8Yf3KOeuaJF/fgP1sVpX7r9x7ov/K/VfuPdF/5f7Xs/cf770/8/zBFYWfjdJaO957f/HYdYylcv+Ve0/0X7n/yr0n+q/c/xi9u+wFAJQi/AAApWzW8POOsQsYWeX+K/ee6L9y/5V7T/Rfuf8N731T3vMDALBeNuuZHwCAdSH8AACljBJ+WmtXttbuaq091Fp7sLX20621q1tr97TWPjN8v2pYt7XW7mytTVprn2it3ThGzWuptXZ7a+2TrbUHWmvvbq09rbV2fWvtI0Of722tXTqse9nweDI8v3vk8lestfZXrbVHWmsPLBlb8Xy31vYN63+mtbZvjF4uxgX6f+vw+v9Ea+0fWmtXLnnuDUP/n26tvXLJ+N5hbNJae/0Gt3FRvlfvS5773dZab61dMzwuMffD+P5h/j/ZWnvLkvGZmfvkgq/9F7TWPtxa+3hr7Xhr7SXD+EzNf2vt2a21D7XWPjXM88FhfOaPfcv0vnmOe733Df9KcjjJbw3Llya5Mslbkrx+GHt9kjcPy7ck+eckLclNST4yRs1r2PuuJJ9Psn14/L4krxm+v3oYe3uS1w7Lv5Pk7cPyq5O8d+weLqLnn09yY5IHloytaL6TXJ3kc8P3q4blq8bubRX9vyLJ3LD85iX9Pz/J/UkuS3J9ks8m2TZ8fTbJDcN75v4kzx+7t4vpfRh/dpIPZPqPpl5TbO5/Mcm9SS4bHl87i3O/TP8fTPJLS+b832Zx/pM8K8mNw/KPJPnvYY5n/ti3TO+b5ri34Wd+WmtXZPqGeGeS9N6/03v/RpJbMw1FGb7/6rB8a5IjferDSa5srT1rQ4tee3NJtrfW5pJcnuQrSV6a5K7h+fP7X/y53JXkZa21tnGlrl7v/T+SPHre8Ern+5VJ7um9P9p7/58k9yTZu+7Fr4Hv1X/v/YO994Xh4YeTXDcs35rkPb33J3vvn08ySfKS4WvSe/9c7/07Sd4zrLupXWDuk+TPkvx+kqWfuCgx90lem+SPe+9PDus8MozP1NwnF+y/J3nGsHxFki8PyzM1/733r/TePzYsfyvJg5n+8Tvzx74L9b6ZjntjXPa6PsnXkvx1a+2/Wmt/2Vp7epKdvfevDOt8NcnOYXlXki8t+e9PDmNbUu/9VJI/SfLFTEPPY0nuS/KNJS+KpT2e7X94/rEkOzay5nWy0vmeqdfBeX4j07/4kgL9t9ZuTXKq937/eU/NfO+D5yb5uTa9jP3vrbWfGsar9P+6JG9trX0p02PhG4bxme2/TW9XeGGSj6TYse+83pca9bg3RviZy/Q06F/03l+Y5H8zPfV3Vp+eB5vJz+AP13dvzTQE/liSp2eTp/j1Nsvz/f201t6YZCHJu8auZSO01i5P8gdJ/nDsWkY0l+kljJuS/F6S9221s7mr9Nokt/fen53k9gxXAWZVa+2Hk/x9ktf13r+59LlZP/ZdqPfNcNwbI/ycTHKy976YAu/KNAw9vHg5a/i+eCr4VKb3Byy6bhjbqm5O8vne+9d6799N8v4kP5PpKc65YZ2lPZ7tf3j+iiSnN7bkdbHS+Z6110Faa69J8stJfm04CCaz3/9PZBr872+tzWfax8daaz+a2e990ckk7x8ub3w0yVOZ/o8dq/S/L9PjXpL8XaaXNpIZ7L+19kOZ/vJ/V+99secSx74L9L5pjnsbHn56719N8qXW2k8OQy9L8qkkd2f6psjw/Z+G5buT3DbcCX9TkseWnDLcir6Y5KbW2uXDX3uL/X8oyauGdc7vf/Hn8qok/7rkBbOVrXS+P5DkFa21q4azZ68Yxrak1treTO95+ZXe++NLnro7yavb9FN+1yd5TpKPJvnPJM9p008FXprpze93b3Tdq9V7P9F7v7b3vrv3vjvTIHDjcFwoMfdJ/jHTm57TWntupjdyfj0zPvdLfDnJLwzLL03ymWF5puZ/OL6/M8mDvfc/XfLUzB/7LtT7pjrureZu6Yv9SvKCJMeTfCLTA8FVmd7H8i+ZvhHuTXL1sG5L8ueZ3vF9IsmLx6h5jfv/oyQPJXkgyd9keof7DcNkTzL9a2jxkyBPGx5PhudvGLv+i+j33Zne3/TdTH/Z/ebFzHem14gnw9evj93XKvufZHot++PD19uXrP/Gof9PZ/hUzDB+S6afmvhskjeO3dfF9n7e8/P5/097VZn7S5P87fD+/1iSl87i3C/T/89mep/j/ZneB/KiWZz/oc+e6e+5xff5LRWOfcv0vmmOe/73FgBAKf6FZwCgFOEHAChF+AEAShF+AIBShB8AoBThBwAoRfgBAEr5PwNMN8z1xDxqAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(val_len.min(), val_len.max()*1.1)\n",
    "sns.boxplot(x=val_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "id": "eca9195a-d1b1-411e-8d52-45228f89501a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 validation context 길이: 2064.0\n",
      "평균 validation context 길이: 916.725\n",
      "가장 짧은 validation context 길이: 517.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 validation context 길이:', val_len.max())\n",
    "print('평균 validation context 길이:', val_len.mean())\n",
    "print('가장 짧은 validation context 길이:', val_len.min())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "45d46c70-e62d-4b33-a472-789a64969bb4",
   "metadata": {},
   "source": [
    "#### train/val question 분포"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "id": "fa9bef1e-d24e-4315-abfc-33ed3545b81a",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_questions = datasets['train']['question']\n",
    "val_questions = datasets['validation']['question']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 119,
   "id": "133a291a-860c-43dd-a54c-950939bc3ee6",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_q_len = np.array([])\n",
    "for doc in train_questions:\n",
    "    train_q_len = np.append(train_q_len, len(doc))\n",
    "\n",
    "val_q_len = np.array([])\n",
    "for doc in val_questions:\n",
    "    val_q_len = np.append(val_q_len, len(doc))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 121,
   "id": "9652908e-97a1-49ad-9dff-14ad070250f2",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 train question 길이: 78.0\n",
      "평균 train question 길이: 29.32236842105263\n",
      "가장 짧은 train question 길이: 8.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 train question 길이:', train_q_len.max())\n",
    "print('평균 train question 길이:', train_q_len.mean())\n",
    "print('가장 짧은 train question 길이:', train_q_len.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "id": "ac229121-9271-4791-b771-11136bbdbe29",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 validation question 길이: 59.0\n",
      "평균 validation question 길이: 29.195833333333333\n",
      "가장 짧은 validation question 길이: 9.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 validation question 길이:', val_q_len.max())\n",
    "print('평균 validation question 길이:', val_q_len.mean())\n",
    "print('가장 짧은 validation question 길이:', val_q_len.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 126,
   "id": "9314f176-df22-40d6-9573-2ddf6c705429",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:>"
      ]
     },
     "execution_count": 126,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAj8AAAD4CAYAAAAD3ocSAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAOdElEQVR4nO3df6zdd13H8ddnLT+6FofroNGiXsg1LERksIVAJORubKbSwfzD6MwMnSiExHTd0Bg1S9aZ+YeJqVv6h4TB3EgmEydYWZrGgSP6F6aFmU024wU7pIEVOvnRjQzLPv5xzu1uf9x729N7e+6978cjaXp+n8/3nXvOfd7v+d629d4DAFDFBeNeAADA+SR+AIBSxA8AUIr4AQBKET8AQClrz+bGl1xySZ+YmFiipQAALJ4DBw58p/f+qpMvP6v4mZiYyP79+xdvVQAAS6S19tTpLvexFwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEApa8e9ABbf7t27Mz09Pe5lnJFDhw4lSTZv3jzmlZyZycnJbN++fdzLAOAciJ9VaHp6Oo8+/kR+fOHF417KgtY8970kybeeX/5fimuee2bcSwBgESz/7ziM5McXXpwfXvrucS9jQeue3JskK2qtAKxsjvkBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEASjmr+Dl8+PBSrQNg2du9e3d279497mUA52jt2dz4+eefX6p1ACx709PT414CsAh87AUAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8ACyS+++/P1NTU3nggQdOuW7Pnj2ZmprKZz/72VOuu/vuuzM1NZV77rln0R7zyJEjuemmm3LkyJHTrnV6ejpbt27N9PT0mWzacfv3789VV12VAwcOnNX9lspC2zmXUbd/NRl1dquB+AFYJHfffXeS5CMf+cgp1915551Jkl27dp1y3f33358k+cQnPrFoj3nfffflscceO+1jJskdd9yRZ599Nnfcccdpr5/Lzp0788ILL+S22247q/stlYW2cy6jbv9qMursVgPxA7AIZgJmxuw9NXv27EnvPUnSez9hT81M3MyYvfdn1Mc8cuRI9u3bl9579u3bd8pP9tPT0zl48GCS5ODBg2e892P//v05evRokuTo0aNj3/uz0HbOZdTtX01Gnd1q0WZePGfioosu6jfeeOPSrYZFMT09nR/8qOfZy64f91IWtO7JvUmSH1767jGvZGHrH30gr3hpy+Tk5LiXwphMT09n3bp1efDBB0+5bmpq6pTLvvCFLyRJrrzyysx+r22t5ZFHHlnwfqM+5q5du7J3794cO3Ysa9euzdatW3PLLbccv+2NN954/Jt/kkxMTOTee+89zRaf6Nprrz0eP0myYcOGPPTQQwveb6kstJ1zGXX7V5NRZ7fStNYO9N6vOPnyBff8tNY+2Frb31rbfzahBMDAye+di/FeOt9jfu5zn8uxY8eSJMeOHcvDDz98wm1nf+M/3fm5zA6f050/3xbazrmMuv2ryaizWy3WLnSD3vtHk3w0STZt2tTvuuuuJV8U52bHjh058LWnx72MVeeFl/9EJl+3KV4Dde3YsWOk+7XWTtlLc67me8yrr776hJ/qr7nmmhPuOzExccqejzOxYcOGU/b8jNNC2zmXUbd/NRl1dquFY34AFsEHPvCBE85/6EMfOn765ptvPuG6D3/4w8dP33DDDSdc9773ve+cH3Pbtm254ILB2/uaNWtOeMwkufXWW+c9P5edO3eecP72228/o/stlYW2cy6jbv9qMursVgvxA7AITo6Y669/8Zi766677viemdZa3vOe9xy/7uTAef/733/Oj7lx48Zs2bIlrbVs2bIlGzduPOFxJicnj+/tmJiYOOPj2K644orje3s2bNiQyy+//Izut1QW2s65jLr9q8mos1stxA/AIpkJmdl7aGbM7KmZvYdmxkzknO6n71Efc9u2bXnjG98450/0t956a9avX3/Wez127tyZCy64YOx7fWYstJ1zGXX7V5NRZ7canNVve23atKk//bRjSZa7mWN+VsJvUK2k3/Za9+TeXO6Yn9JmjvnxNQArw8i/7QUAsJqIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEpZezY3ftnLXrZU6wBY9iYnJ8e9BGARnFX8vPrVr16qdQAse9u3bx/3EoBF4GMvAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AAClrB33Algaa557Juue3DvuZSxozXNHkmSFrPWZJJvGvQwAzpH4WYUmJyfHvYQzdujQsSTJ5s0rISo2rajZAnB64mcV2r59+7iXAADLlmN+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKa33fuY3bu3bSZ4a4XkuSfKdEe5XhfnMzWzmZz7zM5/5mc/czGZ+K2U+P9d7f9XJF55V/Iyqtba/937Fkj/RCmU+czOb+ZnP/MxnfuYzN7OZ30qfj4+9AIBSxA8AUMr5ip+PnqfnWanMZ25mMz/zmZ/5zM985mY281vR8zkvx/wAACwXPvYCAEoRPwBAKYseP621e1prh1trj8+67OLW2sOttf8a/v2Ti/28K0Fr7Wdaa4+01r7SWvuP1tqO4eXmk6S19vLW2r+11v59OJ/bh5e/trX2xdbadGvtb1trLx33Wseltbamtfbl1tpDw/NmM9RaO9hae6y19mhrbf/wMq+todbaK1trD7bWnmytPdFae7v5DLTWXj/8upn58/3W2s3mM9Bau2X4nvx4a+2Tw/fqFf3esxR7fu5NsuWky/4oyed77z+f5PPD8xUdS/L7vfc3JHlbkt9rrb0h5jPj+SRX9d7flOSyJFtaa29L8udJ/rL3Ppnkf5P8zviWOHY7kjwx67zZnOjK3vtls/79Ea+tF92VZF/v/dIkb8rg68h8kvTe/3P4dXNZksuTPJfkMzGftNY2J7kpyRW9919IsibJ9Vnh7z2LHj+9939J8sxJF1+X5L7h6fuS/OpiP+9K0Hv/Zu/9S8PTP8jgzWdzzCdJ0geODs++ZPinJ7kqyYPDy8vOp7X2miRbk3xseL7FbBbitZWktXZRkncm+XiS9N5/1Hv/bszndN6V5Ku996diPjPWJlnXWlub5MIk38wKf+85X8f8bOq9f3N4+ltJNp2n5122WmsTSd6c5Isxn+OGH+s8muRwkoeTfDXJd3vvx4Y3+UYGwVjRnUn+MMkLw/MbYzaz9ST/1Fo70Fr74PAyr62B1yb5dpK/Hn5s+rHW2vqYz+lcn+STw9Pl59N7P5TkL5J8PYPo+V6SA1nh7z3n/YDnPvjd+tK/X99a25Dk75Pc3Hv//uzrqs+n9/7j4a7n1yR5a5JLx7ui5aG1dm2Sw733A+NeyzL2jt77W5L8SgYfKb9z9pXFX1trk7wlyV/13t+c5Nmc9BFO8fkkSYbHrbw3yd+dfF3V+QyPc7oug4D+6STrc+qhLSvO+Yqfp1trP5Ukw78Pn6fnXXZaay/JIHzu771/enix+ZxkuEv+kSRvT/LK4e7WZBBFh8a1rjH6pSTvba0dTPJABruc74rZHDf8CTW998MZHK/x1nhtzfhGkm/03r84PP9gBjFkPif6lSRf6r0/PTxvPsnVSf679/7t3vv/Jfl0Bu9HK/q953zFzz8m2TY8vS3JnvP0vMvK8BiNjyd5ove+a9ZV5pOktfaq1torh6fXJbkmg+OiHknya8OblZxP7/2Pe++v6b1PZLBb/p977zfEbJIkrbX1rbVXzJxO8stJHo/XVpKk9/6tJP/TWnv98KJ3JflKzOdkv5kXP/JKzCcZfNz1ttbahcPvYTNfOyv6vWfR/4Xn1tonk0xl8N/dP53ktiT/kORTSX42yVNJfr33fvJB0atea+0dSf41yWN58biNP8nguB/zae0XMzhwbk0GYf6p3vufttZel8HejouTfDnJb/Xenx/fSsertTaV5A9679eazcBwDp8Znl2b5G9673/WWtsYr60kSWvtsgwOln9pkq8l+e0MX2cxn5lo/nqS1/Xevze8zNdPkuE/O/IbGfzG8peT/G4Gx/is2Pce/70FAFCKf+EZAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBK+X/OW4NyWiXFjwAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAj8AAAD4CAYAAAAD3ocSAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAK2klEQVR4nO3dX4id+V3H8c83mXab1j/rzu4GyappmeLSC7stIi2WUuuuRC3qhYigbBChNzIbF0XUG6nghTdqNhfC0qoJ+K+sVkVCMFsX9GolsSvZdhccSxY3dDftrLXVdVMm+fVijhpCy+bfOc/p+b5eEOac5xzm+U2+mWfec55nJjXGCABAF3umXgAAwCKJHwCgFfEDALQifgCAVsQPANDK2o08+e677x4HDx6c01IAAG6fs2fPfmGMcc+1228ofg4ePJgzZ87cvlUBAMxJVb3wtbY77QUAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtiB8AoBXxAwC0In4AgFbEDwDQytrUC2D1HDt2LFtbW1MvY2EuXLiQJDlw4MDEK1mcjY2NbG5uTr0MgJsifrjttra28syzz+Xym++aeikLsffV/0ySvHSpx6fT3ldfmXoJALekx9Gahbv85rvyP/f/yNTLWIh9z59MknYfL8A3Ktf8AACtiB8AoBXxAwC0In4AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtiB8AoBXxAwC0In4AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK3cUPxcvHhxXusAgIU7duxYjh07NvUyWLC1G3nypUuX5rUOAFi4ra2tqZfABJz2AgBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtiB8AoBXxAwC0In4AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtiB8AoBXxAwC0In4AYMG2t7fzyCOPZHt7u8V+l434AYAFO378eM6dO5cTJ0602O+yET8AsEDb29s5depUxhg5derUwl6FmWq/y2jtRp782muv5ciRI/NaCytia2sre74ypl4Gc7LntS9la+vLjgWshK2trezbt2+h+zx+/HiuXLmSJLl8+XJOnDiRRx99dGX3u4xe95WfqvpwVZ2pqjNj+IIGALfiySefzM7OTpJkZ2cnp0+fXun9LqPXfeVnjPF4kseTZP/+/ePo0aNzXxTf2I4cOZKzn3156mUwJ1fe9C3ZeNv+OBawCqZ4BfPBBx/MyZMns7Ozk7W1tTz00EMrvd9l5JofAFigw4cPZ8+e3S+/e/fuzcMPP7zS+11G4gcAFmh9fT2HDh1KVeXQoUNZX19f6f0uoxu64BkAuHWHDx/O+fPnF/7qy1T7XTbiBwAWbH19PY899lib/S4bp70AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtiB8AoBXxAwC0In4AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2s3ciT77jjjnmtAwAWbmNjY+olMIEbip977713XusAgIXb3NyceglMwGkvAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtiB8AoBXxAwC0In4AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWhE/AEAr4gcAaEX8AACtrE29AFbT3ldfyb7nT069jIXY++p2kjT6eF9Jsn/qZQDcNPHDbbexsTH1EhbqwoWdJMmBA12CYH+7GQOrRfxw221ubk69BAD4ulzzAwC0In4AgFbEDwDQivgBAFoRPwBAK+IHAGhF/AAArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCviBwBoRfwAAK2IHwCgFfEDALQifgCAVsQPANCK+AEAWqkxxvU/uerzSV64jqfeneQLN7sobjvzWB5msVzMY7mYx3JZhXl81xjjnms33lD8XK+qOjPG+N7b/o65KeaxPMxiuZjHcjGP5bLK83DaCwBoRfwAAK3MK34en9P75eaYx/Iwi+ViHsvFPJbLys5jLtf8AAAsK6e9AIBWxA8A0MotxU9V/UFVXayqZ6/adldVna6qf529/bZbXybXo6q+o6qeqqrPVNWnq+rIbLuZTKCq3lRV/1RV/zKbx0dm299aVU9X1VZV/XlVvXHqtXZRVXur6lNV9bez+2Yxkao6X1XnquqZqjoz2+ZYNZGqurOqnqiq56vquap67yrP41Zf+fmjJIeu2farST45xnh7kk/O7rMYO0l+aYzxjiTvSfILVfWOmMlULiX54BjjnUkeSHKoqt6T5LeT/O4YYyPJfyT5+emW2M6RJM9ddd8spvUDY4wHrvpdMo5V0zma5NQY4/4k78zu58nKzuOW4meM8Q9JXrlm848nOT67fTzJT9zKPrh+Y4zPjTH+eXb7y9n9x3sgZjKJseu/ZnffMPszknwwyROz7eaxIFV1X5IfTfLR2f2KWSwbx6oJVNW3Jnl/ko8lyRjjK2OML2aF5zGPa372jzE+N7v9UpL9c9gHr6OqDiZ5V5KnYyaTmZ1meSbJxSSnk/xbki+OMXZmT3kxu4HK/P1ekl9JcmV2fz1mMaWR5O+q6mxVfXi2zbFqGm9N8vkkfzg7LfzRqnpLVngec73geez+HL2fpV+wqvqmJH+R5BfHGF+6+jEzWawxxuUxxgNJ7kvyfUnun3ZFPVXVh5JcHGOcnXot/J/3jTHeneSHs3uK/v1XP+hYtVBrSd6d5PfHGO9K8t+55hTXqs1jHvHzclV9e5LM3l6cwz74OqrqDdkNnz8eY/zlbLOZTGz2EvJTSd6b5M6qWps9dF+SC1Otq5HvT/JjVXU+yZ9l93TX0ZjFZMYYF2ZvLyb5RHa/OXCsmsaLSV4cYzw9u/9EdmNoZecxj/j5mySHZ7cPJ/nrOeyDr2F2DcPHkjw3xvidqx4ykwlU1T1Vdefs9r4kD2X3Oqynkvzk7GnmsQBjjF8bY9w3xjiY5KeT/P0Y42diFpOoqrdU1Tf/7+0kP5Tk2ThWTWKM8VKSf6+q755t+sEkn8kKz+OWfsNzVf1pkg9k97+9fznJbyT5qyQfT/KdSV5I8lNjjGsvimYOqup9Sf4xybn8/3UNv57d637MZMGq6nuye5Hg3ux+o/HxMcZvVtXbsvvqw11JPpXkZ8cYl6ZbaS9V9YEkvzzG+JBZTGP29/6J2d21JH8yxvitqlqPY9UkquqB7P4wwBuTfDbJz2V23MoKzsN/bwEAtOI3PAMArYgfAKAV8QMAtCJ+AIBWxA8A0Ir4AQBaET8AQCtfBVsKlL35puthAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(train_q_len.min(), train_q_len.max()*1.1)\n",
    "sns.boxplot(x=train_q_len)\n",
    "\n",
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(val_q_len.min(), val_q_len.max()*1.1)\n",
    "sns.boxplot(x=val_q_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 140,
   "id": "e3f9d31b-5820-4bf7-b111-63dc905c3f0d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "train에서 가장 긴 질문\n",
      "사전처분에도 불구하고 양육 부모가 비양육 부모에게 아이를 보여주지 않을 때 위반 행위자에게 1천만원 이하의 과태료를 부과할 수 있는 제도는?\n",
      "\n",
      "train에서 가장 짧은 질문\n",
      "연희의 직업은?\n",
      "훈다손의 뜻은?\n"
     ]
    }
   ],
   "source": [
    "np.where(train_q_len == 78)\n",
    "print('train에서 가장 긴 질문')\n",
    "print(train_questions[1840])\n",
    "print()\n",
    "print('train에서 가장 짧은 질문')\n",
    "for q in np.where(train_q_len == 8)[0]:\n",
    "    print(train_questions[q])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 142,
   "id": "25a9a322-4ca1-4229-8aca-fbf0c638011c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "validation에서 가장 긴 질문\n",
      "베르니츠 강과 라슈트 강이 만나는 곳 부근에서 코네티컷 연대와 만나 전투를 벌였던 프랑스 부대는 어디인가?\n",
      "\n",
      "validation에서 가장 짧은 질문\n",
      "마이어의 사인은?\n"
     ]
    }
   ],
   "source": [
    "print('validation에서 가장 긴 질문')\n",
    "for q in np.where(val_q_len == 59)[0]:\n",
    "    print(val_questions[q])\n",
    "print()\n",
    "print('validation에서 가장 짧은 질문')\n",
    "for q in np.where(val_q_len == 9)[0]:\n",
    "    print(val_questions[q])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "845b24f0-724d-4817-b1c0-2808a2e5d7d0",
   "metadata": {},
   "source": [
    "#### train/val answer 분포"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 153,
   "id": "c9397047-d8f0-4472-b0d6-680f4d1c6417",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_answers = []\n",
    "for a in datasets['train']['answers']:\n",
    "    train_answers.append(a['text'][0])\n",
    "val_answers = []\n",
    "for a in datasets['validation']['answers']:\n",
    "    val_answers.append(a['text'][0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 154,
   "id": "14a677f8-d4de-4512-b8cf-94cbf3e30abe",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_a_len = np.array([])\n",
    "for doc in train_answers:\n",
    "    train_a_len = np.append(train_a_len, len(doc))\n",
    "\n",
    "val_a_len = np.array([])\n",
    "for doc in val_answers:\n",
    "    val_a_len = np.append(val_a_len, len(doc))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 158,
   "id": "194f60df-d988-4695-8c4f-3f1c1c1d95b4",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 train answer 길이: 83.0\n",
      "평균 train answer 길이: 6.275050607287449\n",
      "가장 짧은 train answer 길이: 1.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 train answer 길이:', train_a_len.max())\n",
    "print('평균 train answer 길이:', train_a_len.mean())\n",
    "print('가장 짧은 train answer 길이:', train_a_len.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 169,
   "id": "d2356e97-b104-419c-8bf4-1c2539fce479",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "가장 긴 validation answer 길이: 64.0\n",
      "평균 validation answer 길이: 6.9125\n",
      "가장 짧은 validation answer 길이: 1.0\n"
     ]
    }
   ],
   "source": [
    "print('가장 긴 validation answer 길이:', val_a_len.max())\n",
    "print('평균 validation answer 길이:', val_a_len.mean())\n",
    "print('가장 짧은 validation answer 길이:', val_a_len.min())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 157,
   "id": "53356870-8c84-4a4a-9d18-7222113f93bf",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:>"
      ]
     },
     "execution_count": 157,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAj8AAAD4CAYAAAAD3ocSAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAAPkUlEQVR4nO3cf4xlZX3H8c/DTtWFbZEfurHYdjXTlJhqFfYPahty2a4JEezWpGlJaITatTFpdhfspqFIdDFobEIouH/UCFoxIdKGarYSQgKyxiZGk1k0YmWTTixaiYIiUkGDXTn9Y+aOe2f3LDPDnR3mfl+vf9j73JN7nudc7s57njmzreu6AABUccpaTwAA4GQSPwBAKeIHAChF/AAApYgfAKCUqeUcfPbZZ3dbtmxZpakAAIzPoUOHfth13SsWjy8rfrZs2ZKZmZnxzQoAYJW01r59vHE/9gIAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoZWq1Xnj//v2ZnZ1d8vGPPvpokuScc84Zy/mnp6eza9eusbwWADA5Vi1+Zmdn87VvPJxfnHrmko7f8NOnkiTff/aFT2nDT3/0gl8DAJhMqxY/SfKLU8/Mz85965KO3Xj4niRZ8vFLeS0AgMXc8wMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUsqz4efzxx1drHmXt378/+/fvX+tpAEAZU8s5+Nlnn12teZQ1Ozu71lMAgFL82AsAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4eZHauXNnBoNB3v3udx/z3GAwyGAwyEUXXTQyvmPHjgwGg7z97W8fGd+7d28Gg0GuueaaJY1fe+21GQwGed/73jcyfuutt2YwGOQTn/jEMXPqe+7AgQMZDAb53Oc+NzJ+/fXXZzAY5IMf/ODI+O7duzMYDPKe97xnZPyOO+7IYDDInXfeueRzz8zMZNu2bTl06NDI+AMPPJDBYJCDBw+OjM/OzuaSSy7J7OzsktbQd3ySPPHEE9m9e3eeeOKJY547nr7j+86x3Ndfybn7rt849Z17nOsb15zWk5WsYRLW3WeS1zZOla6T+HmRGn6xO3z4cO8xXdeNPH7qqaeSJE8++eTI+MzMTJLky1/+8pLGv/SlLyVJvvjFL46M33HHHUmST33qU8fMpe+5m2++OUly0003jYwPw+O+++4bGf/617+eJHnwwQdHxm+99dYkyUc/+tEln3vfvn157rnn8v73v39k/EMf+lCSHBNeN9xwQ5555pnccMMNS1pD3/FJcvvtt+ehhx467rU6nr7j+86x3Ndfybn7rt849Z17nOsb15zWk5WsYRLW3WeS1zZOla6T+HkR2rlz58jjo3d/BoPByHPD3Z8dO3aMjA93f/bu3TsyPtzl6Ru/9tprR8aHuz/D+Bg6epel77kDBw4sBFrXdQs7J9dff/3I8cMI2b1798j4cPdnGDdDR+/+9J17ZmYmTz/9dJLk6aefXti9eOCBB3LkyJEkyZEjRxYibHZ2No888kiS5JFHHlmIz7419B2fzH33dO+996brutx7773P+11U3/F951ju66/k3H3Xb5z6zj3O9Y1rTuvJStYwCevuM8lrG6dq16kt3j04kdNPP7278sorl3Ts7OxsfvLzLs+88bIlHb/x8D1Jkp+d+9Ylz6fPaV+7M7/6kpbp6ekX/FqrbXZ2Nhs3bsxdd921MLY4cJLkC1/4wgmfW6vxE83poosuGtmdaq3l4MGDJ+Xcl1566cIX7yTZtGlT7r777mzfvn0hfpJkamoq999/f6688sqF0EiSLVu25JOf/GTvGvqOT+Z2iO65554cOXIkU1NTueSSS3L11VcfM8+hvuP7zrHc1z+Rvtfqu37j1Hfuca5vXHNaT1ayhklYd59JXts4Tep1aq0d6rpu6+Lx5935aa39dWttprU2s5xQgsX/v5zM/3+O/sJ99OOjw+fox0dHxtGP+9bQd3yS3H///SO7S4t/tLdY3/F951ju66/k3H3Xb5z6zj3O9Y1rTuvJStYwCevuM8lrG6dq12nq+Q7ouu5jST6WJJs3b+5uueWWJb3wnj17cuhbj72w2a3Qcy/7tUy/dnOWOte1tGfPnrWewqpprR2za3KybNq06Zidi2Rup2fxzk8yt6uyeJcl6V9D3/FJsn379pHvoN7ylreccK59x/edY7mvv5Jz912/ceo79zjXN645rScrWcMkrLvPJK9tnKpdJ/f8vAgt/nHdueee23vs8Ivx6aefPjJ+xhlnJEm2bh3d7bvgggtOOP7mN795ZPzCCy9Mklx++eUj4+94xzsW/tz33FVXXTUyPryHZ/FvqQ0/ZG94wxtGxs8777wkybve9a6R8aPvgeo79759+0bGh/cZLb6n6b3vfW+S5LrrrhsZHz7uW0Pf8UlyxRVX5JRT5j5aGzZsGLlWx9N3fN85lvv6Kzl33/Ubp75zj3N945rTerKSNUzCuvtM8trGqdp1Ej8vQrfddtvI46N/w2l4r8vQ8IbdAwcOjIx/9rOfTZLceOONI+Mf/vCHTzg+/E2ooQ984ANJjg2Qd77znQt/7ntux44dC3HWWsvb3va2JDnmt4eGAfKRj3xkZHz421WLA+eyy355H1nfubdu3bqwW7Fp06acf/75SZJt27Yt7PZMTU0thNj09PTCzsqWLVsWArRvDX3HJ8lZZ52Viy++OK21XHzxxTnrrLNyIn3H951jua+/knP3Xb9x6jv3ONc3rjmtJytZwySsu88kr22cql0n8fMiNfxCt5Rdn6Hh7s9w12douMsz3N15vvHh7s9w12doGCHH+46g77nhzsnif7dnGB2Lt1aHuz/DXZ+hYeQc79896jv3vn37csoppxyzazHc/RlG19B1112X00477Zgdl7419B2fzH0X9frXv37J3z31Hd93juW+/krO3Xf9xqnv3ONc37jmtJ6sZA2TsO4+k7y2cap0nZb1216bN2/uHntsaffxDO/5Wepvb43zt702Hr4n56+ze37Ww1wBYD1Z8W97AQBMEvEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKVPLOfilL33pas2jrOnp6bWeAgCUsqz4eeUrX7la8yhr165daz0FACjFj70AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKeIHAChF/AAApYgfAKAU8QMAlCJ+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQytZovvuGnP8rGw/cs8dgnkmTJxz/feZPNL/h1AIDJs2rxMz09vazjH330SJLknHPGES2bl31+AKCGVYufXbt2rdZLAwCsmHt+AIBSxA8AUIr4AQBKET8AQCniBwAoRfwAAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp4gcAKEX8AACliB8AoBTxAwCUIn4AgFLEDwBQivgBAEoRPwBAKa3ruqUf3NoPknx79abDGjg7yQ/XehKcNN7vOrzXtXi/j++3uq57xeLBZcUPk6e1NtN13da1ngcnh/e7Du91Ld7v5fFjLwCgFPEDAJQifvjYWk+Ak8r7XYf3uhbv9zK45wcAKMXODwBQivgBAEoRP4W01n6jtXawtfbN1tp/ttb2zI+f2Vq7r7X2X/P/PWOt58p4tNY2tNa+2lq7e/7xa1prX2mtzbbW/qW19pK1niPj0Vp7eWvtrtba4dbaw6213/fZnkyttavn/w7/Rmvt0621l/lsL4/4qeVIkr/tuu51SS5I8jettdcluSbJ57uu++0kn59/zGTYk+Thox7/Q5J/7LpuOsmTSf5qTWbFarglyb1d152b5Pcy9777bE+Y1to5SXYn2dp13e8m2ZDksvhsL4v4KaTruu91Xffg/J9/krm/HM9JsiPJ7fOH3Z7kT9ZkgoxVa+3VSS5Jctv845ZkW5K75g/xXk+I1trpSS5M8vEk6bru513X/Tg+25NqKsnG1tpUklOTfC8+28sifopqrW1J8qYkX0myueu6780/9f0km9dqXozVzUn+Lslz84/PSvLjruuOzD/+bubil/XvNUl+kOSf53/MeVtr7bT4bE+cruseTXJjku9kLnqeSnIoPtvLIn4Kaq1tSvJvSa7quu5/j36um/u3D/z7B+tca+3SJI93XXdorefCSTGV5Lwk/9R13ZuSPJNFP+Ly2Z4M8/dt7chc8P56ktOSXLymk1qHxE8xrbVfyVz43NF13Wfmhx9rrb1q/vlXJXl8rebH2PxBkj9urT2S5M7MbYnfkuTl81vlSfLqJI+uzfQYs+8m+W7XdV+Zf3xX5mLIZ3vybE/y313X/aDruv9L8pnMfd59tpdB/BQyf8/Hx5M83HXdTUc99e9Jrpj/8xVJDpzsuTFeXdf9fdd1r+66bkvmboZ8oOu6y5McTPKn84d5rydE13XfT/I/rbXfmR/6oyTfjM/2JPpOkgtaa6fO/50+fK99tpfBv/BcSGvtD5P8R5KH8sv7QK7N3H0//5rkN5N8O8mfdV33ozWZJGPXWhsk2dt13aWttddmbifozCRfTfIXXdc9u4bTY0xaa2/M3M3tL0nyrSR/mblvcH22J0xr7fokf5653+D9apKdmbvHx2d7icQPAFCKH3sBAKWIHwCgFPEDAJQifgCAUsQPAFCK+AEAShE/AEAp/w9YYoyKGu52vwAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkIAAAD4CAYAAAAAaYk6AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjQuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/MnkTPAAAACXBIWXMAAAsTAAALEwEAmpwYAAANc0lEQVR4nO3cf6zd9V3H8den7cY6qiIFGgPqHblmZAmODbJscVmQgenGGP5hjEZDY0z2jykFNEYNScHUP/ynQvqHCdmUkuh0orNCSCNMEv0Lc7thwIHxbClKM+hW3FhhsJR+/OOeMlpK7/nR03Pb9+OR3NzzPd9zvt/P95PvSZ73e765rfceAICK1sx7AAAA8yKEAICyhBAAUJYQAgDKEkIAQFnrxnnxRRdd1BcWFmY0FACA02ffvn3f6b1ffKrXjBVCCwsLWVpamm5UAABnQGvtuZVe46sxAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLLWnakd7dq1K4PBYOL3HzhwIEly6aWXnq4hvc3i4mK2bt06s+0DAKvLGQuhwWCQJ59+Jm+898KJ3r/21e8lSV54fTZDXvvqSzPZLgCwep2xEEqSN957YX5wxacneu/6Zx9JkonfP+r2AYA63CMEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlDVWCB08eHBW42DGdu3alV27ds17GACwqqwb58Wvv/76rMbBjA0Gg3kPAQBWHV+NAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIkSZaWlnLddddl3759J10/GAxy4403ZjAYTLT9PXv25Nprr81DDz100vWHDh3KrbfemkOHDk20/VGstI9p1896fLM27f7nPf5ZO9ePD6qe40KIJMldd92Vo0ePZvv27Sddv2PHjrzyyivZsWPHRNu/5557kiQ7d+486frdu3fnqaeeygMPPDDR9kex0j6mXT/r8c3atPuf9/hn7Vw/Pqh6jgshsrS0lMOHDydJDh8+/LarQoPBIPv370+S7N+/f+yrQnv27EnvPUnSe3/bVaFDhw5l79696b1n7969M/lrZKV9TLt+1uObtWn3P+/xz9q5fnxQ+RxfN86LX3vttWzbtm2iHQ0Gg6z5YZ/ovWfCmtdezmDw/YmPb7UbDAZZv379Sdfdddddxy1v3749Dz/88JvLJ14F2rFjR+6///6R933satAxO3fuzE033fTm8u7du3P06NEkyRtvvJEHHnggt99++8jbH8VK+5h2/azHN2vT7n/e45+1c/34oPI5vuIVodba51prS621pWN/1XNuOXY16J2Wj10NeqfllZx43py4/Nhjj+XIkSNJkiNHjuTRRx8da/ujWGkf066f9fhmbdr9z3v8s3auHx9UPsdXvCLUe78vyX1JsmnTpn7vvfdOtKNt27Zl3zdfnOi9Z8LR9/x4Fi/flEmPb7U71ZWuDRs2HBc/GzZsOG79wsLCcfGzsLAw1r5ba8fFT2vtuPXXX399HnnkkRw5ciTr1q3LDTfcMNb2R7HSPqZdP+vxzdq0+5/3+GftXD8+qHyOu0eIt301dvfddx+3fOedd55yeSW33Xbbcct33HHHcctbtmzJmjXLp+LatWtzyy23jLX9Uay0j2nXz3p8szbt/uc9/lk7148PKp/jQohcc801b14F2rBhQ66++urj1i8uLr55FWhhYSGLi4tjbf/mm29+8ypQa+24+4OSZOPGjdm8eXNaa9m8eXM2btw44ZG8s5X2Me36WY9v1qbd/7zHP2vn+vFB5XNcCJFk+arQmjVr3nY16Jg777wz559//thXg445dlXoxKtBx2zZsiVXXnnlTP8KWWkf066f9fhmbdr9z3v8s3auHx9UPcfbODdAb9q0qb/44mT3+Ry7R+gHV3x6ovevf/aRJJn4/aNs/+oC9widq8cHACdqre3rvV9zqte4IgQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKGvdOC8+77zzZjUOZmxxcXHeQwCAVWesELrkkktmNQ5mbOvWrfMeAgCsOr4aAwDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsoQQAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQ1rozubO1r76U9c8+MuF7DyXJxO9fefsvJdk0k20DAKvTGQuhxcXFqd5/4MCRJMmll84qVjZNPUYA4OxyxkJo69atZ2pXAAAjcY8QAFCWEAIAyhJCAEBZQggAKEsIAQBlCSEAoCwhBACUJYQAgLKEEABQlhACAMoSQgBAWUIIAChLCAEAZQkhAKAsIQQAlCWEAICyhBAAUJYQAgDKEkIAQFlCCAAoq/XeR39xa99O8tzshnPWuyjJd+Y9iLOY+ZueOZyO+ZueOZyO+ZvOifP3s733i0/1hrFCiFNrrS313q+Z9zjOVuZveuZwOuZveuZwOuZvOpPMn6/GAICyhBAAUJYQOr3um/cAznLmb3rmcDrmb3rmcDrmbzpjz597hACAslwRAgDKEkIAQFlCaEKttb9orR1srT39lucubK092lr77+Hvn5znGFez1tpPt9Yeb619vbX2n621bcPnzeEIWmvvaa39e2vtP4bzd/fw+fe11p5orQ1aa3/bWnv3vMe6mrXW1rbWvtZae3i4bP7G0Frb31p7qrX2ZGttaficz/AYWmsXtNYebK0921p7prX2MXM4mtba+4fn3rGfl1trt407f0Jocvcn2XzCc3+Q5Cu9959L8pXhMid3JMnv9t4/kOSjSX6ntfaBmMNRvZ7kut77B5NclWRza+2jSf40yZ/13heT/F+S357fEM8K25I885Zl8ze+X+y9X/WW/93iMzyee5Ps7b1fkeSDWT4fzeEIeu//NTz3rkpydZJXk3w5Y86fEJpQ7/1fk7x0wtM3J9k9fLw7yS+fyTGdTXrv3+q9f3X4+PtZ/vBfGnM4kr7s8HDxXcOfnuS6JA8Onzd/p9BauyzJjUk+P1xuMX+ng8/wiFprP5HkE0m+kCS99x/23r8bcziJTyb5Ru/9uYw5f0Lo9NrUe//W8PELSTbNczBni9baQpIPJXki5nBkw691nkxyMMmjSb6R5Lu99yPDlzyf5bjk5O5J8vtJjg6XN8b8jasn+efW2r7W2ueGz/kMj+59Sb6d5C+HX9F+vrV2fszhJH4tyReHj8eaPyE0I335/xL43wQraK1tSPL3SW7rvb/81nXm8NR6728MLwlfluQjSa6Y74jOHq21zyQ52HvfN++xnOU+3nv/cJJPZfnr7U+8daXP8IrWJflwkj/vvX8oySs54Wscc7iy4b18n03ydyeuG2X+hNDp9WJr7aeSZPj74JzHs6q11t6V5Qj6q977PwyfNodjGl5KfzzJx5Jc0FpbN1x1WZID8xrXKvcLST7bWtuf5G+y/JXYvTF/Y+m9Hxj+PpjlezM+Ep/hcTyf5Pne+xPD5QezHEbmcDyfSvLV3vuLw+Wx5k8InV7/lGTL8PGWJHvmOJZVbXg/xheSPNN73/mWVeZwBK21i1trFwwfr09yQ5bvs3o8ya8MX2b+3kHv/Q9775f13heyfEn9X3rvvxHzN7LW2vmttR879jjJLyV5Oj7DI+u9v5Dkf1tr7x8+9ckkX485HNev50dfiyVjzp//LD2h1toXk1yb5KIkLybZnuQfk3wpyc8keS7Jr/beT7yhmiSttY8n+bckT+VH92j8UZbvEzKHK2it/XyWbwJcm+U/aL7Ue//j1trlWb7CcWGSryX5zd776/Mb6erXWrs2ye/13j9j/kY3nKsvDxfXJfnr3vuftNY2xmd4ZK21q7J8w/67k3wzyW9l+JmOOVzRMML/J8nlvffvDZ8b6xwUQgBAWb4aAwDKEkIAQFlCCAAoSwgBAGUJIQCgLCEEAJQlhACAsv4fCSUW4Wsti4sAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 720x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(train_a_len.min(), train_a_len.max()*1.1)\n",
    "sns.boxplot(x=train_a_len)\n",
    "\n",
    "plt.figure(figsize=(10,4))\n",
    "plt.xlim(val_a_len.min(), val_a_len.max()*1.1)\n",
    "sns.boxplot(x=val_a_len)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 167,
   "id": "eb24cf53-ece9-4f20-96d6-bd5a29c783f1",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "≪인간의 이해: 개념의 집단적 사용 및 진화 (1972)≫\n",
      "〈성당과 시장〉(The Cathedral and the Bazaar)\n",
      "룬그로 (이탈리아 대륙에 거주하는 아르버레셔인을 위한) 교구\n",
      "\"오 그 불쌍한 사람들... 그러나 그건 별로 중요하지 않아요! 중요한건 난 새로운 배달원이 필요했다는 거지!\"\n",
      "최근의 반도의 경제사범 ­국민의 신경제 윤리의 파악을 위하여­\n",
      "도스토옙스키가 침대 누워 구술한 것을 아내 안나가 속기 하여\n",
      "독일의 고전 문헌학자 헤르만 딜스가 이들 철학자의 단편들을 한데 모아 엮은 책의 제목\n",
      "시리아킬리키아 포에니케 (Syria-Cilicia Phoenice)\n",
      "“나는 국경일에 일장기를 게양하는 것을 반대하지 않는다. 왜냐하면 우리가 일본의 통치하에 있는 한 우리는 그 통치의 명령에 복종해야 하기 때문이다.”\n",
      "에모리 대학(Oxford College of Emory University)\n",
      "머리가 크고, 가늘고 허약해 보이는 동체를 꼬아놓은 모습\n",
      "“나리타처럼 되지 말자(成田のようにならないようにしよう )”\n",
      "프레드릭 S. 보아스 (Frederick S. Boas)\n",
      "고문서로 발견된 유물이 원어로는 존재하지 않고 번역된 언어로만 존재할 경우\n",
      "당대의 바빌로니아 기록들이 현재까지 별로 많이 남아있지 않기 때문\n",
      "샤 자한이 이 무덤을 지을 때 자신이 그녀의 옆에 묻힐 것을 예상하지 못하였기 때문\n",
      "형태에 있어 거의 혹은 전혀 자유가 없어 다양한 번역을 창조해내기가 불가능하고 시구 구조에서도 다른 여지를 찾기 어려운 탓이다.\n",
      "\"소유의 절반을 가난한 자들에게 주겠으며, 만일 누구의 것을 부당하게 취한 일이 있으며 사 배나 보상할 것\"\n",
      "“부르주아 독재(Dictatorship of the bourgeoisie)”\n",
      "한겨레가 삼성에 대해 악의적인 보도로 일관하고 있다고 판단\n",
      "매킨토시와 도스 상에서 ‘설정 가능한’ 플랫 파일 데이터베이스 응용 프로그램\n",
      "주거 및 상업시설 복합 건축물의 상업 지역 부분 옥상 등지\n",
      "제9번이 마지막 교향곡이 된다는 운명적 신화 (9번 교향곡의 저주)\n",
      "황도철학이라는 어용 학문을 연구해 다수의 논설을 발표한 일\n",
      "USS 사라토가 호에서 조지 로엡이 흑인 수병 해럴드 J. 맨스필드를 총으로 쏘아 살해한 사건\n",
      "percentage of answers longer than 30 0.6325910931174089\n"
     ]
    }
   ],
   "source": [
    "count = 0 \n",
    "for a in train_answers:\n",
    "    if len(a) > 30:\n",
    "        print(a)\n",
    "        count += 1\n",
    "\n",
    "print('percentage of answers longer than 30:', count/len(train_answers) * 100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 168,
   "id": "f91d3175-f4a3-472b-b98f-cb98484d38b5",
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "깃털 셔틀콕의 타구감을 선호하고, 또한 플라스틱보다 깃털 셔틀콕이 정교한 컨트롤을 하기에 보다 더 적합하기 때문이다\n",
      "본국 의회가 식민지에 대한 입법을 “어떤 경우에도 행할 수” 있도록 하였다\n",
      "걸프 카르텔(카르텔 델 골포: Cartel del golfo)\n",
      "트르피미로비치 왕조(Trpimirović) 출신의 문치미르\n",
      "percentage of answers longer than 30: 1.6666666666666667\n"
     ]
    }
   ],
   "source": [
    "count = 0\n",
    "for a in val_answers:\n",
    "    if len(a) > 30:\n",
    "        print(a)\n",
    "        count += 1\n",
    "\n",
    "print('percentage of answers longer than 30:',count/len(val_answers) * 100)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d61ad8d2-7091-4144-a8b7-170db21533a8",
   "metadata": {},
   "source": [
    "#### Titles"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 186,
   "id": "0c8ec124-a70c-4c0b-8634-a8da9acb2b40",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>answer</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>미국 상원</td>\n",
       "      <td>하원</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>인사조직관리</td>\n",
       "      <td>《경영의 실제》</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>강희제</td>\n",
       "      <td>백성</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>금동삼존불감</td>\n",
       "      <td>중국</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>계사명 사리구</td>\n",
       "      <td>4개</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3947</th>\n",
       "      <td>이오 (위성)</td>\n",
       "      <td>지질 구조</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3948</th>\n",
       "      <td>내니 다이어리</td>\n",
       "      <td>뉴저지</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3949</th>\n",
       "      <td>빈 필하모니 관현악단</td>\n",
       "      <td>칼 에케르트</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3950</th>\n",
       "      <td>드래곤</td>\n",
       "      <td>슬라브 신화</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3951</th>\n",
       "      <td>2011년 함부르크 주의회 선거</td>\n",
       "      <td>크리스토포 알하우스</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>3952 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                  title      answer\n",
       "0                 미국 상원          하원\n",
       "1                인사조직관리    《경영의 실제》\n",
       "2                   강희제          백성\n",
       "3                금동삼존불감          중국\n",
       "4               계사명 사리구          4개\n",
       "...                 ...         ...\n",
       "3947            이오 (위성)       지질 구조\n",
       "3948            내니 다이어리         뉴저지\n",
       "3949        빈 필하모니 관현악단      칼 에케르트\n",
       "3950                드래곤      슬라브 신화\n",
       "3951  2011년 함부르크 주의회 선거  크리스토포 알하우스\n",
       "\n",
       "[3952 rows x 2 columns]"
      ]
     },
     "execution_count": 186,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame()\n",
    "df = df.assign(title=datasets['train']['title'])\n",
    "df = df.assign(answer=train_answers)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 188,
   "id": "62fa1a26-50a1-449e-a8d3-91483f273134",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>answer</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>전효숙</td>\n",
       "      <td>한보철강</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>스토우빌선</td>\n",
       "      <td>1871년</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>촐라</td>\n",
       "      <td>나뭇잎</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>백조 기사</td>\n",
       "      <td>금대야</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>탈관료제화</td>\n",
       "      <td>수평적 관계</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>235</th>\n",
       "      <td>전단 (제나라)</td>\n",
       "      <td>제 양왕</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>236</th>\n",
       "      <td>티칼</td>\n",
       "      <td>'일곱 개의 신전 광장'</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>237</th>\n",
       "      <td>윤치호</td>\n",
       "      <td>미나미 지로</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>238</th>\n",
       "      <td>신잉카국</td>\n",
       "      <td>200,000명</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>239</th>\n",
       "      <td>레닌주의</td>\n",
       "      <td>공산주의</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>240 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        title         answer\n",
       "0         전효숙           한보철강\n",
       "1       스토우빌선          1871년\n",
       "2          촐라            나뭇잎\n",
       "3       백조 기사            금대야\n",
       "4       탈관료제화         수평적 관계\n",
       "..        ...            ...\n",
       "235  전단 (제나라)           제 양왕\n",
       "236        티칼  '일곱 개의 신전 광장'\n",
       "237       윤치호         미나미 지로\n",
       "238      신잉카국       200,000명\n",
       "239      레닌주의           공산주의\n",
       "\n",
       "[240 rows x 2 columns]"
      ]
     },
     "execution_count": 188,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame()\n",
    "df = df.assign(title=datasets['validation']['title'])\n",
    "df = df.assign(answer=val_answers)\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e29406dc-0288-43f8-a6a9-ecd45dbeac66",
   "metadata": {},
   "source": [
    "#### 중복 찾기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "b54de5af-f6d8-466b-93e6-86561179c9d7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "56737\n"
     ]
    }
   ],
   "source": [
    "print(len(wiki_corpus))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "9d770e2d-681f-4b54-b886-4d86fdfb6f6d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "3504\n"
     ]
    }
   ],
   "source": [
    "print(len(contexts))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "673918b6-bc3b-47fe-ac78-40ffa1b226f5",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "3504\n"
     ]
    }
   ],
   "source": [
    "wiki_corpus = set(wiki_corpus)\n",
    "contexts = set(contexts)\n",
    "\n",
    "a = wiki_corpus & contexts\n",
    "print(len(a))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "32338c0e-ec70-4b0f-a2d0-9f1f8f6efc65",
   "metadata": {},
   "outputs": [],
   "source": [
    "val_corpus = datasets['validation']['context']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "71408818-21f0-4524-8c67-c2cc1ceae054",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "235"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(list(set(val_corpus)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "27630ca4-8436-40de-b80c-df55458bf9e8",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_corpus = datasets['train']['context']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "ef8929fa-ac29-46f9-a441-aa5a366f9c15",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3340"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(list(set(train_corpus)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "56dc3249-9ce4-4427-9554-3cdb7aaa1b73",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3952"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(train_corpus)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "34925c47-13ff-4741-beac-68d3a5b18dc6",
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    },
    "tags": []
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "DatasetDict({\n",
      "    train: Dataset({\n",
      "        features: ['__index_level_0__', 'answers', 'context', 'document_id', 'id', 'question', 'title'],\n",
      "        num_rows: 3952\n",
      "    })\n",
      "    validation: Dataset({\n",
      "        features: ['__index_level_0__', 'answers', 'context', 'document_id', 'id', 'question', 'title'],\n",
      "        num_rows: 240\n",
      "    })\n",
      "})\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[{'answer_start': [235], 'text': ['하원']},\n",
       " {'answer_start': [212], 'text': ['《경영의 실제》']},\n",
       " {'answer_start': [510], 'text': ['백성']},\n",
       " {'answer_start': [625], 'text': ['중국']},\n",
       " {'answer_start': [30], 'text': ['4개']},\n",
       " {'answer_start': [91], 'text': ['드래곤']},\n",
       " {'answer_start': [68], 'text': ['형양태수 왕식']},\n",
       " {'answer_start': [583], 'text': ['이탈리아군']},\n",
       " {'answer_start': [195], 'text': ['큰아들 유']},\n",
       " {'answer_start': [861], 'text': ['왕대마을']},\n",
       " {'answer_start': [817], 'text': ['음독자살']},\n",
       " {'answer_start': [414], 'text': ['출장 잦은 건축가']},\n",
       " {'answer_start': [86], 'text': ['반신화적인 인물인 우파']},\n",
       " {'answer_start': [26], 'text': ['1951년']},\n",
       " {'answer_start': [497], 'text': ['예수']},\n",
       " {'answer_start': [524], 'text': [\"'초일기'\"]},\n",
       " {'answer_start': [414], 'text': ['1916년']},\n",
       " {'answer_start': [13], 'text': ['레드삭스']},\n",
       " {'answer_start': [228], 'text': ['삼판동']},\n",
       " {'answer_start': [585], 'text': ['다산 정약용']},\n",
       " {'answer_start': [166], 'text': ['대나라']},\n",
       " {'answer_start': [142], 'text': ['10달러']},\n",
       " {'answer_start': [59], 'text': ['1945년']},\n",
       " {'answer_start': [149], 'text': ['사립 김노인 고등학교']},\n",
       " {'answer_start': [263], 'text': ['체벽에 잇는 감지기']},\n",
       " {'answer_start': [87], 'text': ['근대철학']},\n",
       " {'answer_start': [76], 'text': ['215km']},\n",
       " {'answer_start': [321], 'text': ['마커트리로 장식을 한 트롱프 뢰유']},\n",
       " {'answer_start': [256], 'text': ['아르투로']},\n",
       " {'answer_start': [1135], 'text': ['조립 라인']},\n",
       " {'answer_start': [580], 'text': ['우전왕(優塡王)식 착의법']},\n",
       " {'answer_start': [694], 'text': ['친구']},\n",
       " {'answer_start': [372], 'text': ['2015년']},\n",
       " {'answer_start': [606], 'text': ['케이스 커크']},\n",
       " {'answer_start': [209], 'text': ['직사각형']},\n",
       " {'answer_start': [124], 'text': ['상인']},\n",
       " {'answer_start': [228], 'text': ['중국']},\n",
       " {'answer_start': [284], 'text': ['지상요원들']},\n",
       " {'answer_start': [68], 'text': ['시조 거인']},\n",
       " {'answer_start': [120], 'text': [\"'발라즈 찬 카이이'\"]},\n",
       " {'answer_start': [323], 'text': ['1964년 12월 12일']},\n",
       " {'answer_start': [1264], 'text': ['NADPH']},\n",
       " {'answer_start': [0], 'text': ['그리고리 신부(Father Grigori)']},\n",
       " {'answer_start': [602], 'text': ['헌법 제12조 제3항']},\n",
       " {'answer_start': [335], 'text': ['1907년까지']},\n",
       " {'answer_start': [186], 'text': ['부근 북동부']},\n",
       " {'answer_start': [663], 'text': ['덱']},\n",
       " {'answer_start': [669], 'text': ['평사낙안형']},\n",
       " {'answer_start': [456], 'text': ['집정관']},\n",
       " {'answer_start': [332], 'text': ['2004년']},\n",
       " {'answer_start': [477], 'text': ['2002']},\n",
       " {'answer_start': [761], 'text': ['빌 비크']},\n",
       " {'answer_start': [426], 'text': ['사대부']},\n",
       " {'answer_start': [498], 'text': ['19 K 이하']},\n",
       " {'answer_start': [186], 'text': ['이탈리아 피아트 사']},\n",
       " {'answer_start': [268], 'text': ['임수정']},\n",
       " {'answer_start': [342], 'text': ['깨진 술잔']},\n",
       " {'answer_start': [235], 'text': ['공산주의']},\n",
       " {'answer_start': [153], 'text': ['≪인간의 이해: 개념의 집단적 사용 및 진화 (1972)≫']},\n",
       " {'answer_start': [554], 'text': ['경례']},\n",
       " {'answer_start': [170], 'text': ['상원']},\n",
       " {'answer_start': [11], 'text': ['14세기']},\n",
       " {'answer_start': [317], 'text': ['〈마브루공(公)〉']},\n",
       " {'answer_start': [34], 'text': ['마수드의 군대']},\n",
       " {'answer_start': [809], 'text': ['라틴어']},\n",
       " {'answer_start': [82], 'text': ['핑둥현']},\n",
       " {'answer_start': [0], 'text': ['나고야']},\n",
       " {'answer_start': [501], 'text': ['1753년']},\n",
       " {'answer_start': [144], 'text': ['새로 조직된 훈련대의 제1대 대대장']},\n",
       " {'answer_start': [515], 'text': ['장시성']},\n",
       " {'answer_start': [1086], 'text': ['왕권']},\n",
       " {'answer_start': [156], 'text': ['표트르 1세']},\n",
       " {'answer_start': [501], 'text': ['하세가와 마나미']},\n",
       " {'answer_start': [481], 'text': ['독립 선언식']},\n",
       " {'answer_start': [589], 'text': ['평형상태']},\n",
       " {'answer_start': [142], 'text': ['리더']},\n",
       " {'answer_start': [11], 'text': ['〈성당과 시장〉(The Cathedral and the Bazaar)']},\n",
       " {'answer_start': [257], 'text': ['바순']},\n",
       " {'answer_start': [579], 'text': ['골']},\n",
       " {'answer_start': [405], 'text': ['마케도니아의 장군 알렉산더 3세']},\n",
       " {'answer_start': [0], 'text': ['2000년']},\n",
       " {'answer_start': [1142], 'text': [\"'길버트 에드워드'\"]},\n",
       " {'answer_start': [53], 'text': ['소련']},\n",
       " {'answer_start': [214], 'text': ['오아하카주']},\n",
       " {'answer_start': [286], 'text': ['〈목포의 눈물〉']},\n",
       " {'answer_start': [491], 'text': ['일본']},\n",
       " {'answer_start': [171], 'text': ['상사병']},\n",
       " {'answer_start': [447], 'text': ['송기중 교수']},\n",
       " {'answer_start': [316], 'text': ['의사']},\n",
       " {'answer_start': [340], 'text': ['벵골 분할령']},\n",
       " {'answer_start': [300], 'text': ['마이스터고']},\n",
       " {'answer_start': [528], 'text': ['자크 리비에르']},\n",
       " {'answer_start': [230], 'text': ['도에이 버스']},\n",
       " {'answer_start': [10], 'text': ['러시아인']},\n",
       " {'answer_start': [328], 'text': ['명령형 프로그램']},\n",
       " {'answer_start': [58], 'text': ['장치게']},\n",
       " {'answer_start': [61], 'text': ['도메니코 스카를라티']},\n",
       " {'answer_start': [0], 'text': ['로널드 레이건 대통령']},\n",
       " {'answer_start': [380], 'text': ['창작자']},\n",
       " {'answer_start': [377], 'text': ['와일드 플라워즈']},\n",
       " {'answer_start': [947], 'text': ['대통령 박정희']},\n",
       " {'answer_start': [132], 'text': ['페르난도']},\n",
       " {'answer_start': [286], 'text': ['도미노 피자']},\n",
       " {'answer_start': [107], 'text': ['와쿠이 히데아키']},\n",
       " {'answer_start': [261], 'text': ['티센크루프의 행선층 예약시스템인 DSC']},\n",
       " {'answer_start': [165], 'text': ['인상']},\n",
       " {'answer_start': [177], 'text': ['세균']},\n",
       " {'answer_start': [328], 'text': ['린다 우드로']},\n",
       " {'answer_start': [519], 'text': ['교육부']},\n",
       " {'answer_start': [400], 'text': ['샘']},\n",
       " {'answer_start': [257], 'text': ['화이트워터 사건']},\n",
       " {'answer_start': [412], 'text': ['맹인 잔치']},\n",
       " {'answer_start': [428], 'text': ['상류 여성']},\n",
       " {'answer_start': [385], 'text': ['1991년']},\n",
       " {'answer_start': [163], 'text': ['소년 크리슈나무르티']},\n",
       " {'answer_start': [644], 'text': ['몰타']},\n",
       " {'answer_start': [81], 'text': ['마르두크 신의 상']},\n",
       " {'answer_start': [176], 'text': ['강점']},\n",
       " {'answer_start': [103], 'text': ['괴팅겐에 있는 자신의 삼촌의 은행']},\n",
       " {'answer_start': [1], 'text': ['강석']},\n",
       " {'answer_start': [126], 'text': ['중화민국 임시정부']},\n",
       " {'answer_start': [890], 'text': ['밀라노 공작칭호']},\n",
       " {'answer_start': [439], 'text': ['대한민국 동해']},\n",
       " {'answer_start': [551], 'text': ['룬그로 (이탈리아 대륙에 거주하는 아르버레셔인을 위한) 교구']},\n",
       " {'answer_start': [427], 'text': ['우주 제국의 코리노 황가의 황제인 사담 4세']},\n",
       " {'answer_start': [415], 'text': ['살생부']},\n",
       " {'answer_start': [85], 'text': ['1960년']},\n",
       " {'answer_start': [148], 'text': ['56개']},\n",
       " {'answer_start': [91], 'text': ['1895년 12월 28일']},\n",
       " {'answer_start': [441], 'text': ['쿠빌라이']},\n",
       " {'answer_start': [1107], 'text': ['2001년']},\n",
       " {'answer_start': [301], 'text': ['용정 해관']},\n",
       " {'answer_start': [320], 'text': ['세계의 목구멍']},\n",
       " {'answer_start': [276], 'text': ['잠재의식']},\n",
       " {'answer_start': [430], 'text': ['66세']},\n",
       " {'answer_start': [244], 'text': ['피터 실턴']},\n",
       " {'answer_start': [202], 'text': ['‘전의식’(前意識)']},\n",
       " {'answer_start': [239], 'text': ['우루시올(urushiol)']},\n",
       " {'answer_start': [483], 'text': ['나폴리']},\n",
       " {'answer_start': [73], 'text': ['북위 10도 남쪽의 대류']},\n",
       " {'answer_start': [93], 'text': ['인터넷 익스플로러']},\n",
       " {'answer_start': [0], 'text': ['위생위원회']},\n",
       " {'answer_start': [351], 'text': ['바이올리니스트']},\n",
       " {'answer_start': [106], 'text': ['몬트하임']},\n",
       " {'answer_start': [365], 'text': ['에도 말기']},\n",
       " {'answer_start': [804], 'text': ['이응']},\n",
       " {'answer_start': [338], 'text': ['연평균 10%']},\n",
       " {'answer_start': [53], 'text': ['아물라드']},\n",
       " {'answer_start': [693], 'text': ['디지털 유통']},\n",
       " {'answer_start': [46], 'text': ['1088년']},\n",
       " {'answer_start': [7], 'text': ['《비유클리드 기하학의 해석에 대한 에세이》']},\n",
       " {'answer_start': [95], 'text': ['농업']},\n",
       " {'answer_start': [450], 'text': ['노하라 신노스케']},\n",
       " {'answer_start': [0], 'text': ['애플']},\n",
       " {'answer_start': [70], 'text': ['천인감응의 정통사상']},\n",
       " {'answer_start': [1839], 'text': ['알베르트 아인슈타인']},\n",
       " {'answer_start': [197], 'text': ['독일']},\n",
       " {'answer_start': [543], 'text': ['빈']},\n",
       " {'answer_start': [358], 'text': ['배액']},\n",
       " {'answer_start': [152], 'text': ['이태준']},\n",
       " {'answer_start': [1017], 'text': ['1503년 5월 31일']},\n",
       " {'answer_start': [442], 'text': ['호모 사피엔스']},\n",
       " {'answer_start': [460], 'text': ['오스만 제국']},\n",
       " {'answer_start': [100], 'text': ['드 네그리에 장군']},\n",
       " {'answer_start': [122], 'text': ['1931년']},\n",
       " {'answer_start': [532], 'text': ['리훈춘(Li Fuchun)과 결혼']},\n",
       " {'answer_start': [308], 'text': ['1843년']},\n",
       " {'answer_start': [190], 'text': ['에흐네가 죽은 뒤']},\n",
       " {'answer_start': [561], 'text': ['해시개']},\n",
       " {'answer_start': [171], 'text': ['조선건국준비위원회']},\n",
       " {'answer_start': [84], 'text': ['넷째 부인']},\n",
       " {'answer_start': [616], 'text': ['러일전쟁']},\n",
       " {'answer_start': [35], 'text': ['화강암']},\n",
       " {'answer_start': [0], 'text': ['1578년']},\n",
       " {'answer_start': [963], 'text': ['마무드 2세']},\n",
       " {'answer_start': [131], 'text': ['1864년']},\n",
       " {'answer_start': [258], 'text': ['니켈 촉매']},\n",
       " {'answer_start': [671], 'text': ['무료 법률지원']},\n",
       " {'answer_start': [14], 'text': ['기독교']},\n",
       " {'answer_start': [202], 'text': ['엇박자 맥박이 나오는 부위']},\n",
       " {'answer_start': [165], 'text': ['이영희 막달레나']},\n",
       " {'answer_start': [584], 'text': ['2007년']},\n",
       " {'answer_start': [52], 'text': ['무장 괴한']},\n",
       " {'answer_start': [73], 'text': ['약 2% 정도']},\n",
       " {'answer_start': [292], 'text': ['1966년']},\n",
       " {'answer_start': [315], 'text': ['두 언어']},\n",
       " {'answer_start': [516], 'text': ['프레슬리 오배넌']},\n",
       " {'answer_start': [82], 'text': ['일본 전국시대']},\n",
       " {'answer_start': [189], 'text': ['《사이좋은 가우스전자》']},\n",
       " {'answer_start': [379], 'text': ['꽃']},\n",
       " {'answer_start': [230], 'text': ['대규모 군사 훈련']},\n",
       " {'answer_start': [331], 'text': ['6량']},\n",
       " {'answer_start': [121], 'text': ['1930년대']},\n",
       " {'answer_start': [72], 'text': ['경석(김규철 분)']},\n",
       " {'answer_start': [187], 'text': ['미쓰히데 군']},\n",
       " {'answer_start': [19], 'text': [\"'좌표의 세계'\"]},\n",
       " {'answer_start': [207], 'text': ['예수 그리스도']},\n",
       " {'answer_start': [494], 'text': ['왕봉']},\n",
       " {'answer_start': [0], 'text': ['조선중앙일보']},\n",
       " {'answer_start': [688], 'text': ['마렉 아시라프']},\n",
       " {'answer_start': [503], 'text': ['고려 전기']},\n",
       " {'answer_start': [645], 'text': ['인종주의']},\n",
       " {'answer_start': [79], 'text': ['김종익']},\n",
       " {'answer_start': [194], 'text': ['소영']},\n",
       " {'answer_start': [232], 'text': ['미국 국제 재판소']},\n",
       " {'answer_start': [851], 'text': ['아이다']},\n",
       " {'answer_start': [290], 'text': ['판테온']},\n",
       " {'answer_start': [364], 'text': ['셀레우키아크테시폰의 주교']},\n",
       " {'answer_start': [754], 'text': ['문제의 핵심적 내용']},\n",
       " {'answer_start': [597], 'text': ['여호람']},\n",
       " {'answer_start': [478], 'text': ['반장']},\n",
       " {'answer_start': [462], 'text': ['콘스탄티노폴리스 총대주교']},\n",
       " {'answer_start': [153], 'text': ['동양적인 부드러움']},\n",
       " {'answer_start': [1068], 'text': ['질 오르가슴']},\n",
       " {'answer_start': [18], 'text': ['CYP효소']},\n",
       " {'answer_start': [278], 'text': ['아케르나르']},\n",
       " {'answer_start': [587], 'text': ['1944년']},\n",
       " {'answer_start': [325], 'text': ['베이징 조약 체결 이후']},\n",
       " {'answer_start': [314], 'text': ['햣켄 해자']},\n",
       " {'answer_start': [407], 'text': [\"'일반고 점프업'\"]},\n",
       " {'answer_start': [228], 'text': ['교황 비오 12세']},\n",
       " {'answer_start': [180], 'text': ['네이팜탄 불길']},\n",
       " {'answer_start': [269], 'text': ['마법']},\n",
       " {'answer_start': [106], 'text': ['세계 최장수 기록']},\n",
       " {'answer_start': [1044], 'text': ['이스라엘']},\n",
       " {'answer_start': [917], 'text': ['살리카 법']},\n",
       " {'answer_start': [327], 'text': ['유독성 폐기물 매립장 건설 인가권']},\n",
       " {'answer_start': [805], 'text': ['1665년']},\n",
       " {'answer_start': [509], 'text': ['나구모 주이치(南雲忠一) 중장']},\n",
       " {'answer_start': [101], 'text': ['삼국사기']},\n",
       " {'answer_start': [136], 'text': ['영국']},\n",
       " {'answer_start': [44], 'text': ['알렉산드로스 1세']},\n",
       " {'answer_start': [454], 'text': ['계몽주의']},\n",
       " {'answer_start': [337], 'text': ['5억 달러']},\n",
       " {'answer_start': [678], 'text': ['신무신론']},\n",
       " {'answer_start': [710], 'text': ['700개']},\n",
       " {'answer_start': [275], 'text': ['반원형']},\n",
       " {'answer_start': [450], 'text': ['출판 경영']},\n",
       " {'answer_start': [120], 'text': ['프랑스']},\n",
       " {'answer_start': [102], 'text': ['오디세우스']},\n",
       " {'answer_start': [116], 'text': ['프랑스']},\n",
       " {'answer_start': [209], 'text': ['기름을 만드는 데']},\n",
       " {'answer_start': [0], 'text': ['윤보선']},\n",
       " {'answer_start': [411], 'text': ['테르미도르의 쿠데타']},\n",
       " {'answer_start': [184], 'text': ['프리오노수쿠스']},\n",
       " {'answer_start': [353], 'text': ['사람']},\n",
       " {'answer_start': [709], 'text': ['사리사']},\n",
       " {'answer_start': [84], 'text': ['히로시마 도요 카프']},\n",
       " {'answer_start': [627], 'text': ['중국']},\n",
       " {'answer_start': [359], 'text': ['얀 후스']},\n",
       " {'answer_start': [650], 'text': ['슈퍼마리오 64 게임']},\n",
       " {'answer_start': [505], 'text': ['별']},\n",
       " {'answer_start': [440], 'text': ['네덜란드']},\n",
       " {'answer_start': [620], 'text': ['기원전 310년']},\n",
       " {'answer_start': [572], 'text': ['괭이갈매기']},\n",
       " {'answer_start': [213], 'text': ['이철수']},\n",
       " {'answer_start': [123], 'text': ['근우회']},\n",
       " {'answer_start': [510], 'text': ['이라크 공화국 수비대']},\n",
       " {'answer_start': [332], 'text': ['중성자를 쉽게 흡수하지 않기 때문']},\n",
       " {'answer_start': [327], 'text': ['마케도니아군']},\n",
       " {'answer_start': [277], 'text': ['마오쩌둥']},\n",
       " {'answer_start': [5], 'text': ['1521년']},\n",
       " {'answer_start': [168], 'text': ['9세']},\n",
       " {'answer_start': [232], 'text': ['군정청']},\n",
       " {'answer_start': [762], 'text': ['3급 살인']},\n",
       " {'answer_start': [355], 'text': ['트랴피친']},\n",
       " {'answer_start': [360], 'text': ['근초고왕']},\n",
       " {'answer_start': [549], 'text': ['12시간']},\n",
       " {'answer_start': [229], 'text': ['16세기']},\n",
       " {'answer_start': [987], 'text': ['노릉(魯陵)']},\n",
       " {'answer_start': [664], 'text': ['매리너']},\n",
       " {'answer_start': [231], 'text': ['2004년']},\n",
       " {'answer_start': [198], 'text': ['《극도의 슬픔으로》']},\n",
       " {'answer_start': [345], 'text': ['1856년']},\n",
       " {'answer_start': [280], 'text': ['생활비']},\n",
       " {'answer_start': [681], 'text': ['세이부']},\n",
       " {'answer_start': [794], 'text': ['1994년']},\n",
       " {'answer_start': [35], 'text': ['바르샤바 정찰대']},\n",
       " {'answer_start': [191], 'text': ['6월 15일']},\n",
       " {'answer_start': [449], 'text': ['제리 양']},\n",
       " {'answer_start': [302], 'text': ['작은 차체']},\n",
       " {'answer_start': [216], 'text': ['미 해병대']},\n",
       " {'answer_start': [1590], 'text': ['인도']},\n",
       " {'answer_start': [381], 'text': ['프랑스']},\n",
       " {'answer_start': [119], 'text': ['2015년 하계 유니버시아드']},\n",
       " {'answer_start': [41], 'text': ['그리스인들에게 보노수스라고도 불리는 보니파시오']},\n",
       " {'answer_start': [289], 'text': ['황색현']},\n",
       " {'answer_start': [247], 'text': ['93평방미터(36 평방마일)']},\n",
       " {'answer_start': [1289], 'text': ['노동자계급']},\n",
       " {'answer_start': [47], 'text': ['핸드볼']},\n",
       " {'answer_start': [632], 'text': ['존 브래드스트리트 중장']},\n",
       " {'answer_start': [66], 'text': ['몽골']},\n",
       " {'answer_start': [706], 'text': ['이탈리아']},\n",
       " {'answer_start': [251], 'text': ['혜문왕']},\n",
       " {'answer_start': [5], 'text': ['배재학당']},\n",
       " {'answer_start': [432], 'text': ['요한 B. 크라머']},\n",
       " {'answer_start': [82], 'text': ['노무라 가쓰야']},\n",
       " {'answer_start': [182], 'text': ['아토피 피부염']},\n",
       " {'answer_start': [625], 'text': ['도르곤']},\n",
       " {'answer_start': [528], 'text': ['만화가']},\n",
       " {'answer_start': [115], 'text': ['에이잔 전철']},\n",
       " {'answer_start': [945], 'text': ['16년만']},\n",
       " {'answer_start': [421], 'text': ['귀']},\n",
       " {'answer_start': [69], 'text': ['알바의 여전사']},\n",
       " {'answer_start': [64], 'text': ['초월적인 존재(신)']},\n",
       " {'answer_start': [787], 'text': ['제3회 제천국제영화제']},\n",
       " {'answer_start': [54], 'text': ['방송계']},\n",
       " {'answer_start': [505], 'text': ['흑두병']},\n",
       " {'answer_start': [77], 'text': ['상비품']},\n",
       " {'answer_start': [26], 'text': ['다섯가지 색']},\n",
       " {'answer_start': [88], 'text': ['쓰시마층']},\n",
       " {'answer_start': [179], 'text': ['끊김']},\n",
       " {'answer_start': [535], 'text': ['2년']},\n",
       " {'answer_start': [198], 'text': ['고기 만두']},\n",
       " {'answer_start': [102], 'text': ['느헤미야']},\n",
       " {'answer_start': [116], 'text': ['3년']},\n",
       " {'answer_start': [27], 'text': ['일제 강점기']},\n",
       " {'answer_start': [300], 'text': ['1965년']},\n",
       " {'answer_start': [440], 'text': ['1810년대']},\n",
       " {'answer_start': [545], 'text': ['비트코스']},\n",
       " {'answer_start': [1327], 'text': ['1926년 5월 14일']},\n",
       " {'answer_start': [44], 'text': ['1610년']},\n",
       " {'answer_start': [134], 'text': ['경원대군']},\n",
       " {'answer_start': [433], 'text': ['레오니다스를 죽이려고']},\n",
       " {'answer_start': [0], 'text': ['중앙은행']},\n",
       " {'answer_start': [525], 'text': ['학교']},\n",
       " {'answer_start': [30], 'text': ['1951년 9월 28일']},\n",
       " {'answer_start': [510], 'text': ['명령형 언어']},\n",
       " {'answer_start': [355], 'text': ['육군 병장으로 복무']},\n",
       " {'answer_start': [700], 'text': ['기원전 56년']},\n",
       " {'answer_start': [1054], 'text': ['978년']},\n",
       " {'answer_start': [648], 'text': ['영지주의자']},\n",
       " {'answer_start': [131], 'text': ['빛 현미경']},\n",
       " {'answer_start': [738], 'text': ['1927년']},\n",
       " {'answer_start': [174], 'text': ['화이트워터 사건']},\n",
       " {'answer_start': [158], 'text': ['광동제약']},\n",
       " {'answer_start': [543], 'text': ['하라']},\n",
       " {'answer_start': [680], 'text': ['위원장']},\n",
       " {'answer_start': [349], 'text': ['시카고 화이트삭스']},\n",
       " {'answer_start': [270], 'text': ['일제시대']},\n",
       " {'answer_start': [603], 'text': ['토마스 브라운 주지사']},\n",
       " {'answer_start': [807], 'text': ['로마']},\n",
       " {'answer_start': [751], 'text': ['일본']},\n",
       " {'answer_start': [426], 'text': ['개척시대의 부락회의(타운 미팅)']},\n",
       " {'answer_start': [557], 'text': ['2002년']},\n",
       " {'answer_start': [1439], 'text': ['마슈']},\n",
       " {'answer_start': [508], 'text': ['온도의 조절 또는 변성제 등의 이용']},\n",
       " {'answer_start': [402], 'text': ['흑인요소']},\n",
       " {'answer_start': [897], 'text': ['며느리']},\n",
       " {'answer_start': [128], 'text': ['6명']},\n",
       " {'answer_start': [168], 'text': ['몸체']},\n",
       " {'answer_start': [185], 'text': ['생체조직검사']},\n",
       " {'answer_start': [182], 'text': ['그로만즈 차이니즈 극장등의 할리우드의 역사적인 영화관']},\n",
       " {'answer_start': [146], 'text': ['벤자민 로빈스']},\n",
       " {'answer_start': [462], 'text': ['심경도 표시계']},\n",
       " {'answer_start': [390], 'text': ['세제']},\n",
       " {'answer_start': [209], 'text': ['호그와트 마법학교']},\n",
       " {'answer_start': [85], 'text': ['내륙']},\n",
       " {'answer_start': [248], 'text': ['미국']},\n",
       " {'answer_start': [16], 'text': ['인구 미달']},\n",
       " {'answer_start': [88], 'text': ['중국']},\n",
       " {'answer_start': [378], 'text': ['포전 담당 책임제']},\n",
       " {'answer_start': [136], 'text': ['근일점']},\n",
       " {'answer_start': [400], 'text': ['탑신(塔身)']},\n",
       " {'answer_start': [540], 'text': ['개인적인 차원의 후원이었기 때문에']},\n",
       " {'answer_start': [1162], 'text': ['다시 구걸을 하지 않는다는 조건']},\n",
       " {'answer_start': [408], 'text': ['1,331개']},\n",
       " {'answer_start': [296], 'text': ['마르세유']},\n",
       " {'answer_start': [464], 'text': ['사흘']},\n",
       " {'answer_start': [456], 'text': ['크리스마스']},\n",
       " {'answer_start': [103], 'text': ['술']},\n",
       " {'answer_start': [341], 'text': ['공상타작놀이']},\n",
       " {'answer_start': [728], 'text': ['인디고 (쪽)']},\n",
       " {'answer_start': [114], 'text': ['대영제국']},\n",
       " {'answer_start': [37], 'text': ['Presocratics']},\n",
       " {'answer_start': [223], 'text': ['독트린 다크']},\n",
       " {'answer_start': [554], 'text': ['북센티널섬']},\n",
       " {'answer_start': [510], 'text': ['티베트계 강족의 일파인 스피']},\n",
       " {'answer_start': [271], 'text': ['망주석']},\n",
       " {'answer_start': [631], 'text': ['루아르 계곡']},\n",
       " {'answer_start': [712], 'text': ['수직 안정체']},\n",
       " {'answer_start': [783], 'text': ['백인들은 추장을 ‘부족 지배자’라고 믿고 있기 때문에']},\n",
       " {'answer_start': [345], 'text': ['레이너']},\n",
       " {'answer_start': [365], 'text': ['강덕상 교수']},\n",
       " {'answer_start': [314], 'text': ['존 반웰 대령']},\n",
       " {'answer_start': [821], 'text': ['드레스덴']},\n",
       " {'answer_start': [279], 'text': ['총리']},\n",
       " {'answer_start': [221], 'text': ['클레오파트라 7세 필로파토르 여왕']},\n",
       " {'answer_start': [181], 'text': ['1966년']},\n",
       " {'answer_start': [825], 'text': ['로버트 E. 리 장군']},\n",
       " {'answer_start': [519], 'text': ['안티오코스 3세']},\n",
       " {'answer_start': [1250], 'text': ['영선국민학교']},\n",
       " {'answer_start': [577], 'text': ['대(大)아미르']},\n",
       " {'answer_start': [402], 'text': ['뉴욕']},\n",
       " {'answer_start': [17], 'text': ['대공']},\n",
       " {'answer_start': [446], 'text': ['2차 세계 대전']},\n",
       " {'answer_start': [243], 'text': ['동일본 고속도로(NEXCO 동일본)']},\n",
       " {'answer_start': [27], 'text': ['2006년']},\n",
       " {'answer_start': [270], 'text': ['제트팬이 설치된 종류식']},\n",
       " {'answer_start': [472], 'text': ['사마의']},\n",
       " {'answer_start': [415], 'text': ['아이']},\n",
       " {'answer_start': [309], 'text': ['기생파리']},\n",
       " {'answer_start': [891], 'text': ['루프트바페']},\n",
       " {'answer_start': [162], 'text': ['수산화이온']},\n",
       " {'answer_start': [415], 'text': ['하거리 할아버지당']},\n",
       " {'answer_start': [198], 'text': ['정규적 3루수']},\n",
       " {'answer_start': [310], 'text': ['티레니아 해']},\n",
       " {'answer_start': [41], 'text': ['1897년']},\n",
       " {'answer_start': [419], 'text': ['정치적 논쟁']},\n",
       " {'answer_start': [418], 'text': ['세인트 존 마을']},\n",
       " {'answer_start': [278], 'text': ['독일 제6군']},\n",
       " {'answer_start': [636], 'text': ['브리지 판']},\n",
       " {'answer_start': [88], 'text': ['사라예보 사건']},\n",
       " {'answer_start': [750], 'text': ['단백질의 4차 구조']},\n",
       " {'answer_start': [109], 'text': ['그린 필드 투자']},\n",
       " {'answer_start': [77], 'text': ['조세핀 애턴 캠밸']},\n",
       " {'answer_start': [603], 'text': ['키']},\n",
       " {'answer_start': [153], 'text': ['디 이코노미 타임스']},\n",
       " {'answer_start': [658], 'text': ['밀레니얼스']},\n",
       " {'answer_start': [94], 'text': ['추가 운행할 열차를 정박할 공간']},\n",
       " {'answer_start': [684], 'text': ['로던']},\n",
       " {'answer_start': [232], 'text': ['나치당']},\n",
       " {'answer_start': [44], 'text': ['외동']},\n",
       " {'answer_start': [435], 'text': ['스테판 바토리']},\n",
       " {'answer_start': [26], 'text': ['구교도']},\n",
       " {'answer_start': [388], 'text': ['3']},\n",
       " {'answer_start': [371], 'text': ['일제강점기']},\n",
       " {'answer_start': [258], 'text': ['천주교']},\n",
       " {'answer_start': [725], 'text': ['아일랜드']},\n",
       " {'answer_start': [636], 'text': ['2005년']},\n",
       " {'answer_start': [372], 'text': ['리틀 레드볼 익스프레스']},\n",
       " {'answer_start': [10], 'text': ['윌리엄 S. 하니 준장']},\n",
       " {'answer_start': [537], 'text': ['LPAT']},\n",
       " {'answer_start': [72], 'text': ['쾰른 대주교(안노 2세)']},\n",
       " {'answer_start': [562], 'text': ['현삼과']},\n",
       " {'answer_start': [195], 'text': ['교통부 앞 광장']},\n",
       " {'answer_start': [283], 'text': ['우즈베키스탄의 압둘로 탕그리에프']},\n",
       " {'answer_start': [299], 'text': ['아프로디테의 사랑을 받았던 소년 아도니스']},\n",
       " {'answer_start': [614], 'text': ['2012년 11월']},\n",
       " {'answer_start': [137], 'text': ['개천군']},\n",
       " {'answer_start': [10], 'text': ['칼 요아힘 프리드리히']},\n",
       " {'answer_start': [1178], 'text': ['5월 12일']},\n",
       " {'answer_start': [95], 'text': ['3호점인 스타필드 고양']},\n",
       " {'answer_start': [538], 'text': ['카메라']},\n",
       " {'answer_start': [494], 'text': ['무다구치 렌야']},\n",
       " {'answer_start': [287], 'text': ['구양수']},\n",
       " {'answer_start': [62], 'text': ['자장율사']},\n",
       " {'answer_start': [50], 'text': ['후지타 모토시']},\n",
       " {'answer_start': [421], 'text': ['애국가']},\n",
       " {'answer_start': [174], 'text': ['부산']},\n",
       " {'answer_start': [22], 'text': ['고인돌']},\n",
       " {'answer_start': [453], 'text': ['할머니']},\n",
       " {'answer_start': [358], 'text': ['유대인의 집']},\n",
       " {'answer_start': [69], 'text': ['1년']},\n",
       " {'answer_start': [97], 'text': ['화이트 플래인스 전투']},\n",
       " {'answer_start': [59], 'text': ['알키비아데스']},\n",
       " {'answer_start': [348], 'text': ['도리멘 후작 부인']},\n",
       " {'answer_start': [753], 'text': ['브뤼셀']},\n",
       " {'answer_start': [86], 'text': ['부황 순치제']},\n",
       " {'answer_start': [104], 'text': ['백제시대']},\n",
       " {'answer_start': [243], 'text': ['국무 총리']},\n",
       " {'answer_start': [1071], 'text': ['서신']},\n",
       " {'answer_start': [226], 'text': ['UAE 왕세제']},\n",
       " {'answer_start': [921], 'text': ['색액도']},\n",
       " {'answer_start': [454], 'text': ['아레스']},\n",
       " {'answer_start': [222], 'text': ['토르']},\n",
       " {'answer_start': [585], 'text': ['녹색']},\n",
       " {'answer_start': [533], 'text': ['서동우']},\n",
       " {'answer_start': [194], 'text': ['하두르']},\n",
       " {'answer_start': [454], 'text': ['로마 제국']},\n",
       " {'answer_start': [54], 'text': ['2014년']},\n",
       " {'answer_start': [197], 'text': ['외곽층']},\n",
       " {'answer_start': [0], 'text': ['1865년']},\n",
       " {'answer_start': [174], 'text': ['미국 주재 조선일보']},\n",
       " {'answer_start': [5], 'text': ['스페인']},\n",
       " {'answer_start': [130], 'text': ['7년']},\n",
       " {'answer_start': [797], 'text': ['《킬 빌》']},\n",
       " {'answer_start': [498], 'text': ['실업자들']},\n",
       " {'answer_start': [920], 'text': ['‘성령의 집’']},\n",
       " {'answer_start': [197], 'text': ['서기 6년']},\n",
       " {'answer_start': [535], 'text': ['루이스의 저택']},\n",
       " {'answer_start': [320], 'text': ['슈팅가드']},\n",
       " {'answer_start': [519], 'text': ['장로교']},\n",
       " {'answer_start': [1060], 'text': ['1636년']},\n",
       " {'answer_start': [208], 'text': ['고구려']},\n",
       " {'answer_start': [400], 'text': ['장택상']},\n",
       " {'answer_start': [124], 'text': ['포도 농장']},\n",
       " {'answer_start': [497], 'text': ['마호메트']},\n",
       " {'answer_start': [260], 'text': ['하층기단']},\n",
       " {'answer_start': [452], 'text': ['6경기']},\n",
       " {'answer_start': [83], 'text': ['200만원']},\n",
       " {'answer_start': [880], 'text': ['윤덕원']},\n",
       " {'answer_start': [558], 'text': ['생김새']},\n",
       " {'answer_start': [107], 'text': ['납']},\n",
       " {'answer_start': [55], 'text': ['1430년']},\n",
       " {'answer_start': [107], 'text': ['누르하치']},\n",
       " {'answer_start': [301], 'text': ['바울']},\n",
       " {'answer_start': [549], 'text': ['말뚝']},\n",
       " {'answer_start': [792], 'text': ['ㅋㅋㅋ']},\n",
       " {'answer_start': [297], 'text': ['평양']},\n",
       " {'answer_start': [534], 'text': ['게오르크 벨(Georg Bell)']},\n",
       " {'answer_start': [62], 'text': ['트리톤']},\n",
       " {'answer_start': [219], 'text': ['피의자']},\n",
       " {'answer_start': [248], 'text': ['각막 궤양']},\n",
       " {'answer_start': [24], 'text': ['청나라 때']},\n",
       " {'answer_start': [392], 'text': ['사회적 신분을 상승']},\n",
       " {'answer_start': [170], 'text': ['1578년']},\n",
       " {'answer_start': [30], 'text': ['헐리우드']},\n",
       " {'answer_start': [409], 'text': ['제1차 세계대전']},\n",
       " {'answer_start': [411], 'text': ['피가수스']},\n",
       " {'answer_start': [0], 'text': ['2008년']},\n",
       " {'answer_start': [351], 'text': ['충격']},\n",
       " {'answer_start': [32], 'text': ['중앙 헌병단']},\n",
       " {'answer_start': [20], 'text': ['김정은']},\n",
       " {'answer_start': [159], 'text': ['플레기아스']},\n",
       " {'answer_start': [435], 'text': ['출산율']},\n",
       " {'answer_start': [39], 'text': ['감정']},\n",
       " {'answer_start': [1115], 'text': ['길피']},\n",
       " {'answer_start': [404], 'text': ['화산 폭발로 분출된 물질의 구성']},\n",
       " {'answer_start': [201], 'text': ['레오 바라드카르']},\n",
       " {'answer_start': [87],\n",
       "  'text': ['\"오 그 불쌍한 사람들... 그러나 그건 별로 중요하지 않아요! 중요한건 난 새로운 배달원이 필요했다는 거지!\"']},\n",
       " {'answer_start': [19], 'text': ['답변서']},\n",
       " {'answer_start': [452], 'text': ['마케팅']},\n",
       " {'answer_start': [136], 'text': ['라미스테카']},\n",
       " {'answer_start': [428], 'text': ['2010년']},\n",
       " {'answer_start': [720], 'text': ['편도(片刀)']},\n",
       " {'answer_start': [620], 'text': ['기원전 310년의 전멸 이후']},\n",
       " {'answer_start': [122], 'text': ['이탈리아']},\n",
       " {'answer_start': [400], 'text': ['러시아']},\n",
       " {'answer_start': [388], 'text': ['고통']},\n",
       " {'answer_start': [176], 'text': ['대법원']},\n",
       " {'answer_start': [56], 'text': ['디코이']},\n",
       " {'answer_start': [31], 'text': ['동남부']},\n",
       " {'answer_start': [486], 'text': ['보령']},\n",
       " {'answer_start': [209], 'text': ['12년']},\n",
       " {'answer_start': [132], 'text': ['아서 홉우드']},\n",
       " {'answer_start': [5], 'text': ['1962년']},\n",
       " {'answer_start': [457], 'text': ['유명인사들']},\n",
       " {'answer_start': [227], 'text': ['부친']},\n",
       " {'answer_start': [642], 'text': ['1962년']},\n",
       " {'answer_start': [686], 'text': ['천문학']},\n",
       " {'answer_start': [1067], 'text': ['포전 담당 책임제']},\n",
       " {'answer_start': [222], 'text': ['기원전 385년']},\n",
       " {'answer_start': [179], 'text': ['남구']},\n",
       " {'answer_start': [324], 'text': ['최근의 반도의 경제사범 \\xad국민의 신경제 윤리의 파악을 위하여\\xad']},\n",
       " {'answer_start': [727], 'text': ['철학자']},\n",
       " {'answer_start': [181], 'text': ['신미쯔비시 중공의 비행기 제작장']},\n",
       " {'answer_start': [67], 'text': ['칼몸 끝']},\n",
       " {'answer_start': [377], 'text': ['외국인 선교사들']},\n",
       " {'answer_start': [310], 'text': ['태풍 초이완이 지난 후']},\n",
       " {'answer_start': [501], 'text': ['독도 인근']},\n",
       " {'answer_start': [178], 'text': ['기원후 2세기']},\n",
       " {'answer_start': [595], 'text': ['스튜어트']},\n",
       " {'answer_start': [163], 'text': ['다테 히지리가오카 병원 경식 야구부']},\n",
       " {'answer_start': [457], 'text': ['마실 것']},\n",
       " {'answer_start': [123], 'text': ['펠리페 4세']},\n",
       " {'answer_start': [64], 'text': ['이데올로기에 심취한 경제학자의 한 무리']},\n",
       " {'answer_start': [58], 'text': ['5-8월']},\n",
       " {'answer_start': [568], 'text': ['목숨']},\n",
       " {'answer_start': [178], 'text': ['바둑판식']},\n",
       " {'answer_start': [14], 'text': ['제13대']},\n",
       " {'answer_start': [0], 'text': ['광동제약']},\n",
       " {'answer_start': [346], 'text': [\"'언덕'\"]},\n",
       " {'answer_start': [121], 'text': ['볼티모어 앤드 오하이오 철도']},\n",
       " {'answer_start': [62], 'text': ['열두 번째']},\n",
       " {'answer_start': [118], 'text': ['조선왕조의 제3대 왕 태종']},\n",
       " {'answer_start': [14], 'text': ['1807년']},\n",
       " {'answer_start': [201], 'text': ['1935년']},\n",
       " {'answer_start': [226], 'text': ['문예회관']},\n",
       " {'answer_start': [20], 'text': ['삼국시대']},\n",
       " {'answer_start': [35], 'text': ['거래']},\n",
       " {'answer_start': [234], 'text': ['미국 뉴욕주립 알프레드 요업대학원']},\n",
       " {'answer_start': [305], 'text': ['영산회상도']},\n",
       " {'answer_start': [130], 'text': ['그리스인들']},\n",
       " {'answer_start': [775], 'text': ['도스토옙스키가 침대 누워 구술한 것을 아내 안나가 속기 하여']},\n",
       " {'answer_start': [125], 'text': ['명나라가 보낸 쩐 왕조의 후계자']},\n",
       " {'answer_start': [591], 'text': ['고려 하대']},\n",
       " {'answer_start': [697], 'text': ['자아']},\n",
       " {'answer_start': [357], 'text': ['마르크스주의의 지대 이론']},\n",
       " {'answer_start': [606], 'text': ['\"정체불명의 씨앗\"']},\n",
       " {'answer_start': [376], 'text': ['전쟁']},\n",
       " {'answer_start': [129], 'text': ['글루타메이트를 시냅스로 방출']},\n",
       " {'answer_start': [111],\n",
       "  'text': ['독일의 고전 문헌학자 헤르만 딜스가 이들 철학자의 단편들을 한데 모아 엮은 책의 제목']},\n",
       " {'answer_start': [708], 'text': ['1936년']},\n",
       " {'answer_start': [133], 'text': ['크니도스']},\n",
       " {'answer_start': [340], 'text': ['단식']},\n",
       " {'answer_start': [246], 'text': ['236개']},\n",
       " {'answer_start': [398], 'text': ['22세']},\n",
       " {'answer_start': [718], 'text': ['1578년']},\n",
       " {'answer_start': [460], 'text': ['1992년']},\n",
       " {'answer_start': [52], 'text': ['태조 이성계']},\n",
       " {'answer_start': [0], 'text': ['1309년']},\n",
       " {'answer_start': [386], 'text': ['11월']},\n",
       " {'answer_start': [323], 'text': ['1989년']},\n",
       " {'answer_start': [163], 'text': ['1603년']},\n",
       " {'answer_start': [168], 'text': ['1053']},\n",
       " {'answer_start': [515], 'text': ['영국']},\n",
       " {'answer_start': [70], 'text': ['일본']},\n",
       " {'answer_start': [312], 'text': ['범연']},\n",
       " {'answer_start': [8], 'text': ['2구']},\n",
       " {'answer_start': [602], 'text': ['닥종이 인형']},\n",
       " {'answer_start': [1249], 'text': ['축복된 십자가를 사용하여 기도함']},\n",
       " {'answer_start': [629], 'text': ['총독부']},\n",
       " {'answer_start': [399], 'text': ['5일 후']},\n",
       " {'answer_start': [50], 'text': ['양민']},\n",
       " {'answer_start': [69], 'text': ['약 700만 명']},\n",
       " {'answer_start': [716], 'text': ['여초']},\n",
       " {'answer_start': [270], 'text': ['올림픽 기']},\n",
       " {'answer_start': [321], 'text': ['\"헨드리크의 시기\"']},\n",
       " {'answer_start': [475], 'text': ['약 30회']},\n",
       " {'answer_start': [158], 'text': ['조광운']},\n",
       " {'answer_start': [60], 'text': ['서초동']},\n",
       " {'answer_start': [372], 'text': ['캠브릿지 피터하우스']},\n",
       " {'answer_start': [630], 'text': ['293년']},\n",
       " {'answer_start': [918], 'text': ['폴']},\n",
       " {'answer_start': [172], 'text': ['지구 밖의 우주']},\n",
       " {'answer_start': [166], 'text': ['능우의 어머니 집']},\n",
       " {'answer_start': [291], 'text': ['라테라노 궁전']},\n",
       " {'answer_start': [143], 'text': ['다리속곳']},\n",
       " {'answer_start': [349], 'text': ['알마그로의 패잔병들']},\n",
       " {'answer_start': [297], 'text': ['왕우']},\n",
       " {'answer_start': [120], 'text': ['플로렌스 데이비드']},\n",
       " {'answer_start': [110], 'text': ['경북 상주의 옥동서원']},\n",
       " {'answer_start': [186], 'text': ['석이버섯']},\n",
       " {'answer_start': [1491], 'text': ['양자역학적 공간']},\n",
       " {'answer_start': [518], 'text': ['12월 27일']},\n",
       " {'answer_start': [152], 'text': ['카시니 호']},\n",
       " {'answer_start': [29], 'text': ['독일']},\n",
       " {'answer_start': [230], 'text': [\"'변론의 갱신권'\"]},\n",
       " {'answer_start': [679], 'text': ['수막염']},\n",
       " {'answer_start': [113], 'text': ['성령']},\n",
       " {'answer_start': [51], 'text': ['자유']},\n",
       " {'answer_start': [25], 'text': ['순조의 외할아버지인 박준원']},\n",
       " {'answer_start': [136], 'text': ['500 데나리우스']},\n",
       " {'answer_start': [606], 'text': ['1990년']},\n",
       " {'answer_start': [143], 'text': ['창']},\n",
       " {'answer_start': [209], 'text': ['주제가 명확하지 않기 때문이다.']},\n",
       " {'answer_start': [141], 'text': ['자재']},\n",
       " {'answer_start': [1169], 'text': ['1793년']},\n",
       " {'answer_start': [782], 'text': ['카탈루냐']},\n",
       " {'answer_start': [177], 'text': ['켄고의 어머니가 경영하는 러브 호텔의 어느 룸.']},\n",
       " {'answer_start': [685], 'text': ['1428년']},\n",
       " {'answer_start': [734], 'text': ['전차를 시험']},\n",
       " {'answer_start': [333], 'text': ['손에 문신을 하는 풍습']},\n",
       " {'answer_start': [789], 'text': ['롤링 스톤스']},\n",
       " {'answer_start': [155], 'text': ['태상황제']},\n",
       " {'answer_start': [365], 'text': ['1908']},\n",
       " {'answer_start': [197], 'text': ['1907년']},\n",
       " {'answer_start': [270], 'text': ['조선 순조 9년(1809)']},\n",
       " {'answer_start': [1654], 'text': ['혼인 조항']},\n",
       " {'answer_start': [56], 'text': ['태평양먹장어(Eptatretus stoutii)']},\n",
       " {'answer_start': [797], 'text': ['경찰']},\n",
       " {'answer_start': [108], 'text': ['파벌들']},\n",
       " {'answer_start': [170], 'text': ['목요일']},\n",
       " {'answer_start': [167], 'text': ['자본주의적 농업 소유 구조']},\n",
       " {'answer_start': [766], 'text': ['최유리']},\n",
       " {'answer_start': [942], 'text': ['마드리드']},\n",
       " {'answer_start': [252], 'text': ['강학']},\n",
       " {'answer_start': [1332], 'text': ['분수대']},\n",
       " {'answer_start': [316], 'text': ['하녀']},\n",
       " {'answer_start': [221], 'text': ['닉']},\n",
       " {'answer_start': [205], 'text': ['안채']},\n",
       " {'answer_start': [293], 'text': ['오이시 다이지로']},\n",
       " {'answer_start': [774], 'text': ['한 살']},\n",
       " {'answer_start': [403], 'text': ['1945년']},\n",
       " {'answer_start': [113], 'text': ['북한']},\n",
       " {'answer_start': [213], 'text': ['나사로의 부활']},\n",
       " {'answer_start': [634], 'text': ['시크족']},\n",
       " {'answer_start': [451], 'text': ['자유 소작제']},\n",
       " {'answer_start': [263], 'text': ['알몬드 소장']},\n",
       " {'answer_start': [444], 'text': ['2005년의 2월 21일의 가고시마 스프링 캠프']},\n",
       " {'answer_start': [353], 'text': ['공화파 민병대']},\n",
       " {'answer_start': [393], 'text': ['로마공화정']},\n",
       " {'answer_start': [179], 'text': ['부레']},\n",
       " {'answer_start': [665], 'text': ['켈리']},\n",
       " {'answer_start': [602], 'text': ['1995년']},\n",
       " {'answer_start': [77], 'text': ['2차 세계대전']},\n",
       " {'answer_start': [100], 'text': ['19일']},\n",
       " {'answer_start': [962], 'text': ['개신교의 자유']},\n",
       " {'answer_start': [111], 'text': ['오이와']},\n",
       " {'answer_start': [225], 'text': ['계양태수']},\n",
       " {'answer_start': [282], 'text': ['미국']},\n",
       " {'answer_start': [280], 'text': ['명진학교']},\n",
       " {'answer_start': [261], 'text': ['빗살무늬토기']},\n",
       " {'answer_start': [638], 'text': ['홍준표']},\n",
       " {'answer_start': [227], 'text': ['치료비']},\n",
       " {'answer_start': [697], 'text': ['황충']},\n",
       " {'answer_start': [220], 'text': ['베토벤']},\n",
       " {'answer_start': [762], 'text': ['이셀리나']},\n",
       " {'answer_start': [1196], 'text': ['자크하르']},\n",
       " {'answer_start': [240], 'text': ['상상모바일통장']},\n",
       " {'answer_start': [748], 'text': ['난류']},\n",
       " {'answer_start': [456], 'text': ['베트남전에 참전한 장병의 자녀']},\n",
       " {'answer_start': [195], 'text': ['지동설']},\n",
       " {'answer_start': [548], 'text': ['영성체']},\n",
       " {'answer_start': [591], 'text': ['시그룬의 시녀']},\n",
       " {'answer_start': [100], 'text': ['정성공']},\n",
       " {'answer_start': [485], 'text': ['승강장의 관계자']},\n",
       " {'answer_start': [130], 'text': ['겐로쿠 지진']},\n",
       " {'answer_start': [149], 'text': ['1663년']},\n",
       " {'answer_start': [330], 'text': ['설인귀']},\n",
       " {'answer_start': [44], 'text': ['컴버랜드 테라스']},\n",
       " {'answer_start': [583], 'text': ['세포 기관']},\n",
       " {'answer_start': [192], 'text': ['전학후묘']},\n",
       " {'answer_start': [111], 'text': ['빛']},\n",
       " {'answer_start': [369], 'text': ['2014']},\n",
       " {'answer_start': [790], 'text': [\"'유기생물의 기원과 접촉한 소녀'\"]},\n",
       " {'answer_start': [60], 'text': ['강원도']},\n",
       " {'answer_start': [237], 'text': ['모두 앉아 있는 모습']},\n",
       " {'answer_start': [219], 'text': ['훈고학']},\n",
       " {'answer_start': [22], 'text': ['이집트']},\n",
       " {'answer_start': [11], 'text': ['호']},\n",
       " {'answer_start': [669], 'text': ['라이헨바르 전투']},\n",
       " {'answer_start': [671], 'text': ['.376']},\n",
       " {'answer_start': [111], 'text': ['가장자리']},\n",
       " {'answer_start': [97], 'text': ['2004년']},\n",
       " {'answer_start': [966], 'text': ['슈코르체니']},\n",
       " {'answer_start': [1280], 'text': ['아버스놋']},\n",
       " {'answer_start': [939], 'text': ['2008년']},\n",
       " {'answer_start': [54], 'text': ['프란치스코 피사로']},\n",
       " {'answer_start': [520], 'text': ['벨라암']},\n",
       " {'answer_start': [443], 'text': ['불기소 결정']},\n",
       " {'answer_start': [1450], 'text': ['네케르']},\n",
       " {'answer_start': [93], 'text': ['라이프치히']},\n",
       " {'answer_start': [668], 'text': ['유럽 문화']},\n",
       " {'answer_start': [379], 'text': ['군사훈련']},\n",
       " {'answer_start': [469], 'text': ['쿠빌라이 칸']},\n",
       " {'answer_start': [236], 'text': ['전시설계']},\n",
       " {'answer_start': [416], 'text': ['칼레']},\n",
       " {'answer_start': [108], 'text': ['성추행']},\n",
       " {'answer_start': [612], 'text': ['로버트 케네디 상원']},\n",
       " {'answer_start': [439], 'text': ['신한민주당 개헌추진위원회 인천 및 경기지부 결성대회']},\n",
       " {'answer_start': [94], 'text': ['하야']},\n",
       " {'answer_start': [1813], 'text': ['진리(陳理)']},\n",
       " {'answer_start': [536], 'text': ['2014년 3월']},\n",
       " {'answer_start': [0], 'text': ['신유고슬라비아']},\n",
       " {'answer_start': [303], 'text': ['모세 오스틴']},\n",
       " {'answer_start': [0], 'text': ['하원 회의장']},\n",
       " {'answer_start': [1190], 'text': ['얄마르 샤흐트']},\n",
       " {'answer_start': [747], 'text': ['공격수']},\n",
       " {'answer_start': [812], 'text': ['뽕짝']},\n",
       " {'answer_start': [202], 'text': ['40,000냥']},\n",
       " {'answer_start': [512], 'text': ['조영관']},\n",
       " {'answer_start': [45], 'text': ['9월 6일']},\n",
       " {'answer_start': [149], 'text': ['‘섹터간 융합’']},\n",
       " {'answer_start': [205], 'text': ['“자랑스런 죄수”']},\n",
       " {'answer_start': [198], 'text': ['성왕 바주']},\n",
       " {'answer_start': [276], 'text': ['그래픽 사용자 인터페이스(GUI)']},\n",
       " {'answer_start': [163], 'text': ['빌리']},\n",
       " {'answer_start': [210], 'text': ['1948년']},\n",
       " {'answer_start': [788], 'text': ['프랑스']},\n",
       " {'answer_start': [172], 'text': ['네드']},\n",
       " {'answer_start': [17], 'text': ['미국']},\n",
       " {'answer_start': [235], 'text': ['글리프탈수지']},\n",
       " {'answer_start': [14], 'text': ['공중곡예사']},\n",
       " {'answer_start': [589], 'text': ['의사의 아내']},\n",
       " {'answer_start': [186], 'text': ['로저 클린턴']},\n",
       " {'answer_start': [281], 'text': ['최우']},\n",
       " {'answer_start': [684], 'text': ['가이우스 포필리우스 라이나스']},\n",
       " {'answer_start': [238], 'text': ['알칼리 전지']},\n",
       " {'answer_start': [279], 'text': ['글라이더']},\n",
       " {'answer_start': [190], 'text': ['부리']},\n",
       " {'answer_start': [154], 'text': ['농업노동자']},\n",
       " {'answer_start': [120], 'text': ['2012년']},\n",
       " {'answer_start': [1404], 'text': ['철분']},\n",
       " {'answer_start': [139], 'text': ['나치 독일']},\n",
       " {'answer_start': [671], 'text': ['3월 18일']},\n",
       " {'answer_start': [500], 'text': ['주벌 얼리의 보병부대']},\n",
       " {'answer_start': [131], 'text': ['프로야구단 꼬물꼬물스']},\n",
       " {'answer_start': [372], 'text': ['태극']},\n",
       " {'answer_start': [342], 'text': ['로마 가톨릭']},\n",
       " {'answer_start': [235], 'text': ['지장보살']},\n",
       " {'answer_start': [119], 'text': ['조토 디 본도네']},\n",
       " {'answer_start': [978], 'text': ['공산주의자동맹']},\n",
       " {'answer_start': [59], 'text': ['베네딕토 15세']},\n",
       " {'answer_start': [0], 'text': ['고사기']},\n",
       " {'answer_start': [631], 'text': ['1994']},\n",
       " {'answer_start': [399], 'text': ['중동학교']},\n",
       " {'answer_start': [124], 'text': ['난독인']},\n",
       " {'answer_start': [57], 'text': ['맨더루프 파스버그']},\n",
       " {'answer_start': [163], 'text': ['요보호자']},\n",
       " {'answer_start': [230], 'text': ['튜더 왕조 시대']},\n",
       " {'answer_start': [114], 'text': ['털 색깔']},\n",
       " {'answer_start': [75], 'text': ['소비에트 시대']},\n",
       " {'answer_start': [169], 'text': ['2008년']},\n",
       " {'answer_start': [780], 'text': ['2015년']},\n",
       " {'answer_start': [452], 'text': ['남평']},\n",
       " {'answer_start': [51], 'text': ['92개']},\n",
       " {'answer_start': [226], 'text': ['아이톨리아 동맹']},\n",
       " {'answer_start': [462], 'text': ['시리아킬리키아 포에니케 (Syria-Cilicia Phoenice)']},\n",
       " {'answer_start': [276], 'text': ['내각고유 제2호(조선인에 대한 박해와 관련된 사고 건)']},\n",
       " {'answer_start': [68], 'text': ['김두한']},\n",
       " {'answer_start': [0], 'text': ['일리노이 대학교']},\n",
       " {'answer_start': [128], 'text': ['6억 년 전 경']},\n",
       " {'answer_start': [87], 'text': ['1992년']},\n",
       " {'answer_start': [386], 'text': ['교육감직']},\n",
       " {'answer_start': [363], 'text': ['1000개']},\n",
       " {'answer_start': [302], 'text': ['롤플레잉 게임']},\n",
       " {'answer_start': [80], 'text': ['빌리 파이퍼']},\n",
       " {'answer_start': [10], 'text': ['병인박해']},\n",
       " {'answer_start': [142], 'text': ['테스트 유효성']},\n",
       " {'answer_start': [275], 'text': ['아자타샤트루']},\n",
       " {'answer_start': [266], 'text': ['안음현감 곽준']},\n",
       " {'answer_start': [638], 'text': ['검증위원회']},\n",
       " {'answer_start': [428], 'text': ['국민의당 국회의원 최명길']},\n",
       " {'answer_start': [197], 'text': ['308년']},\n",
       " {'answer_start': [108], 'text': ['12년']},\n",
       " {'answer_start': [387], 'text': ['살리 베리샤']},\n",
       " {'answer_start': [653], 'text': ['가족의 이별과 재회']},\n",
       " {'answer_start': [124], 'text': ['여름']},\n",
       " {'answer_start': [3], 'text': ['상공업']},\n",
       " {'answer_start': [715], 'text': ['법의']},\n",
       " {'answer_start': [173], 'text': ['네우스트리아·부르고뉴·프로방스']},\n",
       " {'answer_start': [205], 'text': ['형법총칙']},\n",
       " {'answer_start': [9], 'text': ['1014년']},\n",
       " {'answer_start': [743], 'text': ['크란돔너 막 에크다크다']},\n",
       " {'answer_start': [109], 'text': ['타이완 지구']},\n",
       " {'answer_start': [1381], 'text': ['테오도릭 대왕']},\n",
       " {'answer_start': [225], 'text': ['위위']},\n",
       " {'answer_start': [40], 'text': ['제107회']},\n",
       " {'answer_start': [766], 'text': ['30% 범위']},\n",
       " {'answer_start': [48], 'text': ['창녕 관룡사']},\n",
       " {'answer_start': [1028], 'text': ['검은 세력에 포섭된 경찰']},\n",
       " {'answer_start': [592], 'text': ['이 박사']},\n",
       " {'answer_start': [219], 'text': ['권계면 부근']},\n",
       " {'answer_start': [503], 'text': ['갈라바 성']},\n",
       " {'answer_start': [35], 'text': ['분류학적 접근']},\n",
       " {'answer_start': [175], 'text': ['베니스의 해변']},\n",
       " {'answer_start': [559], 'text': ['김마리아']},\n",
       " {'answer_start': [431], 'text': ['마드리드 바하라스 공항']},\n",
       " {'answer_start': [409], 'text': ['18세기 투스카로라 전쟁']},\n",
       " {'answer_start': [107], 'text': ['뒤로 재주넘기']},\n",
       " {'answer_start': [677], 'text': ['흰개미']},\n",
       " {'answer_start': [414], 'text': ['24세']},\n",
       " {'answer_start': [188], 'text': ['미네소타 주']},\n",
       " {'answer_start': [89], 'text': ['플렉트럼']},\n",
       " {'answer_start': [34], 'text': ['이명박']},\n",
       " {'answer_start': [179], 'text': ['호한뜨엉']},\n",
       " {'answer_start': [15], 'text': ['교황 아가피토 1세']},\n",
       " {'answer_start': [509], 'text': ['자인 알아비딘(Zain Al-Abidin)']},\n",
       " {'answer_start': [161], 'text': ['자동차 보험']},\n",
       " {'answer_start': [426], 'text': ['3명']},\n",
       " {'answer_start': [260], 'text': ['〈얼마나 미친 추구인가〉']},\n",
       " {'answer_start': [290], 'text': ['뮤온']},\n",
       " {'answer_start': [662], 'text': ['홍해의 항구']},\n",
       " {'answer_start': [311], 'text': ['가족의 화합']},\n",
       " {'answer_start': [86], 'text': ['소천굴']},\n",
       " {'answer_start': [253], 'text': ['내위성']},\n",
       " {'answer_start': [776], 'text': ['자유주의']},\n",
       " {'answer_start': [143], 'text': ['멘셰비키']},\n",
       " {'answer_start': [52], 'text': ['종합공업']},\n",
       " {'answer_start': [323], 'text': ['봉건귀족']},\n",
       " {'answer_start': [143], 'text': ['최면술']},\n",
       " {'answer_start': [245], 'text': ['페르미 추정법']},\n",
       " {'answer_start': [645], 'text': ['2012']},\n",
       " {'answer_start': [0], 'text': ['1박2일 인문여행']},\n",
       " {'answer_start': [7], 'text': ['유니버시티 칼리지 런던']},\n",
       " {'answer_start': [177], 'text': ['FEVE']},\n",
       " {'answer_start': [577], 'text': ['당랑권']},\n",
       " {'answer_start': [711], 'text': ['테오발드 2세 백작']},\n",
       " {'answer_start': [58], 'text': ['밧지 공화국']},\n",
       " {'answer_start': [623], 'text': ['2004년']},\n",
       " {'answer_start': [7], 'text': ['조지 닐센']},\n",
       " {'answer_start': [665], 'text': ['타파스']},\n",
       " {'answer_start': [355], 'text': ['3월 10일']},\n",
       " {'answer_start': [913], 'text': ['백신 접종']},\n",
       " {'answer_start': [299], 'text': ['마리아 왕비']},\n",
       " {'answer_start': [106], 'text': ['1학년 기말고사 후']},\n",
       " {'answer_start': [21], 'text': ['미네소타 다코타 수 족']},\n",
       " {'answer_start': [597], 'text': ['무레가오카 연산']},\n",
       " {'answer_start': [596], 'text': ['제우스']},\n",
       " {'answer_start': [271], 'text': ['주식과 거리가 먼']},\n",
       " {'answer_start': [581], 'text': ['추월']},\n",
       " {'answer_start': [349], 'text': ['로젠바움']},\n",
       " {'answer_start': [192], 'text': ['오와리 북부의 4개군']},\n",
       " {'answer_start': [1144], 'text': ['998년 2월 18일']},\n",
       " {'answer_start': [159], 'text': ['두 사람']},\n",
       " {'answer_start': [646], 'text': ['도널드 트럼프']},\n",
       " {'answer_start': [127], 'text': ['윌리엄 모리스']},\n",
       " {'answer_start': [42], 'text': ['제1기']},\n",
       " {'answer_start': [266], 'text': ['백색 대리석이 점차 황갈색으로 변해가고 있는 것']},\n",
       " {'answer_start': [481], 'text': ['니시자키 유키히로']},\n",
       " {'answer_start': [216], 'text': ['알렉산드르']},\n",
       " {'answer_start': [460], 'text': ['2009년 12월 18일']},\n",
       " {'answer_start': [401], 'text': ['발']},\n",
       " {'answer_start': [182], 'text': ['루피의 할아버지']},\n",
       " {'answer_start': [312], 'text': ['코날 케르나크']},\n",
       " {'answer_start': [184], 'text': ['캐니언']},\n",
       " {'answer_start': [17], 'text': ['프로메테우스의 창조물, 작품번호 43']},\n",
       " {'answer_start': [291], 'text': ['검은 9월단']},\n",
       " {'answer_start': [134], 'text': ['1826년']},\n",
       " {'answer_start': [41], 'text': ['감소']},\n",
       " {'answer_start': [723], 'text': ['인도네시아어']},\n",
       " {'answer_start': [218], 'text': ['10분']},\n",
       " {'answer_start': [98], 'text': ['탄두르 오븐']},\n",
       " {'answer_start': [112], 'text': ['마루노우치선']},\n",
       " {'answer_start': [858], 'text': ['〈림진강〉']},\n",
       " {'answer_start': [161], 'text': ['프로그램 관리자']},\n",
       " {'answer_start': [417], 'text': ['자유 의지를 실현하는 주체']},\n",
       " {'answer_start': [260], 'text': ['개괄주의']},\n",
       " {'answer_start': [567], 'text': ['티코 브라헤']},\n",
       " {'answer_start': [452], 'text': ['수소와 헬륨']},\n",
       " {'answer_start': [700], 'text': ['노예제']},\n",
       " {'answer_start': [803], 'text': ['1995년']},\n",
       " {'answer_start': [267], 'text': ['영업자가 될 수 없는 경우']},\n",
       " {'answer_start': [296], 'text': ['휘파람']},\n",
       " {'answer_start': [571], 'text': ['질량']},\n",
       " {'answer_start': [149], 'text': ['곽우']},\n",
       " {'answer_start': [641], 'text': ['크리스']},\n",
       " {'answer_start': [538], 'text': ['피고인']},\n",
       " {'answer_start': [383], 'text': ['독일팀']},\n",
       " {'answer_start': [552], 'text': ['이스터 섬의 주민']},\n",
       " {'answer_start': [860], 'text': ['북한']},\n",
       " {'answer_start': [132], 'text': ['신학자 반디넬리']},\n",
       " {'answer_start': [496], 'text': ['발효']},\n",
       " {'answer_start': [471], 'text': ['2개']},\n",
       " {'answer_start': [55], 'text': ['1525년까지']},\n",
       " {'answer_start': [252], 'text': ['직구']},\n",
       " {'answer_start': [134], 'text': ['기원전 45년']},\n",
       " {'answer_start': [276], 'text': ['프린스턴 대학교']},\n",
       " {'answer_start': [1139], 'text': ['<유추론자의 이론에 대하여>']},\n",
       " {'answer_start': [1010], 'text': ['윤보선']},\n",
       " {'answer_start': [48], 'text': ['아서 레이튼']},\n",
       " {'answer_start': [553], 'text': ['오사카시']},\n",
       " {'answer_start': [367], 'text': ['백제']},\n",
       " {'answer_start': [765], 'text': ['유선전화']},\n",
       " {'answer_start': [352], 'text': ['오피 오이드']},\n",
       " {'answer_start': [641], 'text': ['한 샘플']},\n",
       " {'answer_start': [210], 'text': ['인도유럽어족 언어']},\n",
       " {'answer_start': [105], 'text': ['히파르코스']},\n",
       " {'answer_start': [420], 'text': ['영국 여왕 빅토리아']},\n",
       " {'answer_start': [293], 'text': ['푸카키 호수']},\n",
       " {'answer_start': [1633], 'text': ['시위대 중 한 명']},\n",
       " {'answer_start': [675], 'text': ['이아손이 코린토스의 공주 글라우케와 결혼']},\n",
       " {'answer_start': [314], 'text': ['2000년대']},\n",
       " {'answer_start': [869], 'text': ['‘와인 미라클’']},\n",
       " {'answer_start': [435], 'text': ['KBS 시사기획 쌈']},\n",
       " {'answer_start': [929], 'text': ['1951년']},\n",
       " {'answer_start': [409], 'text': ['리오너드 워들러']},\n",
       " {'answer_start': [17], 'text': ['603']},\n",
       " {'answer_start': [285], 'text': ['놀리기 위해']},\n",
       " {'answer_start': [417], 'text': ['음모꾼']},\n",
       " {'answer_start': [95], 'text': ['1859년 2월 3일']},\n",
       " {'answer_start': [319], 'text': ['상점']},\n",
       " {'answer_start': [348], 'text': ['시모노세키 전쟁 이후 진행된 협상']},\n",
       " {'answer_start': [1317], 'text': ['한국']},\n",
       " {'answer_start': [309], 'text': ['스키']},\n",
       " {'answer_start': [525], 'text': ['멘델학파']},\n",
       " {'answer_start': [1008], 'text': ['메밀 국수 가게의 쇼윈도']},\n",
       " {'answer_start': [388], 'text': ['나세르']},\n",
       " {'answer_start': [72], 'text': ['고려 말']},\n",
       " {'answer_start': [527], 'text': ['무데하르 여성들']},\n",
       " {'answer_start': [678], 'text': ['대지 정책']},\n",
       " {'answer_start': [514], 'text': ['워싱턴']},\n",
       " {'answer_start': [946], 'text': ['1756년']},\n",
       " {'answer_start': [35], 'text': ['모리 마사아키 감독']},\n",
       " {'answer_start': [588], 'text': ['이언 매켈런']},\n",
       " {'answer_start': [361], 'text': ['아폴로 크리드']},\n",
       " {'answer_start': [128], 'text': ['프랑스']},\n",
       " {'answer_start': [796], 'text': ['오키다이토 섬']},\n",
       " {'answer_start': [390], 'text': ['크라운 시티']},\n",
       " {'answer_start': [203], 'text': ['범방산']},\n",
       " {'answer_start': [168], 'text': ['캔자스-네브래스카 법령']},\n",
       " {'answer_start': [168], 'text': ['생 쉴피스 신학교']},\n",
       " {'answer_start': [223], 'text': ['파트로클로스']},\n",
       " {'answer_start': [114], 'text': ['3층']},\n",
       " {'answer_start': [677], 'text': ['화성']},\n",
       " {'answer_start': [52], 'text': ['암벽']},\n",
       " {'answer_start': [1202], 'text': ['김수환']},\n",
       " {'answer_start': [259], 'text': ['\"새로운 평화(New Peace)\"']},\n",
       " {'answer_start': [342], 'text': ['게라심 콜라파코프스키']},\n",
       " {'answer_start': [0], 'text': ['북인']},\n",
       " {'answer_start': [467], 'text': ['1801']},\n",
       " {'answer_start': [320], 'text': ['조영달']},\n",
       " {'answer_start': [595], 'text': ['이라크 이슬람혁명최고위원회(SCIRI)']},\n",
       " {'answer_start': [405], 'text': ['2015년']},\n",
       " {'answer_start': [49], 'text': ['공상적 사회주의']},\n",
       " {'answer_start': [140], 'text': ['영락제 시기']},\n",
       " {'answer_start': [271], 'text': ['중개인']},\n",
       " {'answer_start': [162], 'text': ['동방 언어 학원']},\n",
       " {'answer_start': [747], 'text': ['팔목']},\n",
       " {'answer_start': [590], 'text': ['토니 그윈']},\n",
       " {'answer_start': [1244], 'text': ['《마법사의 조카》']},\n",
       " {'answer_start': [243], 'text': ['투발']},\n",
       " {'answer_start': [395], 'text': ['20여분']},\n",
       " {'answer_start': [849], 'text': ['와세다 대학']},\n",
       " {'answer_start': [163], 'text': ['오카자키']},\n",
       " {'answer_start': [707], 'text': ['군의(軍毅)']},\n",
       " {'answer_start': [422], 'text': ['가까운 미래의 지구']},\n",
       " {'answer_start': [617], 'text': ['유전적 리프로그래밍']},\n",
       " {'answer_start': [562], 'text': ['스톡홀름']},\n",
       " {'answer_start': [213], 'text': ['직립보행']},\n",
       " {'answer_start': [324], 'text': ['고전 팝']},\n",
       " {'answer_start': [843], 'text': ['15세']},\n",
       " {'answer_start': [412], 'text': ['석총(釋總)']},\n",
       " {'answer_start': [371], 'text': ['흰 광선']},\n",
       " {'answer_start': [1122],\n",
       "  'text': ['“나는 국경일에 일장기를 게양하는 것을 반대하지 않는다. 왜냐하면 우리가 일본의 통치하에 있는 한 우리는 그 통치의 명령에 복종해야 하기 때문이다.”']},\n",
       " {'answer_start': [760], 'text': ['새끼 보좌관']},\n",
       " {'answer_start': [647], 'text': ['간토 대지진']},\n",
       " {'answer_start': [746], 'text': ['히키코모리']},\n",
       " ...]"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(datasets)\n",
    "datasets['train']['answers']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "f7355750-8886-4c0e-8d86-1e8387d96cca",
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.DataFrame(datasets['train']['context'], columns=['context'])\n",
    "df['question'] = pd.DataFrame(datasets['train']['question'])\n",
    "val_answers = []\n",
    "for a in datasets['train']['answers']:\n",
    "    val_answers.append(a['text'][0])\n",
    "df['answers'] = pd.DataFrame(val_answers)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "1abb0dd6-0d5c-4ceb-ab03-21798b55c14d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>answers</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>미국 상의원 또는 미국 상원(United States Senate)은 양원제인 미국...</td>\n",
       "      <td>대통령을 포함한 미국의 행정부 견제권을 갖는 국가 기관은?</td>\n",
       "      <td>하원</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>'근대적 경영학' 또는 '고전적 경영학'에서 현대적 경영학으로 전환되는 시기는 19...</td>\n",
       "      <td>현대적 인사조직관리의 시발점이 된 책은?</td>\n",
       "      <td>《경영의 실제》</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>강희제는 강화된 황권으로 거의 황제 중심의 독단적으로 나라를 이끌어 갔기에 자칫 전...</td>\n",
       "      <td>강희제가 1717년에 쓴 글은 누구를 위해 쓰여졌는가?</td>\n",
       "      <td>백성</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>불상을 모시기 위해 나무나 돌, 쇠 등을 깎아 일반적인 건축물보다 작은 규모로 만든...</td>\n",
       "      <td>11~12세기에 제작된 본존불은 보통 어떤 나라의 특징이 전파되었나요?</td>\n",
       "      <td>중국</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>동아대학교박물관에서 소장하고 있는 계사명 사리구는 총 4개의 용기로 구성된 조선후기...</td>\n",
       "      <td>명문이 적힌 유물을 구성하는 그릇의 총 개수는?</td>\n",
       "      <td>4개</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3947</th>\n",
       "      <td>이오의 산\\n이오의 산 목록\\n 이오에는 100~150개의 산이 있다. 이들 산의 ...</td>\n",
       "      <td>대부분의 이오의 산이 형성되는데 영향을 끼친 것은?</td>\n",
       "      <td>지질 구조</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3948</th>\n",
       "      <td>애니의 고군분투 뉴욕 입성기!!\\n\\n인류학자가 꿈인 21살 소녀 '애니(스칼렛 요...</td>\n",
       "      <td>애니는 어디서 태어났는가?</td>\n",
       "      <td>뉴저지</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3949</th>\n",
       "      <td>1842년에 작곡가이자 지휘자인 오토 니콜라이가 빈 궁정 오페라극장 소속 관현악단을...</td>\n",
       "      <td>1854년에 니콜라이의 뒤를 이어 상임 지휘자로서 활동한 인물은?</td>\n",
       "      <td>칼 에케르트</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3950</th>\n",
       "      <td>원어는 고대 그리스어까지 거슬러 올라간다. 영어 문헌에 이 말이 나타나기 시작한 것...</td>\n",
       "      <td>드래곤의 암수 구분이 있는 신화는?</td>\n",
       "      <td>슬라브 신화</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3951</th>\n",
       "      <td>2008년 2월 28일 실시된 2008년 함부르크 주의회 선거에서 기민련은 과반수 ...</td>\n",
       "      <td>올레 폰 보이스트 이후에 시장으로 임명된 사람은 누구인가?</td>\n",
       "      <td>크리스토포 알하우스</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>3952 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                context  \\\n",
       "0     미국 상의원 또는 미국 상원(United States Senate)은 양원제인 미국...   \n",
       "1     '근대적 경영학' 또는 '고전적 경영학'에서 현대적 경영학으로 전환되는 시기는 19...   \n",
       "2     강희제는 강화된 황권으로 거의 황제 중심의 독단적으로 나라를 이끌어 갔기에 자칫 전...   \n",
       "3     불상을 모시기 위해 나무나 돌, 쇠 등을 깎아 일반적인 건축물보다 작은 규모로 만든...   \n",
       "4     동아대학교박물관에서 소장하고 있는 계사명 사리구는 총 4개의 용기로 구성된 조선후기...   \n",
       "...                                                 ...   \n",
       "3947  이오의 산\\n이오의 산 목록\\n 이오에는 100~150개의 산이 있다. 이들 산의 ...   \n",
       "3948  애니의 고군분투 뉴욕 입성기!!\\n\\n인류학자가 꿈인 21살 소녀 '애니(스칼렛 요...   \n",
       "3949  1842년에 작곡가이자 지휘자인 오토 니콜라이가 빈 궁정 오페라극장 소속 관현악단을...   \n",
       "3950  원어는 고대 그리스어까지 거슬러 올라간다. 영어 문헌에 이 말이 나타나기 시작한 것...   \n",
       "3951  2008년 2월 28일 실시된 2008년 함부르크 주의회 선거에서 기민련은 과반수 ...   \n",
       "\n",
       "                                     question     answers  \n",
       "0            대통령을 포함한 미국의 행정부 견제권을 갖는 국가 기관은?          하원  \n",
       "1                      현대적 인사조직관리의 시발점이 된 책은?    《경영의 실제》  \n",
       "2              강희제가 1717년에 쓴 글은 누구를 위해 쓰여졌는가?          백성  \n",
       "3     11~12세기에 제작된 본존불은 보통 어떤 나라의 특징이 전파되었나요?          중국  \n",
       "4                  명문이 적힌 유물을 구성하는 그릇의 총 개수는?          4개  \n",
       "...                                       ...         ...  \n",
       "3947             대부분의 이오의 산이 형성되는데 영향을 끼친 것은?       지질 구조  \n",
       "3948                           애니는 어디서 태어났는가?         뉴저지  \n",
       "3949     1854년에 니콜라이의 뒤를 이어 상임 지휘자로서 활동한 인물은?      칼 에케르트  \n",
       "3950                      드래곤의 암수 구분이 있는 신화는?      슬라브 신화  \n",
       "3951         올레 폰 보이스트 이후에 시장으로 임명된 사람은 누구인가?  크리스토포 알하우스  \n",
       "\n",
       "[3952 rows x 3 columns]"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "62fd9f36-c8c8-49fb-8696-c1cc1b9fec72",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0       False\n",
       "1       False\n",
       "2       False\n",
       "3       False\n",
       "4       False\n",
       "        ...  \n",
       "3947     True\n",
       "3948    False\n",
       "3949    False\n",
       "3950     True\n",
       "3951     True\n",
       "Length: 3952, dtype: bool"
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.duplicated(['context'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "id": "1a91531f-f98c-43e6-920b-96e56089b404",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>context</th>\n",
       "      <th>question</th>\n",
       "      <th>answers</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>미국 상의원 또는 미국 상원(United States Senate)은 양원제인 미국...</td>\n",
       "      <td>대통령을 포함한 미국의 행정부 견제권을 갖는 국가 기관은?</td>\n",
       "      <td>하원</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>'근대적 경영학' 또는 '고전적 경영학'에서 현대적 경영학으로 전환되는 시기는 19...</td>\n",
       "      <td>현대적 인사조직관리의 시발점이 된 책은?</td>\n",
       "      <td>《경영의 실제》</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>강희제는 강화된 황권으로 거의 황제 중심의 독단적으로 나라를 이끌어 갔기에 자칫 전...</td>\n",
       "      <td>강희제가 1717년에 쓴 글은 누구를 위해 쓰여졌는가?</td>\n",
       "      <td>백성</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>불상을 모시기 위해 나무나 돌, 쇠 등을 깎아 일반적인 건축물보다 작은 규모로 만든...</td>\n",
       "      <td>11~12세기에 제작된 본존불은 보통 어떤 나라의 특징이 전파되었나요?</td>\n",
       "      <td>중국</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>동아대학교박물관에서 소장하고 있는 계사명 사리구는 총 4개의 용기로 구성된 조선후기...</td>\n",
       "      <td>명문이 적힌 유물을 구성하는 그릇의 총 개수는?</td>\n",
       "      <td>4개</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3942</th>\n",
       "      <td>378년 4월, 부견은 부비(符丕)에게 17만을 주고 동진의 양양을 공격케했다. 그...</td>\n",
       "      <td>부견의 동진 공격을 지지한 사람은?</td>\n",
       "      <td>모용수</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3944</th>\n",
       "      <td>감시 시스템에 대해 성찰해야 한다.\\n\\n2003년 시민들은 프라이버시를 지키기 위...</td>\n",
       "      <td>역감시는 무엇의 보호를 위한 활동인가요?</td>\n",
       "      <td>자신의 프라이버시</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3945</th>\n",
       "      <td>1940년, 제2차 세계 대전에 대비하기 위해 알래스카 방위군이 창설되었다. 랜드리...</td>\n",
       "      <td>알래스카 고속도로가 미국 본토에 수행하는 역할은?</td>\n",
       "      <td>병력과 물류를 보급할 통로</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3948</th>\n",
       "      <td>애니의 고군분투 뉴욕 입성기!!\\n\\n인류학자가 꿈인 21살 소녀 '애니(스칼렛 요...</td>\n",
       "      <td>애니는 어디서 태어났는가?</td>\n",
       "      <td>뉴저지</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3949</th>\n",
       "      <td>1842년에 작곡가이자 지휘자인 오토 니콜라이가 빈 궁정 오페라극장 소속 관현악단을...</td>\n",
       "      <td>1854년에 니콜라이의 뒤를 이어 상임 지휘자로서 활동한 인물은?</td>\n",
       "      <td>칼 에케르트</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>3340 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                context  \\\n",
       "0     미국 상의원 또는 미국 상원(United States Senate)은 양원제인 미국...   \n",
       "1     '근대적 경영학' 또는 '고전적 경영학'에서 현대적 경영학으로 전환되는 시기는 19...   \n",
       "2     강희제는 강화된 황권으로 거의 황제 중심의 독단적으로 나라를 이끌어 갔기에 자칫 전...   \n",
       "3     불상을 모시기 위해 나무나 돌, 쇠 등을 깎아 일반적인 건축물보다 작은 규모로 만든...   \n",
       "4     동아대학교박물관에서 소장하고 있는 계사명 사리구는 총 4개의 용기로 구성된 조선후기...   \n",
       "...                                                 ...   \n",
       "3942  378년 4월, 부견은 부비(符丕)에게 17만을 주고 동진의 양양을 공격케했다. 그...   \n",
       "3944  감시 시스템에 대해 성찰해야 한다.\\n\\n2003년 시민들은 프라이버시를 지키기 위...   \n",
       "3945  1940년, 제2차 세계 대전에 대비하기 위해 알래스카 방위군이 창설되었다. 랜드리...   \n",
       "3948  애니의 고군분투 뉴욕 입성기!!\\n\\n인류학자가 꿈인 21살 소녀 '애니(스칼렛 요...   \n",
       "3949  1842년에 작곡가이자 지휘자인 오토 니콜라이가 빈 궁정 오페라극장 소속 관현악단을...   \n",
       "\n",
       "                                     question         answers  \n",
       "0            대통령을 포함한 미국의 행정부 견제권을 갖는 국가 기관은?              하원  \n",
       "1                      현대적 인사조직관리의 시발점이 된 책은?        《경영의 실제》  \n",
       "2              강희제가 1717년에 쓴 글은 누구를 위해 쓰여졌는가?              백성  \n",
       "3     11~12세기에 제작된 본존불은 보통 어떤 나라의 특징이 전파되었나요?              중국  \n",
       "4                  명문이 적힌 유물을 구성하는 그릇의 총 개수는?              4개  \n",
       "...                                       ...             ...  \n",
       "3942                      부견의 동진 공격을 지지한 사람은?             모용수  \n",
       "3944                   역감시는 무엇의 보호를 위한 활동인가요?       자신의 프라이버시  \n",
       "3945              알래스카 고속도로가 미국 본토에 수행하는 역할은?  병력과 물류를 보급할 통로  \n",
       "3948                           애니는 어디서 태어났는가?             뉴저지  \n",
       "3949     1854년에 니콜라이의 뒤를 이어 상임 지휘자로서 활동한 인물은?          칼 에케르트  \n",
       "\n",
       "[3340 rows x 3 columns]"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = df.drop_duplicates(['context'], keep='first')\n",
    "df\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "id": "c934800a-2968-4bd6-9be4-68a75e9c5e18",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv('remove_dup.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "34aca499-0619-49f7-91f3-8d24be739878",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}