보캡에 대해서

[SangMyeongWoh]

주어진 토큰 이외에 추가적으로 special token을 넣어 사용하고싶은데
이럴때 보켑에서 설정을 어떻게하면되나요?

[haven-jeon]

말씀하신 내용을 처리하는 방법은 아래와 같이 두가지 입니다.

1. vocab에 물리적으로 토큰을 추가하는 것
2. 기 정의된 토큰을 활용하는것

1은 SKTBrain/KoBERT#11 를 참고하시면 됩니다만, 번거로워서 추천드리지 않습니다.
2번은 저도 자주 사용하는 방법인데, https://github.com/haven-jeon/KoGPT2-chatbot/blob/9faa8aae64498bd06807914b4c67eb30c14c7465/train_torch.py#L47 코드를 참고하시면 될듯 합니다. 보캡을 보시면 아시겠지만, <unusedX> 토큰이 약 100개 정도 정의가 이미 vocab에 들어있어 이들 토큰을 활용하시면 될거 같습니다.

1번의 장점은 직접 토큰을 정의가능하다는 것인데, 그 이외 장점은 별로 없구요. 2번이 학습된 네트워크 구조 수정이 없이 적용하기 가장 쉬운 방식입니다.

[haven-jeon]

별다른 반응이 없어 이 이슈는 클로즈 합니다.