텍스트 전처리(Text preprocessing)

 

 

토큰화에 대하여(아래의 Github 참조)

- 텍스트 데이터 정의

- 텍스트 벡터화하는 방법

- 토큰과 토큰화에 대한 정의

- 토큰화와 벡터를 연결하는 방법(원-핫 인코딩/토큰 임베딩)

- 단어/문자 원-핫 인코딩 예제 실습

- 케라스를 이용한 단어 원-핫 인코딩 예제 실습

 

참고

https://github.com/dohyeonkim2526/keras-Deep-learning/blob/master/%5B6.1%5D%ED%86%A0%ED%81%B0%ED%99%94%EC%99%80_%EC%9B%90_%ED%95%AB_%EC%9D%B8%EC%BD%94%EB%94%A9.ipynb