AI/Toy Project (4) 썸네일형 리스트형 [NLP] Attention을 이용하여 한-영 번역기 만들기 Github 링크 GitHub - RealMyeong/Going_Deeper_NLP Contribute to RealMyeong/Going_Deeper_NLP development by creating an account on GitHub. github.com 사용 데이터 링크 GitHub - jungyeul/korean-parallel-corpora: Korean Parallel Corpus Korean Parallel Corpus. Contribute to jungyeul/korean-parallel-corpora development by creating an account on GitHub. github.com 1. 데이터 확인 및 전처리 import tensorflow as tf import n.. 뉴스 요약봇 만들기 안녕하세요 이번엔 긴 문장을 요약해주는 텍스트 요약기를 만들어보겠습니다. 텍스트 요약이란 긴 길이의 문서(Document)원문을 핵심 주제만으로 구성된 짧은 요약(Summary) 문장들로 변환하는 것을 말합니다. 예를 들어 뉴스 기사로 뉴스의 헤드라인을 만들어내는 것이 있습니다. 요약할 때 중요한 것은 요약 전후의 정보 손실이 최소화되어야 한다는 점입니다. 이것은 원문의 길이가 길수록 만만치 않은 어려운 작업이 됩니다. 우리가 요약을 한다라고 하면 긴 문장을 정확하게 읽고 이해한 후, 그 의미를 손상하지 않는 짧은 다른 표현으로 원문을 번역해야 하는 것입니다. 그렇게 요약 문장을 만들어내는 방법은 크게 두 가지가 있습니다. 바로 추출적 요약(Extractive Summarization)와 추상적 요약(A.. seq2seq 모델을 이용한 번역기 만들기 우선 필요한 모듈 import와 라이브러리 버전을 맞춰줍니다. !pip install tensorflow==2.6.0 !pip install keras==2.6.0 import pandas as pd from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequence from tensorflow.keras.utils import to_categorical import numpy as np import re import matplotlib.pyplot as plt 데이터를 불러오고 한 번 확인해봅니다. 데이터는 https://www.manythings.or.. 네이버 영화리뷰 감성분석하기 1. 데이터 준비와 확인 필요한 모듈 설치 !pip install konlpy # install mecab-python import os os.chdir('/content') !git clone https://bitbucket.org/eunjeon/mecab-python-0.996.git os.chdir('/content/mecab-python-0.996') !python3 setup.py build !python3 setup.py install 데이터 불러오고 확인 import pandas as pd import konlpy import gensim train_data = pd.read_table('.../ratings_train.txt') test_data = pd.read_table('.../rat.. 이전 1 다음
