본문 바로가기

필사필요코드

불용어 제거 코드

반응형
import nltk
nltk.download('all')
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize


stop_words = set(stopwords.words('english'))

word_tokens = word_tokenize(exple)

result = []
for token in word_tokens:
    if token not in stop_words:
        result.append(token)

print(len(word_tokens))
print("불용어 제거")
#print(result)
반응형

'필사필요코드' 카테고리의 다른 글

단어의 빈도를 시각화하는 코드  (0) 2024.03.30
생소한 판다스 표현  (0) 2024.03.08
산점도 행렬 출력  (0) 2024.03.03
상관분석 코드  (0) 2024.03.03
컬럼 타입별로 구분  (0) 2024.03.03