전체 글 (61) 썸네일형 리스트형 bert를 통한 NER 학습 전처리 #)1pip install 하기 !pip install -U transformers !pip install -U accelerate !pip install -U datasets #)2 데이터 받기 import pandas as pd from datasets import load_dataset data = load_dataset('conllpp') data #)3 데이터 출력 data['train'].features #)4 데이터 출력 2 pd.DataFrame(data['train'][:])[['tokens', 'ner_tags']].iloc[0] #)5 index2tag 만들기 tags = data['train'].features['ner_tags'].feature index2tag = {idx:tag.. lstm을 통한 개채명 인식 #)1라이브러리 임포트 import pandas as pd import numpy as np import matplotlib.pyplot as plt import urllib.request from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences from sklearn.model_selection import train_test_split from tensorflow.keras.utils import to_categorical #)2 데이터 받기 data = pd.read_csv("/content/drive/MyDrive/kdt/refer t.. bert ner 예제 코드 !git clone https://github.com/ukairia777/tensorflow-bert-ner.git 위코드의 역활은 데이터셋을 가져오는 코드이다. 위에있는 코드로https://github.com/ukairia777/tensorflow-bert-ner.git 이라는 url에서 가져온다. %ls 실행결과 HTML 삽입 미리보기할 수 없는 소스 이코드는 현재 내가 파일을 건드는 위치를 파악하는 코드이다. %cd tensorflow-bert-ner/ 이코드는tensorflow-bert-ner/ 로 현제 내가 있는 디렉토리의 위치를 바꾸는 코드이다. !pip install transformers !pip install seqeval 위코드는 모듈을 설치하는 코드이다. 첫번째 transformers.. 이전 1 2 3 4 ··· 21 다음
