Archive9 [NLP] tensorflow 를 이용한 seq2seq with attention기계 번역기 구현 [NLP] tensorflow 를 이용한 seq2seq 기계 번역기 구현seq2seq tensorflow 를 사용한 코드 seq2seq 구현: 아래 reference 링크에서의 예시를 실행하였으며 영어 프랑스어 기계번역을 진행0. 필요 라이브러리 및 데이터 다운import osimport reimport shutilimport zipfileimpchoiscoding.tistory.com위 포스팅에서 attention layer 추가, 사용 data 토큰화 방법, model size 등 모두 동일 Attention Mechanismsteps1. attention score 계산2. 소프트맥스 함수를 통해 attention distribution를 구함3. 각 인코더의 어텐션 가중치와 은닉상태를 가중합하여.. 2024. 8. 12. [NLP] tensorflow 를 이용한 seq2seq 기계 번역기 구현 seq2seq tensorflow 를 사용한 코드 seq2seq 구현: 아래 reference 링크에서의 예시를 실행하였으며 영어 프랑스어 기계번역을 진행0. 필요 라이브러리 및 데이터 다운import osimport reimport shutilimport zipfileimport numpy as npimport pandas as pdimport tensorflow as tfimport unicodedataimport urllib3from tensorflow.keras.layers import Embedding, GRU, Densefrom tensorflow.keras.preprocessing.sequence import pad_sequencesfrom tensorflow.keras.preproces.. 2024. 8. 1. [자연어처리입문] RNN을 이용한 인코더-디코더 (1) 시퀀스 투 시퀀스 ** 본 포스팅은 아래 링크를 참조하였음 ** https://wikidocs.net/24996 14-01 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) 이번 실습은 케라스 함수형 API에 대한 이해가 필요합니다. 함수형 API(functional API, https://wikidocs.net/38861 )에 대해서 우선 숙지 후… wikidocs.net RNN을 이용한 인코더-디코더 기존에 개체명 인식, 품사태깅에서 사용하는 구조와 달리 인코더, 디코더 두개의 RNN을 사용 주로 입력문장과 출력 문장의 길이가 다른 경우 사용 대표적으로 번역기, 텍스트 요약에 사용 시퀀스-투-시퀀스 (Sequence-to-Sequence, seq2seq) 입력된 시퀀스로부터 다른 도메인의 시퀀스.. 2024. 3. 5. [자연어처리입문] 서브워드 토크나이저 (2) 서브워드텍스트인코더 ** 본 포스터는 아래 링크를 참조하였음 ** https://wikidocs.net/86792 13-03 서브워드텍스트인코더(SubwordTextEncoder) SubwordTextEncoder는 텐서플로우를 통해 사용할 수 있는 서브워드 토크나이저입니다. BPE와 유사한 알고리즘인 Wordpiece Model을 채택하였으며, 패키지를… wikidocs.net 서브워드텍스트인코더(Subword Text Encoder) 텐서플로우를 통해 사용할 수 있는 서브워드 토크나이저 Wordpiece Model을 사용 패키지를 통해 쉽게 단어들을 서브워드로 분리할 수 있음 서브워드텍스트인코더를 이용한 IMDB 리뷰 토큰화 데이터 확인 import pandas as pd import urllib.request impo.. 2024. 3. 4. [DL] 활성화함수 (Activation Function) 정리 활성화 함수란? 퍼셉트론(입력값의 총합)의 출력값을 결정하는 비선형함수 총합을 출력할지 말지 결정할뿐만 아니라 어떤 값으로 변환하여 출력할지 결정하는 함수 종류 (구분참고 포스트 >> https://www.v7labs.com/blog/neural-networks-activation-functions) 1. 계산함수 (Binary Step Function) threshold 값 (위 수식에서 x) 에따라서 출력할지 말지 결정 한계점 0,1 두가지만을 출력하므로 multi-class classificaiton 문제에 적용하지 못함 기울기가 0으로 역전파 프로세스 (backpropagation process)에 사용 못함 2. 선형 활성화 함수(Linear Activation Function) no activ.. 2024. 2. 21. [Python] 파이썬 Pandas를 이용한 엑셀파일 읽고 쓰기 (+ DataFrame 정리) 파이썬에서 엑셀파일 읽기 (Pandas - read_excel) import pandas as pd filepath = '../testfile.xlsx' #파일 위치 df = pd.read_excel(filepath) #엑셀파일이 dataframe형식으로 저장 #여러 시트가 있는 경우 특정 시트를 불러올 때 df = pd.read_excel(filepath, sheet_name=1) #여러 시트 선택해서 불러올 때 df = pd.read_excel(filepath, sheet_name=[0,1]) #이 경우 시트 인덱스 번호/이름이 key이고 엑셀 내 데이터가 value인 딕셔너리 타입으로 저장 #모든시트를 불러올 때 df = pd.read_excel(filepath, shee_name=None) 헤더,.. 2024. 2. 19. 이전 1 2 다음
