혼자서 (17) 썸네일형 리스트형 Open AI Glide: Text-to image Generation Explained with code 따라해보기 (2) Open AI Glide: Text-to image Generation Explained with code| Python|+91-7973494585 for query| - YouTube Text to image code를 실행해보고 싶었는데 DALL2같은 경우는 코드 봐도 모르겠고... 해서 열심히 구글링하다가 찾은 영상 영상에 들어가서 더보기란 누르면 깃허브 주소가 있다 이 영상 따라서 Google Colab GPU에서 실행 *처음에 설정을 깜빡하고 안해서 CPU에서 진행했는데 거의 진행속도가 10배이상 차이났다. 무조건 GPU로 설정 후에 하는거 추천! GitHub - openai/glide-text2im: GLIDE: a diffusion-based text-conditional image .. 20220718 Vanishing Gradient : 은닉층이 많은 다층 퍼셉트론 신경망에서 은닉층을 많이 거칠수록 오차가 크게 줄어 학습이 되지 않고, 기울기가 거의 0으로 소멸 └네트워크의 학습이 느려지고, 학습이 완료되지 않은 상태에서 정지. └이를 해결하기 위해 사라져 가는 성질을 갖지 않는 비선형함수를 활성화 함수로(ex. ReLu 함수)를 선택 Long-Term Dependency (장기 의존성) : sequence data에서 관련된 요소들이 멀리 떨어져 있는 경우 sequence에 장기 의존성이 존재한다고 함. └RNN에 input되는 sequence의 길이가 길면 sequence 앞부분 요소의 영향력이 time step이 진행될수록 점점 약해져서 일정 시간이 지나면 소멸하게 됨. (+오차 역전파 과정에서.. 20220712 20220712 통계 기반 기법 : 말뭉치 안의 각 단어에 대해서 그 단어의 주변 단어의 빈도를 집계 (동시발생 행렬) 상호정보량 └점별 상호정보량(Pointwise Mutual Information, PMI) : 높을수록 단어의 관련성이 높음 └양의 상호정보량(Positive PMI, PPMI) : 동시발생 횟수가 0일 경우 음의 무한대로 가는 것 을 피한다. PMI가 음수일 경우 0으로 취급. 차원 감소(dimensionality reduction) : 벡터의 차원을 줄인다. 중요한 정보는 최대한 유지하며 줄이는 것이 핵심 └특잇값 분해(Singular Value Decomposition, SVD) : 행렬을 세 행렬의 곱으로 분해 └특잇값 : 해당 축의 중요도 통계 기반 기법은 대규모의 말뭉치를 다.. 20220711 * 밑바닥부터 시작하는 딥러닝 overfitting을 피하기 위해 └가중치 감소 : 큰 가중치에 대해서는 큰 패널티를 부가하여 오버피팅 억제 └Drop out : 뉴런을 임의로 삭제하면서 훈련. * CNN 1. 전체 구조 └합성곱 계층(convolution layer)과 풀링 계층(pooling layer)으로 나뉨. └기존에는 affine layer를 사용했지만, 이는 데이터의 형상이 무시된다는 단점이 존재. (3차원 데이터를 1차원으로 평탄화 해줘야 하기 때문에) └합성곱 계층은 이 3차원 형상을 유지. └입력 데이터 : 입력 특징 맵(input featuer map), 출력 데이터 : 출력 특징 맵(output feature map) └입력 데이터에 필터 적용 후 + 편향 = 출력 데이터 └padd.. 20220708 * 밑바닥부터 시작하는 딥러닝 1 퍼셉트론 : 입출력을 갖춘 알고리즘. 입력을 주면 정해진 규칙에 따른 값을 출력하는데, 가중치와 편향을 매개변수로 설정한다. 편향(bias) : 뉴런이 얼마나 쉽게 활성화되느냐를 제어 가중치(weight) : 각 신호의 영향력을 제어 활성화 함수 : 입력 신호의 총합을 출력 신호로 변환하는 함수. 입력 신호의 총합이 활성화를 일으키는지 정한다. 단순 퍼셉트론 : 단층 네트워크에서 계단 함수를 활성화 함수로 사용한 모델 다층 퍼셉트론 : 신경망 시그모이드 함수 : 신경망에서 자주 이용하는 활성화 함수 ReLU 함수 : 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하면 0을 출력 분류 : 데이터가 어느 클래스에 속하는지. 대부분 소프트맥스 함수 사용 회귀 : 입력 .. 20220706 -모두의 인공지능 기초수학 : 누구나 쉽게 시작하는 인공 지능 수학 인공지능에서 미분은 가중치와 편향의 값을 조절할 때 사용 └입력층(input) : 데이터가 입력되는 계층 └은닉층(hidden) : 입력층과 출력층 사이 복잡한 분류 문제에서 판별 경계를 찾는데 사용 └출력층(output) : 활성화 함수 값을 계산하여 출력 결정 └가중치(weight) : 각 신호가 결과에 주는 영향력을 조절하는 요소. 클수록 중요도가 높음 └가중합(weighted sum) : 입력값(x)와 가중치(w)의 곱을 모두 더한 후 그 값에 편향(b)을 더한 값 └편향(bias) : 가중합에 더하는 상수, 하나의 뉴런에서 활성화 함수를 거쳐 최종으로 출력되는 값을 조절하는 역할 └활성화 함수(activation function.. 20220705 트랜스포머 : 기존의 seq2seq 구조인 인코더-디코더를 사용하며 attention으로만 구현 └(RNN 사용 X) 기존의 seq2seq는 두 개의 모듈 사용 ＊인코더 : 입력 시퀀스를 하나의 벡터 표현으로 압축 ＊디코더 : 이 벡터 표현을 통해 출력 시퀀스 생성 └여기서 인코더 압축 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점이 있음 1. d_model= 512 : 트랜스포머의 인코더와 디코더에서 정해진 입·출력 크기 의미 (임베딩 벡터 차원도 , 각 인코더와 디코더가 다음 층의 인코더-디코더로 값을 보낼 때도 차원 유지) 2. num-heads = 8 : 트랜스포머에서 어텐션 사용 시 여러 개로 분할해서 어텐션 수행 후 결과 값을 합치는데 이때의 병렬 개수 3. num-layers = 6 :.. anaconda 설치 오류 (users 폴더 명 변경) + 그 후 오류 아나콘다를 설치하는데 맨 처음에 anaconda error due to incompatibility with several python libraries 이런식으로 뜸 인터넷 찾으니 1. 미리 파이썬이 깔려있으니 파이썬 관련 전부 삭제 2. 저장할 파일 경로에 한글이 섞이면 안됨 파이썬도 삭제하고 경로도 계속해서 변경하는데 안되길래 보니까 사용자명이 한글이름으로 ㅇㅇ 이렇게 두글자 있어서 인것같아서 구글링해서 맨위에 뜨는 사용자 계정 이름 변경하는 법 윈도우 로고 키 + X 키를 누르고 "제어판"을 선택합니다. "사용자 계정"을 클릭합니다. "사용자 계정 변경"에서 "계정 이름 변경"을 클릭합니다. 원하는 이름 기입 후 "이름 변경"을 클릭합니다. 이름이 변경됐는지 확인합니다. 아니근데 왜 얘만 가운데 .. 이전 1 2 3 다음
