본문 바로가기

멋쟁이사자처럼 AI스쿨 8기

[멋쟁이사자처럼 AI스쿨 8기] 멋쟁이 사자처럼 AI스쿨 후기(5.31 기념품 수령 추가) 지난 5월 19일, 짧고도 길었던 멋쟁이사자처럼 AI스쿨 8기의 KDT 과정이 마무리 되었다. 작년 12월 19일에 시작한 부트캠프는 5월 19일까지 약 6개월, 800여 시간의 과정으로 진행되었으며, 메인 파이썬 담당 박조은 강사님(오늘코드), 태블로 담당 강승일 강사님(빅스데이터), SQL 담당 이범재 강사님(위니브), 알고리즘 담당 이호준 강사님(위니브), 파이썬 기초 문법 담당 박두진 강사님(패스트캠퍼스), 통계 담당 유재명 강사님(퀸트랩) 등 6분의 강사님들 + 특강(현업 데이터 분석가)으로 수업이 구성되었다. 데이터 분석가의 업무에 대해 명확하게 이해하지 못했던 시작점이었지만, 약 5개월의 과정을 통해 데이터 분석가가 무슨 업무를 하는지, 데이터 분석가 직무를 수행하기 위해 어떠한 학습을 하고.. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.26) streamlit .py와 .ipynb 차이 git 분산 버전 관리 시스템, 컴퓨터 파일의 변경사항을 추적, 빠른 수행 속도에 중점을 두고 있는 것이 특징. 데이터 무결성, 분산, 비선형 워크플로를 지원 GitHub 분산 버전 관리 툴인 깃 저장소 호스팅을 지원하는 웹 서비스 저장소의 .gitignore의 역할 Project에 원하지 않는 Backup File이나 Log File , 혹은 컴파일 된 파일들을 Git에서 제외시킬수 있는 설정 File 항상 최상위 Directory에 존재 규칙을 작성하여 특정 확장자를 제외할 수 있음 가상환경 명령어 아나콘다 기본(base) 가상환경을 활성화 conda activate base 아나콘다 가상환경을 목록 conda env list 가상환경에 설치된 파이썬 패키지 목록을 텍스트 .. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.25) 추천시스템 추천시스템 정보 필터링 (IF) 기술의 일종, 특정 사용자가 관심을 가질만한 정보를 추천하는 것 콘텐츠 기반(Content-based filtering) 방식 협업 필터링 기반(Collaborative filtering) 방식으로 추천 목록 생성 Matrix Factorization Matrix를 분해하고, 평점 패턴으로부터 추론한 요인 벡터들을 통해 사용자와 아이템의 특성을 추출 메모리 기반 방법 협업 필터링(Collaborative filtering) 기반의 추천 중 사용자가 이전에 평가한 항목의 전체 컬렉션에 따라 등급을 예측하는 방법으로, 기술을 사용하려면 모든 등급, 항목 및 사용자가 메모리에 유지되어야 하는 방법 협업 필터링(Collaborative filtering) 추천시스템 많은 고객들로.. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.24) 자연어처리, 트랜스포머 자연어처리로 할 수 있는 task 전체 문장 분류: 리뷰에 드러난 감정 파악하기, 스팸 메일 분류하기, 문장이 문법적으로 올바른지 혹은 문장 쌍이 논리적으로 관련이 있는지 없는지 결정하기 문장 내 단어 분류: 문장 구성 성분(명사, 동사, 형용사 등) 혹은 개체명(사람, 장소, 기관) 식별하기 텍스트 컨텐츠 생성: 자동 생성 텍스트로 프롬프트 작성하기, 텍스트 내 마스킹 된 단어의 빈칸 채우기 텍스트 안에서 정답 추출하기: 지문과 질의가 주어질 때 지문에 주어진 정보를 이용해 질의에 대한 정답 추출하기 입력 텍스트로부터 새로운 문장 생성하기: 입력 텍스트를 다른 언어로 번역하거나, 요약하기 트랜스포머는 쿼리, 키, 밸류를 이용해 self-attention을 수행. - self attention은 문장 내.. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.19) RNN RNN(순환신경망: Recurrent Neural Network) RNN이 기존 신경망과의 차이점: 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징 다양한 길이의 입력 시퀀스를 처리할 수 있는 인공 신경망 가장 기본적인 순환 신경망은 바닐라 RNN이며, 기울기 소실의 문제점을 개선한 LSTM, GRU 모델도 존재 RNN은 텍스트 분류나 기계 번역과 같은 다양한 자연어 처리에 대표적으로 사용되는 인공 신경망 로그변환 => 어느쪽에 치우쳐져있는지 상관없이 차이가 큰 값을 작게 만들어서 정규분포에 가깝게 만들어 줍니다. 제곱변환 => 유니폼한 데이터, 특징이 잘 구분되지 않을 때 차이를 만들어서 구분해서 보고자 할 때 효과가 있습니다. Keras에는 세 개의 내장 R.. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.18) 전이학습 전이 학습 하나의 문제에서 학습된 기능을 가져와 유사한 새 문제에 활용하는 것으로 구성 일반적으로 데이터 세트의 데이터가 너무 적어 전체 규모 모델을 처음부터 훈련할 수 없는 작업에 대해 수행 ex) 너구리를 식별하는 방법을 학습한 모델의 기능은 타누키를 식별하기 위한 모델을 시작하는 데 유용 전이 학습의 일반적인 워크플로우 이전에 훈련된 모델에서 계층을 가져옵니다. 향후 훈련 라운드 동안 포함된 정보가 파괴되지 않도록 동결하십시오. 동결된 레이어 위에 학습 가능한 새 레이어를 추가합니다. 그들은 이전 기능을 새로운 데이터 세트에 대한 예측으로 바꾸는 방법을 배웁니다. 데이터 세트에서 새 레이어를 교육합니다. 마지막 선택적 단계는 위에서 얻은 전체 모델(또는 그 일부)을 고정 해제하고 매우 낮은 학습률로.. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.17) CNN 이미지의 사이즈가 불규칙하면 학습을 할 수 없기 때문에 리사이즈할 크기를 지정 # 이미지가 너무 작으면 왜곡이 되거나 특징을 잃어버릴 수도 # 하지만 계산량이 줄어들어 학습속도가 빨라짐 # 이미지가 너무 크면 확대를 하여 왜곡이 될 수도 있지만, 더 자세하게 학습 # 하지만 계산량이 많아서 시간이 오래 소요 => 원본이미지, 계산 시간, 계산 성능에 대한 신뢰를 고려해서 설정 CNN(합성곱신경망) Convolution Neural Network -다층 퍼셉트론(MLP)로 이미지를 flat하게 펼쳐 학습하면 이미지의 지역적 정보(topological information) 소실 >> 합성곱층의 뉴런은 수용 영역(receptive field)안에 있는 픽셀에만 연결하여 이미지의 지역적 정보를 보유 - 다층 .. 더보기
[멋쟁이사자처럼 AI스쿨] TIL(23.4.12) 딥러닝3 TensorFlow => scikit-learn style API 와 유사 PyTorch => NumPy API 와 유사 batch => 작게 지정하면 학습을 더 빠르게 진행할 수 있으나, 클래스가 여러개인 분류 문제에서 클래스가 불균형하게 학습하지 않도록 주의가 필요합니다 sigmoid => activation function 으로 사용했지만, 기울기 소실 문제 때문에 활성화 함수(activation function)로는 잘 사용하지 않고 이진 분류의 출력을 확률 값으로 만들어 줄 때 사용합니다. 0~1사이의 값으로 출력합니다. softmax => 분류의 output logit 값에 대한 확률 변환을 할 때 사용합니다. 클래스의 수 만큼 출력이 되며 모든 클래스를 다 더했을 때 1이 됩니다. 클래스가 .. 더보기

티스토리툴바