본문 바로가기

전체 글297

[멋쟁이사자처럼 AI스쿨] TIL(23.4.18) 전이학습 전이 학습 하나의 문제에서 학습된 기능을 가져와 유사한 새 문제에 활용하는 것으로 구성 일반적으로 데이터 세트의 데이터가 너무 적어 전체 규모 모델을 처음부터 훈련할 수 없는 작업에 대해 수행 ex) 너구리를 식별하는 방법을 학습한 모델의 기능은 타누키를 식별하기 위한 모델을 시작하는 데 유용 전이 학습의 일반적인 워크플로우 이전에 훈련된 모델에서 계층을 가져옵니다. 향후 훈련 라운드 동안 포함된 정보가 파괴되지 않도록 동결하십시오. 동결된 레이어 위에 학습 가능한 새 레이어를 추가합니다. 그들은 이전 기능을 새로운 데이터 세트에 대한 예측으로 바꾸는 방법을 배웁니다. 데이터 세트에서 새 레이어를 교육합니다. 마지막 선택적 단계는 위에서 얻은 전체 모델(또는 그 일부)을 고정 해제하고 매우 낮은 학습률로.. 2023. 4. 18.
[멋쟁이사자처럼 AI스쿨] TIL(23.4.17) CNN 이미지의 사이즈가 불규칙하면 학습을 할 수 없기 때문에 리사이즈할 크기를 지정 # 이미지가 너무 작으면 왜곡이 되거나 특징을 잃어버릴 수도 # 하지만 계산량이 줄어들어 학습속도가 빨라짐 # 이미지가 너무 크면 확대를 하여 왜곡이 될 수도 있지만, 더 자세하게 학습 # 하지만 계산량이 많아서 시간이 오래 소요 => 원본이미지, 계산 시간, 계산 성능에 대한 신뢰를 고려해서 설정 CNN(합성곱신경망) Convolution Neural Network -다층 퍼셉트론(MLP)로 이미지를 flat하게 펼쳐 학습하면 이미지의 지역적 정보(topological information) 소실 >> 합성곱층의 뉴런은 수용 영역(receptive field)안에 있는 픽셀에만 연결하여 이미지의 지역적 정보를 보유 - 다층 .. 2023. 4. 17.
[서평] Let's 태블로. 쉽게 따라하는 데이터 시각화(생능북스) Let's 태블로. 쉽게 따라하는 데이터 시각화 코딩 없이 데이터 시각화하는 마법, 태블로 파이썬과 태블로를 활용한 데이터 분석에 집중하고 있는 요즈음, 'Let's 태블로. 쉽게 따라하는 데이터 시각화' 의 서평단 모집을 보고 신청하게 되었다. 데이터 전처리와 시각화를 동시에 할 수 있는 '파이썬'과 'R', '엑셀'과 비교해 태블로는 더 쉬운 사용방법으로 더 직관적인 시각화가 가능해 다른 시각화 툴인 power bi 등과 함께 데이터 분석 시각화에 필수 도구로 사용되고 있어, 이번 서평단을 통해 태블로의 기초부터 활용까지 익혀보려 한다. 저자 소개 최정민 : 데이터 사각화 스페셜리스트, 한양대 ERICA 정보사회미디어학과 데이터 시각화 강사 배달의 민족 시각화 대시보드 개발 유튜브 VizLab 운영(.. 2023. 4. 14.
[서평] 코딩 없이 배우는 컴퓨터 과학(성안북스) 코딩 없이 배우는 컴퓨터 과학(성안북스) No Code Data Science 파이썬과 태블로를 활용한 데이터 분석에 집중하고 있는 요즈음, '코딩 없이 배우는 데이터 과학' 의 서평단 모집을 보고 신청하게 되었다. 현재 No.1 코딩 언어로 자리잡은 ' 파이썬', 시각화 툴의 절대 강자 '태블로'로 이어지는 데이터 분석의 기본 코스에서 벗어난 데이터 과학의 새로운 시점이 이 책을 '읽어 보자'로 이끄는 중요 요소이다. 저자 소개 황보현우 : 하나금융그룹 데이터 전략 총괄. 국가데이터 정책위원회 산업기반분과위원 감으로만 일하던 김 팀장은 어떻게 데이터 좀 아는 팀장이 되었나(2021) 파이썬 데이터 과학 통계 학습(2020) 한노아 : SAS Korea - Sr Associate Analytica Con.. 2023. 4. 13.
[멋쟁이사자처럼 AI스쿨] TIL(23.4.12) 딥러닝3 TensorFlow => scikit-learn style API 와 유사 PyTorch => NumPy API 와 유사 batch => 작게 지정하면 학습을 더 빠르게 진행할 수 있으나, 클래스가 여러개인 분류 문제에서 클래스가 불균형하게 학습하지 않도록 주의가 필요합니다 sigmoid => activation function 으로 사용했지만, 기울기 소실 문제 때문에 활성화 함수(activation function)로는 잘 사용하지 않고 이진 분류의 출력을 확률 값으로 만들어 줄 때 사용합니다. 0~1사이의 값으로 출력합니다. softmax => 분류의 output logit 값에 대한 확률 변환을 할 때 사용합니다. 클래스의 수 만큼 출력이 되며 모든 클래스를 다 더했을 때 1이 됩니다. 클래스가 .. 2023. 4. 12.
[멋쟁이사자처럼 AI스쿨] TIL(23.4.11) 딥러닝2 딥러닝 학습 개요 1) 기본 네트워크에 대한 동작 방식 학습 2) 심층신경망(DNN), Fully Connected Network(완전연결신경망), Densely Connected Network(밀집신경망) 3) 합성곱신경망(CNN) => 주로 이미지 분류에 사용. (이미지, 텍스트, 정형데이터) 4) 순환신경망(RNN) => 순서가 있는 데이터, 시계열데이터, 자연어처리 등에 주로 사용 flatten -> 2차원 이미지를 1차원으로 만들어줌 dense -> unit의 개수 (하이퍼 파라미터) 네트워크를 깊게 쌓으면 대체적으로 성능이 좋아지나, 과적합 문제 발생 가능. dropout, 여러가지 전처리, batch 사용 기울기소실 문제는 네트워크를 깊게 쌓았을 때 back propagation 과정에서 발.. 2023. 4. 11.

티스토리툴바