본문 바로가기

박조은

[멋쟁이사자처럼 AI스쿨] Day24 TIL ㅁ EDA Exploratory Data Analysis, 탐색적 데이터 분석 데이터 자체에 대한 해석이 잘못되어 있다면, 해당 데이터에 대한 분석 결과도 잘못될 확률이 매우 큽니다. 데이터에 대한 이해, 즉 데이터가 의미를 정확히 파악하고 해석하고, 그 후에 가정을 설정해야합니다. *.isin() : 조건이 정확히 일치 *.str.contains() : 조건을 포함, 시리즈에서만 사용 가능. 문자열/특정 데이터 타입에서만 사용 가능 https://pandas.pydata.org/docs/reference/series.html#string-handling ㅁ 선 그래프와 막대 그래프 선 그래프 ⇒ 연속된 수치 데이터에 주로 사용합니다. 막대 그래프 ⇒ 연속되지 않은 (주로 범주형) 데이터에 주로 사용합니.. 더보기
[멋쟁이사자처럼 AI스쿨] Day23 TIL ㅁ 데이터를 분석하는 이유? => 데이터를 어떻게 보여줄 것인가? 요약? 전체? ㅁ 파이썬 시각화 => matpoltlib, 정적 시각화 단점 : 한글 지원x 한글 폰트 설정 (!pip install koreanize-matplotlib) cf.) plotly : 동적 시각화, javascript ㅁ from glob import glob # '폴더명' 폴더의 '파일명.확장자'에 해당하는 모든 파일 보여줌 glob("폴더명"/"파일명.확장자") ㅁ jupyter notebook 내 ? 사용 ? 더보기
[멋쟁이사자처럼 AI스쿨] mini project #1-2. API mini project part.2 주제 : API - KOSIS의 '미분양주택현황' 조회 수집 Kosis - 미분양주택현황 (https://kosis.kr/statHtml/statHtml.do?orgId=101&tblId=DT_1YL202001E&vw_cd=MT_GTITLE01&list_id=107&seqNo=&lang_mode=ko&language=kor&obj_var_id=&itm_id=&conn_path=MT_GTITLE01) 주제 선정 이유 : 서울시의 미분양 주택 현황을 '지역구' 기준, 3개년도를 비교 분석하는 데이터 작성 및 시각화 도전. 시각화는 folium을 통한 지도 작성 *api 과제는 PublicDateReader api를 통해 진행 (https://github.com/Financ.. 더보기
[멋쟁이사자처럼 AI스쿨] mini project #1-1. Web_scraping 늦게쓰는 미니 프로젝트 회고. 오늘은 23년 1월 30일. 22년 12월 19일에 시작했던 멋쟁이 사자처럼 AI스쿨 8기 과정이 시작한지 벌써 1/4 지점이 지난 시점. 지난 1월 18일에시작되고 1월 29일에 마무리 되었던 mini project 회고를 작성한다. (과제 중간 작성하려 했으나, 실패... 다음부터는 중간 작성에 도전!) mini project part.1 주제 : 웹 스크래핑 - 나라장터 '입찰 공고 목록 수집' 나라장터 (https://www.g2b.go.kr/index.jsp) 주제 선정 이유 : 기존에 학습했던 웹 스크래핑의 데이터 및 사이트는 모두 정형화 되어있는 포맷(틀)을 가지고 있어서 마지막 페이지와 table의 tag값, class명 등을 통해 '일괄' 수집 및 처리가 가.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day18. Week5 - WIL AIS8 5주차 회고 Day15 ~ Day17 ㅁ 웹 스트래핑과 웹 크롤링 그리고 API week5의 메인 주제는 파이썬을 이용한 웹 스트래핑과 웹 크롤링 마지막으로 API를 활용이었다. 지난 week4에서 다루었던 requests를 이용한 사이트별 get, post를 이용한 자료 수집에서 한 걸음 나아가 사이트 내 특정 항목을 수집 후 데이터 프레임의 인덱스를 재 설정, 전치행렬을 적용한 시각화 변환, 마지막으로 반복문 대신 map을 적용하는 것 까지. 또한 기존의 html형식의 데이터 코드 수집에서 json, xml의 형식 데이터 수집으로 확장하여 효율적인 스크래핑의 방법을 학습했다. ㅁ 웹 스트래핑(크롤링)의 insight 고민 금주부터 시작하는 미니 프로젝트는 웹 스트래핑과 API를 활용하여 데이.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day17 TIL ㅁ python 명령문 시간측정 %time: 단일 명령문의 실행 시간 %timeit: 정확도 향상을 위해 단일 명령문을 반복적으로 실행하는 시간 %prun: 프로파일러로 코드 실행 %lprun: 라인별 프로파일러로 코드 실행 %memit: 단일 문장의 메모리 사용량 측정 %mprun: 라인별 메모리 프로파일러로 코드 실행 ㅁ select & find & find_all 속도 비교 find > find_all > select ㅁ map&apply map, apply 는 pandas의 메서드 반복문 대신 사용(속도가 빠름). but 다수 작업 수행 시 진척도 파악 어려움. -> tqdm 사용 progress_map(), progress_apply() tqdm : 판다스를 지원, 진행상태 표시. ㅁ list .. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day 16 TIL # jupyter notebook 확장자 ipynb ▶ ipython notebook에서 유래 jupyter 네이밍 변경 ▶ Jupyter가 지원하는 핵심언어인 Julia, Python, R를 포용할 수 있도록 네이밍 변경 .ipynb 확장자는 ipython 환경에서만 사용 가능 ▶ download as 에서 확장자 변경하여 다운로드 가능. cf) .py 확장자 파일 편집은 파이썬 내장 IDE, 주피터 lab, 메모장, vscode, 파이참 등 사용 + 수업중 .py 확장자는 추후 대시보드 작성시 사용 예정, vscode 적용 Q. 좋은 편집기란? A - 본인에게 제일 편한 것. 파일 경로 확인 : %pwd Jupyter localhost 로 실습할 때의 장점 오프라인에서도 사용이 가능 데이터 파일 등을.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day 15 TIL ㅁ 변수명으로 예약어, 내장함수명, 모듈명 등 사용 하지 말 것. ['False', 'None', 'True', 'and', 'as', 'assert', 'async', 'await', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or', 'pass', 'raise', 'return', 'try', 'while', 'with', 'yield'] ㅁ 표기 주의 함수명 => snake_case (lower_case_with_underscores) 클래스명 => C.. 더보기

티스토리툴바