본문 바로가기

멋쟁이사자처럼 AI School 8기(fin)

[멋쟁이사자처럼 AI스쿨 8기] Day19 SQL week2 with 이범재(제주코딩베이스캠프) # week2 SQL - SQL 문법 문제 풀이 ㅁ having 그룹화된 데이터에 조건을 부여. GROUP BY와 함께 사용. group by having ㅁ order by 출력 결과 정렬 오름차순 : ASC(기본, 작은 수에서 큰 수로, Ascending) 내림차순 : DESC(큰 수에서 작은 수로, Descending) ㅁ sql 구문 작성 순서 from where group by having select order by limit ㅁ SQL 문제 중 오늘 얻은 지식. Point. 조건 중 영문자의 대/소 문자 구분이 없다 표현 존재 시 ▶ lower()나 upper()을 통해 주어진 단어를 대문자 or 소문자로 통일 시킨 후 where 조건절에 적용. Point. left 함수 대체 가능 subs.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day18. Week5 - WIL AIS8 5주차 회고 Day15 ~ Day17 ㅁ 웹 스트래핑과 웹 크롤링 그리고 API week5의 메인 주제는 파이썬을 이용한 웹 스트래핑과 웹 크롤링 마지막으로 API를 활용이었다. 지난 week4에서 다루었던 requests를 이용한 사이트별 get, post를 이용한 자료 수집에서 한 걸음 나아가 사이트 내 특정 항목을 수집 후 데이터 프레임의 인덱스를 재 설정, 전치행렬을 적용한 시각화 변환, 마지막으로 반복문 대신 map을 적용하는 것 까지. 또한 기존의 html형식의 데이터 코드 수집에서 json, xml의 형식 데이터 수집으로 확장하여 효율적인 스크래핑의 방법을 학습했다. ㅁ 웹 스트래핑(크롤링)의 insight 고민 금주부터 시작하는 미니 프로젝트는 웹 스트래핑과 API를 활용하여 데이.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day17 TIL ㅁ python 명령문 시간측정 %time: 단일 명령문의 실행 시간 %timeit: 정확도 향상을 위해 단일 명령문을 반복적으로 실행하는 시간 %prun: 프로파일러로 코드 실행 %lprun: 라인별 프로파일러로 코드 실행 %memit: 단일 문장의 메모리 사용량 측정 %mprun: 라인별 메모리 프로파일러로 코드 실행 ㅁ select & find & find_all 속도 비교 find > find_all > select ㅁ map&apply map, apply 는 pandas의 메서드 반복문 대신 사용(속도가 빠름). but 다수 작업 수행 시 진척도 파악 어려움. -> tqdm 사용 progress_map(), progress_apply() tqdm : 판다스를 지원, 진행상태 표시. ㅁ list .. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day 16 TIL # jupyter notebook 확장자 ipynb ▶ ipython notebook에서 유래 jupyter 네이밍 변경 ▶ Jupyter가 지원하는 핵심언어인 Julia, Python, R를 포용할 수 있도록 네이밍 변경 .ipynb 확장자는 ipython 환경에서만 사용 가능 ▶ download as 에서 확장자 변경하여 다운로드 가능. cf) .py 확장자 파일 편집은 파이썬 내장 IDE, 주피터 lab, 메모장, vscode, 파이참 등 사용 + 수업중 .py 확장자는 추후 대시보드 작성시 사용 예정, vscode 적용 Q. 좋은 편집기란? A - 본인에게 제일 편한 것. 파일 경로 확인 : %pwd Jupyter localhost 로 실습할 때의 장점 오프라인에서도 사용이 가능 데이터 파일 등을.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day 15 TIL ㅁ 변수명으로 예약어, 내장함수명, 모듈명 등 사용 하지 말 것. ['False', 'None', 'True', 'and', 'as', 'assert', 'async', 'await', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or', 'pass', 'raise', 'return', 'try', 'while', 'with', 'yield'] ㅁ 표기 주의 함수명 => snake_case (lower_case_with_underscores) 클래스명 => C.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day14 -2 ㅁ where 데이터에 조건을 부여, 필터링한 결과를 조회 여러 연산자를 결합하여 사용 가능 결합 가능한 연산자 비교연산자(=, , !=, >=, 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day14 SQL week1 with 이범재(제주코딩베이스캠프) SQL 1주차 수업 시작. 강사님은 제주코딩베이스캠프 소속으로 유명하신 위니브 이범재 강사님. ㅁ DB 데이터란 컴퓨터 안에 기록된 문자, 숫자를 의미 데이터의 집합을 데이터베이스(database, DB) ㅁ DB, RDB, DBMS, RDBMS DBMS(Database Management System) : 데이터베이스를 효율적으로 관리하는 소프트웨어 관계형 모델(Relational Model) : 데이터를 표 형태로 구조적으로 관리하는 모델 관계형 데이터베이스(RDB : Relational Database) : 계형 모델을 기반의 데이터베이스 RDBMS : RDB기반의 데이터베이스관리시스템. Oracle, DB2, SQL Server PostgreSQL, MySQL, SQLite ㅁ 정형&비정형 데이터.. 더보기
[멋쟁이사자처럼 AI스쿨 8기] Day13. week4 - WIL AI스쿨 4주차 WIL(23.1.9 ~ 1.11) 박조은 강사님(오늘코드)과 함께하는 본격적인 python 강의 시작. 학습내용 Review 데이터 수집을 위한 판다스 기초. pandas란? 데이터 조작 및 분석을 위한 소프트웨어 라이브러리 숫자 테이블과 시계열 을 조작하기 위한 데이터 구조 와 연산을 제공 추상화된 도구를 통한 데이터 수집 FinanceDataReader을 통한 KRX 상장 종목 정보 수집 Web Scraping하기 전에 꼭 알아둘것 웹 스크래핑은 브라우저 상에 표기되어야 하는 모든 내용을 빠르게 요청하기 때문에 서버에 부담이 생길 수 있습니다. 서비스 제공자가 요청하는 방식인 API를 통하지 않은 데이터 수집은 데이터베이스권에 대한 침해행위일 수 있습니다. 웹 스크래핑을 할 때 한번에.. 더보기

티스토리툴바