전체 글297 [멋쟁이사자처럼 AI스쿨] mini project #1-1. Web_scraping 늦게쓰는 미니 프로젝트 회고. 오늘은 23년 1월 30일. 22년 12월 19일에 시작했던 멋쟁이 사자처럼 AI스쿨 8기 과정이 시작한지 벌써 1/4 지점이 지난 시점. 지난 1월 18일에시작되고 1월 29일에 마무리 되었던 mini project 회고를 작성한다. (과제 중간 작성하려 했으나, 실패... 다음부터는 중간 작성에 도전!) mini project part.1 주제 : 웹 스크래핑 - 나라장터 '입찰 공고 목록 수집' 나라장터 (https://www.g2b.go.kr/index.jsp) 주제 선정 이유 : 기존에 학습했던 웹 스크래핑의 데이터 및 사이트는 모두 정형화 되어있는 포맷(틀)을 가지고 있어서 마지막 페이지와 table의 tag값, class명 등을 통해 '일괄' 수집 및 처리가 가.. 2023. 1. 30. [멋쟁이사자처럼 AI스쿨] Day22 SQL week3 ㅁ Union : 합집합 union all : 중복 포함 결합 union distinct : 중복 제외 결합 ㅁ intersect : 교집합 INTERSECT DISTINCT ㅁ except : 차집합 except DISTINCT ㅁ Sub Query : 다른 SQL문 안에 중첩된 SELECT 문 ㅁ with(Common Table Expressions) with 절은 쿼리 내에서 임시 결과를 정의하고 사용합니다. 주요 사용 목적은 복잡한 추출 과정을 분할하여 단계적으로 처리하면서 전체 데이터 추출과정을 단순화시키는 것 cf) CTE(유사 테이블) 2023. 1. 27. [멋쟁이사자처럼 AI스쿨] Day21 SQL week3 ㅁ 조건문 case if(조건 , 참, 거짓) ㅁ join 2023. 1. 26. [멋쟁이사자처럼 AI스쿨] Day20 SQL week3 ㅁ SQL 숫자 함수 Round round 함수는 해당 항목 레코드의 숫자를 반올림하여 출력 Trunc trunc 함수는 해당 항목 레코드의 숫자를 내림(절삭)하여 출력 mod 함수는 해당 항목 레코드의 숫자를 나누기하여 나머지를 출력 power 함수는 해당 항목 레코드의 숫자를 제곱하여 출력 sqrt 함수는 해당 항목 레코드의 제곱근을 출력 ㅁ 문자열 함수 SUBSTR 문자열의 일부만 출력 LEFT 문자열을 왼쪽에서 얼만큼 자를 지 설정한 후에 조회 RIGHT 문자열을 오른쪽에서 얼만큼 자를 지 설정한 후에 조회 CONCAT 여러 문자열을 하나로 연결 연결연산자(||)으로도 연결 LOWER 문자열을 모두 소문자로 변경 UPPER 문자열을 모두 대문자로 변경 INITCAP 앞에 문자만 대문자로 REPLA.. 2023. 1. 25. [멋쟁이사자처럼 AI스쿨 8기] Day19 SQL week2 with 이범재(제주코딩베이스캠프) # week2 SQL - SQL 문법 문제 풀이 ㅁ having 그룹화된 데이터에 조건을 부여. GROUP BY와 함께 사용. group by having ㅁ order by 출력 결과 정렬 오름차순 : ASC(기본, 작은 수에서 큰 수로, Ascending) 내림차순 : DESC(큰 수에서 작은 수로, Descending) ㅁ sql 구문 작성 순서 from where group by having select order by limit ㅁ SQL 문제 중 오늘 얻은 지식. Point. 조건 중 영문자의 대/소 문자 구분이 없다 표현 존재 시 ▶ lower()나 upper()을 통해 주어진 단어를 대문자 or 소문자로 통일 시킨 후 where 조건절에 적용. Point. left 함수 대체 가능 subs.. 2023. 1. 20. [멋쟁이사자처럼 AI스쿨 8기] Day18. Week5 - WIL AIS8 5주차 회고 Day15 ~ Day17 ㅁ 웹 스트래핑과 웹 크롤링 그리고 API week5의 메인 주제는 파이썬을 이용한 웹 스트래핑과 웹 크롤링 마지막으로 API를 활용이었다. 지난 week4에서 다루었던 requests를 이용한 사이트별 get, post를 이용한 자료 수집에서 한 걸음 나아가 사이트 내 특정 항목을 수집 후 데이터 프레임의 인덱스를 재 설정, 전치행렬을 적용한 시각화 변환, 마지막으로 반복문 대신 map을 적용하는 것 까지. 또한 기존의 html형식의 데이터 코드 수집에서 json, xml의 형식 데이터 수집으로 확장하여 효율적인 스크래핑의 방법을 학습했다. ㅁ 웹 스트래핑(크롤링)의 insight 고민 금주부터 시작하는 미니 프로젝트는 웹 스트래핑과 API를 활용하여 데이.. 2023. 1. 19. 이전 1 ··· 41 42 43 44 45 46 47 ··· 50 다음
