[멋쟁이사자처럼 AI스쿨] 3월 1주 WIL

 

 

23.2.27 - 28 회고.

 

 

1. 능동적으로 데이터를 사용하는 방법.

• 스토리지 사이즈를 줄이는 방법, 파일 사이즈를 효율적으로 관리하는 방법 : parquet.
  • 파일 포맷을 통해 파일 용량을 줄이는 방법
  • 열 스토리지, 필요한 데이터만 읽기
  • 효율적인 바이너리 패킹
  • 압축 알고리즘 및 인코딩 선택
  • 데이터를 파일로 분할하여 병렬 처리 가능

• 메모리 사이즈를 줄이는 방법, 메모리를 효율적으로 관리하는 방법 :  downcast
  • float, int형의 데이터 타입 변경을 통해 메모리 다운 사이즈 수행

 

 

 

2. 비즈니스 데이터 분석.

groupby를 활용해 count, sum, mean 등을 활용.

nlargest를 통해 상위 제품 추출

 

 

datetime 모듈을 통해 날짜 형식 변경

 

 

dt 접근자를 통한 파생변수 생성.

 

 

조건 부여를 통한 컬럼 생성.

 

 

연산자를 통한 조건 조회.

& : and

| : or