홈앤서비스 SK BROADBAND

파이썬 데이터 분석부터 AWS 아키텍처 구축, 대시보드 제작까지!

논리적인 코드 같은데 왜 에러 메시지가 나타날까? 부동산 관련 다양한 공공 데이터를 수집하고 분석해보며 파이썬으로 데이터를 엔지니어링할 때 자주 보이는 에러와 에러 발생 이유, 그리고 문제를 해결하는 방법을 꼼꼼하게 살펴봅니다. 실제 데이터 분석 실무에서 진행하듯 공공 데이터를 가져와 전처리한 후 분석하고, 스트림릿을 활용해 시각화해봅니다. 또한, 애플리케이션으로 배포하는 것을 목표로 차근차근 AWS 아키텍처를 구축하고 보기 좋고 유의미한 대시보드를 제작합니다. 파이썬을 활용한 데이터 엔지니어링과 시각화, 그리고 대시보드 제작과 애플리케이션 배포까지 전 과정을 문제 해결의 시각으로 바라볼 수 있습니다.

Part 1 분석 전 준비 과정

_1 AWS EC2 환경 구축
__1.1 EC2 생성
__1.2 탄력적 IP 연결
__1.3 ssh 연결
__1.4 간단한 리눅스 명령어 알아보기
__1.5 서버 설정
__1.6 아나콘다 설치
_2 VSCode 연동
__2.1 윈도우 PEM 키 권한 설정
__2.2 VSCode 연동
__2.3 작업 폴더 생성

Part 2 파이썬을 사용한 데이터 처리

_3 국토교통부 데이터 수집
__3.1 법정동코드 준비
__3.2 용어 설명
__3.3 행정동코드 전처리
__3.4 법정동코드와 행정동코드 연결
__3.5 공공데이터포털 API 신청
__3.6 지리 정보 수집
_4 인구 및 지역 데이터 수집
__4.1 아파트는 인구에 비례한다: 지역별 인구 데이터 수집
__4.2 지역을 분석하자: 초등학교 데이터 수집
__4.3 지역을 분석하자: 전국 도시공원 데이터 수집
_5 정제되지 않은 데이터 다듬기 #데이터 전처리
__5.1 부동산 데이터 전처리
__5.2 지리 정보 데이터 전처리
__5.3 인구 데이터 전처리
__5.4 인프라 데이터 전처리
__5.5 도시공원 데이터 전처리
_6 데이터 분석의 꽃 #시각화
__6.1 지역 정보 시각화: 막대 그래프
__6.2 연도별 데이터 시각화: 꺾은선 그래프
__6.3 지도를 사용한 시각화

Part 3 AWS를 사용한 데이터 엔지니어링

_7 아마존 S3와 서버리스 함수
__7.1 아마존 S3
__7.2 AWS 람다 개요
__7.3 도커를 사용한 람다 함수 실행
_8 데이터 수집 파이프라인과 데이터베이스
__8.1 Step Function
__8.2 Event Bridge
__8.3 데이터베이스 구축
__8.4 파이썬과 데이터베이스 연동
__8.5 파이썬과 아마존 S3 연동

Part 4 부동산 분석 웹 대시보드 구축

_9 스트림릿 대시보드 제작
__9.1 EC2 포트 연결
__9.2 스트림릿 대시보드
__9.3 스트림릿 배포
__9.4 스트림릿 클라우드 회원가입
__9.5 스트림릿 앱 배포
_10 화면 설계 및 스타일 적용
__10.1 화면 설계
__10.2 CSS 스타일
__10.3 최종 결과