02장 | 📚 데이터 분석과 AI

📄️ 2장. 데이터 입수 기초

데이터 분석의 첫 단계는 분석할 데이터를 확보하는 것이다. 아무리 뛰어난 분석 기법을 알고 있어도 데이터가 없으면 아무것도 할 수 없다. 데이터 입수는 단순히 데이터를 다운로드하는 것이 아니라, 분석 목적에 맞는 적절한 데이터를 찾고, 접근하고, 수집하는 전체 과정을 의미한다.

📄️ 02-002. 파일 기반 데이터 처리

파일 기반 데이터 처리

📄️ 데이터베이스 연결과 SQL 활용

데이터베이스는 구조화된 데이터를 저장하고 관리하는 핵심 시스템이다. 대부분의 조직에서 중요한 데이터는 데이터베이스에 저장되어 있으며, 이러한 데이터에 접근하고 활용하는 능력은 데이터 분석가에게 필수적이다.

📄️ 온라인 데이터 연동

현대의 데이터 분석에서는 클라우드 기반 데이터 소스와의 연동이 필수적이다. 클라우드 스토리지, 온라인 서비스, SaaS 플랫폼 등에서 데이터를 효율적으로 가져오는 방법을 알아보자.

📄️ 데이터 제공 사이트 활용

다양한 데이터 제공 사이트를 활용하면 분석에 필요한 고품질 데이터를 효율적으로 확보할 수 있다. 공공 데이터부터 전문 데이터셋까지, 각 사이트의 특성을 이해하고 활용하는 방법을 알아보자.

📄️ AI를 활용한 데이터 수집

AI 도구들은 데이터 수집 과정을 혁신적으로 개선할 수 있다. ChatGPT, Claude 같은 AI 어시스턴트를 활용하여 데이터 수집 코드를 생성하고, 데이터 수집 전략을 수립하며, 수집 과정에서 발생하는 문제들을 해결하는 방법을 알아보자.

📄️ 내부 데이터 적재

내부 데이터는 조직 내의 데이터를 말한다. 노동자라면 직장 내의 데이터를 말한다. 학교의 교수 또는 선생님이라면 학교 내의 학생으로 부터 수집한 데이터가 될 것이다.

📄️ 데이터 입수 실무 고려사항

실무에서 데이터를 입수할 때는 기술적인 측면뿐만 아니라 법적, 윤리적, 비즈니스적 측면도 종합적으로 고려해야 한다. 이번 섹션에서는 실제 프로젝트에서 마주치게 되는 다양한 고려사항들을 살펴보자.

📄️ 로그 데이터

로그는 기록을 남기는 것을 말하는데 시스템이나 서비스의 상태를 확인하거나 버그, 오류를 찾기 위한 용도로 많이 사용된다. 로그를 쌓는 이유는 여러가지가 있는데 크게는 서비스에서 사용자의 액션이나 어떤 작업이나 작동의 내역을 남기는 로그와 개발자들이 애플리케이션의 오류를 쉽게 남기는 디버깅 로그 또는 개발 로그가 있다.

📄️ 02-020. API로 데이터 가져오기

API로 데이터 가져오기

📄️ 크롤링 (Crawling)

크롤링은 무엇인가?

📄️ 더 넓게 이해하기

2장에서 다룬 데이터 입수 기초를 바탕으로, 더 넓은 관점에서 데이터 입수와 관련된 고급 주제들을 살펴보자. 실무에서 마주치게 될 복잡한 상황들과 미래의 트렌드까지 포함하여 종합적인 이해를 도모한다.

🗃️ files

1 항목