microsoft (2) 썸네일형 리스트형 Microsoft Fabric 체험기 2 - Data Engineering 테스트 용도의 워크스페이스 생성이 완료되었으면 Data Engineering의 파이프라인 기능을 이용한 배치성 ETL을 처리합니다. 이번 실습에서는 Data Engineering의 '데이터 파이프라인'을 이용해 공공 데이터 포탈의 시간별 날씨정보 조회 API(https://www.data.go.kr/data/15057210/openapi.do)의 데이터를 Data Warehouse에 적재해보겠습니다. 데이터 파이프라인을 구축하기 전에 Data Warehouse를 생성하고 이에 적재할 데이터를 호출하는 API를 먼저 세팅하도록 하겠습니다. [사전 작업] - 날씨정보 API Key 발급 (아래의 더 보기 클릭) 더보기 1. 시간별 날씨정보 조회 API를 제공하는 공공 데이터 포탈 페이지로 이동합니다. (링크.. Microsoft Fabric 체험기 1 - Workspace 생성 Microsoft Fabric 체험판 라이센스를 받아놓고 한동안 바쁜 업무로 인해 테스트하지 못해서 이제서야 Fabric을 간단히 테스트하고 포스트를 작성하게 되었습니다. 이전에는 데이터 플랫폼으로 Azure Synapse, Databricks를 학습하였는데 2023년 중순 Microsoft Fabric이 발표되었고 앞으로는 Fabric을 밀어주는 추세가 지속될 것 같아 대세에 따라 급히 평가판 라이센스를 신청하였습니다. Synapse와 닮은 듯 다른 부분들이 참 많았습니다. Data Factory 기능은 Synapse의 Pipeline 기능과 거의 흡사하였으나, 데이터 파이프라인 내의 DataFlow가 기존과는 다르게 PowerBI 의 PowerQuery와 같은 화면으로 바뀌었습니다. 데이터 웨어하우스.. 이전 1 다음
