전체 글 (6) 썸네일형 리스트형 Microsoft Fabric 체험기 2 - Data Engineering 테스트 용도의 워크스페이스 생성이 완료되었으면 Data Engineering의 파이프라인 기능을 이용한 배치성 ETL을 처리합니다. 이번 실습에서는 Data Engineering의 '데이터 파이프라인'을 이용해 공공 데이터 포탈의 시간별 날씨정보 조회 API(https://www.data.go.kr/data/15057210/openapi.do)의 데이터를 Data Warehouse에 적재해보겠습니다. 데이터 파이프라인을 구축하기 전에 Data Warehouse를 생성하고 이에 적재할 데이터를 호출하는 API를 먼저 세팅하도록 하겠습니다. [사전 작업] - 날씨정보 API Key 발급 (아래의 더 보기 클릭) 더보기 1. 시간별 날씨정보 조회 API를 제공하는 공공 데이터 포탈 페이지로 이동합니다. (링크.. Microsoft Fabric 체험기 1 - Workspace 생성 Microsoft Fabric 체험판 라이센스를 받아놓고 한동안 바쁜 업무로 인해 테스트하지 못해서 이제서야 Fabric을 간단히 테스트하고 포스트를 작성하게 되었습니다. 이전에는 데이터 플랫폼으로 Azure Synapse, Databricks를 학습하였는데 2023년 중순 Microsoft Fabric이 발표되었고 앞으로는 Fabric을 밀어주는 추세가 지속될 것 같아 대세에 따라 급히 평가판 라이센스를 신청하였습니다. Synapse와 닮은 듯 다른 부분들이 참 많았습니다. Data Factory 기능은 Synapse의 Pipeline 기능과 거의 흡사하였으나, 데이터 파이프라인 내의 DataFlow가 기존과는 다르게 PowerBI 의 PowerQuery와 같은 화면으로 바뀌었습니다. 데이터 웨어하우스.. py 명령어 사용 시 오류 오류 발생 히스토리 Azure Python 개발 환경 구성을 위한 명령어 수행 시 아래 오류 발생 py -3 -m venv .venv 오류 내용 py : 'py' 용어가 cmdlet, 함수, 스크립트 파일 또는 실행할 수 있는 프로그램 이름으로 인식되지 않습니다. 이름이 정확한지 확인하고 경로가 포함된 경우 경로가 올바른지 검증한 다음 다시 시도하십시오. 위치 줄:1 문자:1 + py -3 -m venv .venv + ~~ + CategoryInfo : ObjectNotFound: (py:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException 해결 방법 python3 -m venv .venv 위 명령어로.. Azure Cloud 기본 개념 (Azure Fundamentals) - 클라우드 컴퓨팅이란? 클라우드 컴퓨팅이란? 클라우드 컴퓨팅이란 인터넷을 통해서 컴퓨팅 서비스를 제공하는 것입니다. 가상 머신, 스토리지, 데이터베이스 및 네트워킹과 같은 일반적인 IT인프라가 포함되며, IoT, ML 및 AI등의 항목을 포함하도록 기존 IT 제품을 확장할 수 있습니다. 공동 책임 모델(Shared Responsibility Model)이란? 일반적인 회사의 데이터센터는 물리적인 공간을 유지 관리 및 보안을 보장해야 하며, 이슈가 발생했을 때 서버 유지 관리 및 교체에 대한 책임이 있습니다. 또한, 모든 시스템의 올바른 버전을 유지하는 것 또한 IT 부서의 책임입니다. 공동 책임 모델을 사용하면 위의 책임이 클라우드 공급자(ex. AWS, Azure)와 소비자 간 공유됩니다. 사용자는 물리적 보안, 전원, 네트.. Java Excel 파일 파싱하는 법 웹 프로젝트를 진행하다 보면 엑셀, 워드, 파워포인트 등의 오피스 프로그램을 파싱하여 사용해야 하는 경우가 있습니다. 이럴 때 우리는 아파치 소프트웨어 재단에서 제공하는 라이브러리인 POI 라이브러리를 사용하여 이러한 파일들을 수월하게 처리할 수 있습니다. POI 라이브러리를 사용하기 위해 jar 파일을 다운로드 받으면 일반적으로 poi.X.X.X.jar poi-ooxml-X.X.X.jar 파일을 다운받게 될 것입니다. 하지만 이 라이브러리만 다운받고 나서 Excel 파일을 읽어들이려 하면 NoClassDefFountException이 발생합니다. 해당 에러는 추가적으로 다운로드 받아야 할 라이브러리가 존재하지 않아 발생하는 에러입니다. commons-compress-X.XX.jar commons-col.. CGI, Servlet, JSP의 개념 A ) CGI (Common Gateway Inteface) 공용 게이트웨이 인터페이스(CGI)는 웹 서버 상에서 사용자 프로그램을 동작시키기 위한 조합입니다. 존재하는 많은 웹 서버 프로그램은 CGI의 기능을 이용할 수 있습니다. CGI는 언어의 구별을 묻지 않고 확장하여 이용하는 것이 가능한 인터페이스입니다. ( 특정 플랫폼에 의존하지 않음 ) C나 Perl 이 사용되는 경우가 많았으나 최근 파이썬, 루비 등의 언어도 널리 쓰입니다. CGI는 서버에서 프로세스 단위(멀티프로세스 방식)로 실행되기 때문에 동적인 페이지 요청이 많아질수록 서버에 부하가 가게 됩니다. B ) Servlet 자바를 사용하여 웹 페이지를 동적으로 생성하는 서버측 프로그램 혹은 그 사양을 말합니다. Servlet은 요청마다 스레.. 이전 1 다음
