Work Flow 을 제어하든 뭘하든 Script 와 Script 내 SQL 을 사용하게 된다. 실질적인 데이터 적재를 하기전과 후에 스크립트를 활용하는 간단한 예제를 살펴보자
기본 구성은 다음과 같이 Job은 JOB_DeltaLoad_Template 로 하였다.
Work Flow는 작업전(WF_DELTA_RPE_RUN), Data Flow 가 있는 WF__deltaDefault , 작업후 WF_DELTA_POST_RUN, 그리고 배치파일이나 기타 필요한 내용을 실행할 WF_USER_POST_RUN을 생성한다.
변수는 다음과 같이 생성한다.
각 스크립트를 살펴보면
** Pre run
** Post run
'Biz > Data' 카테고리의 다른 글
Apache NiFi 시작하기 (0) | 2016.03.26 |
---|---|
Stream Processing: NiFi and Spark (0) | 2016.03.26 |
SAP Data Service - Unable to locate BOE platform components (0) | 2014.09.16 |
Hortonworks Sandbox - Pig(피그)를 활용한 데이터 처리 - 2부 (0) | 2013.03.26 |
Hortonworks Sandbox(Bigdata 배포판, Hortonworks Data Platform, HDP) - 1부 (0) | 2013.03.26 |
댓글