분류 전체보기45 [Redash] Ubuntu 에서 Redash 설치하기 https://github.com/getredash/redash/wiki/Local-development-setup Local development setupMake Your Company Data Driven. Connect to any data source, easily visualize, dashboard and share your data. - getredash/redashgithub.com 2026.03.28 추가> 이 글은 Redash 소스코드를 직접 빌드하여 Ubuntu 환경에서 로컬/개발용으로 실행해보는 과정입니다. > 운영 환경에서 사용하려면 reverse proxy, HTTPS/TLS, 보안 설정 등은 별도로 구성해야 합니다. > 또한 Redash 저장소의 의존성 상태에 따라 `.. 2025. 1. 16. [Airflow] Custom 오퍼레이터 (2) 1. Custom 오퍼레이터를 사용하는 이유만약 Custom 오퍼레이터를 만들지 않았다면?개발자마다 각자 서울 공공데이터 데이터셋 추출/저장하는 파이썬 파일을 만들어 Python Operator를 이용해 개발했을 것비슷한 동작을 하는 파이썬 파일이 관리되지 않은 채 수십 개 만들어지면 그 자체로 비효율 발생특정 기능을 하는 모듈을 만들어 놓고 상세 조건은 파라미터로 받도록하여 모듈을 재사용할 수 있도록 유도Custom 오퍼레이터 개발 2. Custom 오퍼레이터 사용 예제코드Custom 오퍼레이터 생성'''plugins/operators/seoul_api_to_csv_operator.py'''from airflow.models.baseoperator import BaseOperatorfrom airflo.. 2025. 1. 13. [Airflow] Custom 오퍼레이터 (1) 1. Airflow의 꽃, Custom 오퍼레이터Airflow는 오퍼레이터를 직접 만들어 사용할 수 있도록 클래스를 제공함(BaseOperator)BaseOperator 상속시 두 가지 메서드를 재정의해야 함 (Overriding)(1) def __init__- 클래스에서 객체 생성 시 객체에 대한 초기값을 지정하는 함수(2) def execute(self, context)- __init__ 생성자로 객체를 얻은 후 execute 메서드를 실행시키도록 되어있음- 비즈니스 로직은 execute에 구현 필요함https://airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html Creating a custom Operator — Air.. 2025. 1. 12. [Airflow] SimpleHttp 오퍼레이터 사용하기 1. SimpleHttpOperatorHTTP 요청을 하고 결과로 text를 리턴 받는 오퍼레이터(리턴 값은 Xcom에 저장)HTTP를 이용하여 API를 처리하는 RestAPI 호출 시 사용가능오퍼레이터 명세 2. Conn 등록 (서울시 공공 api 사용한 예제)서울 열린데이터광장에 회원가입 후 api key를 발급 받음https://data.seoul.go.kr/ 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr Admin -> Connections 에 들어가서 + 버튼 클릭Add Connection 작성Conn_id : openapi.seoul.go.kr (다른 conn 이름과 중복되지 않게 작성)Connection_type : HTTPHost : http://ope.. 2025. 1. 12. [Airlfow] Trigger Dag Run 오퍼레이터 1. DAG 간 의존관계 설정 방법TriggerDagRun 오퍼레이터어떤 DAG를 트리거 할지 지정할 수 있음 ExternalTask 센서어떤 DAG에 어떤 Task가 완료되었는지 감지하는 센서 비교TriggerDagRun 오퍼레이터ExternalTask 센서방식실행할 다른 DAG의 ID를 지정하여 수행본 Task가 수행되기 전 다른 DAG의 완료를 기다린 후 수행권고 사용시점Trigger 되는 DAG의 선행 DAG이 하나만 있을 경우Trigger 되는 DAG의 선행 DAG이 2개 이상인 경우 1. Trigger Dag Run 오퍼레터 사용 예제코드'''dags_trigger_dag_run_operator.py'''from airflow import DAGfrom airflow.operators.. 2025. 1. 12. [Airflow] 지원되는 오퍼레이터 1. 기본 오퍼레이터파일경로오퍼레이터(클래스)중요도비고airflow.models.baseoperatorBaseOperator⭐⭐⭐- 오퍼레이터를 직접 개발하고 싶은 경우 이 클ㄹ래스를 상속하여 개발 (execute()함수를 재정의하여 사용)- 아래 오퍼레이터들은 모두 이 클래스를 상속하여 개발되어 있음- Airflow를 잘 쓰려면 이 오퍼레이터 상속/개발하는 것을 자유자재로 할 줄 알아야 함airflow.operators.bashBashOperator⭐⭐⭐- bash쉘 스크립트를 실행- 가장 많이 사용하는 오퍼레이터 중 하나임airflow.operators.branchBaseBranchOperator⭐⭐- 직접 사용할 수는 없음- 이 클래스를 상속하여 choose_branch 함수를 구현해야 함(그냥 사.. 2025. 1. 12. 이전 1 2 3 4 ··· 8 다음
