파이프라인은 수신된 데이터가 처리되는 전체 과정입니다. 데이터가 수신되면 파서, 저장, 규칙, 액션 단계를 거치게 됩니다.
왜 파이프라인이 필요한가요?
IoT 장치에서 수신되는 데이터는 다양한 형태를 가집니다. 어떤 센서는 JSON으로 데이터를 보내고, 어떤 센서는 HEX 인코딩된 바이너리 데이터를 보냅니다. 또한 단순히 데이터를 저장하는 것만으로는 부족한 경우가 많습니다. 특정 조건에서 알림을 받거나, 다른 시스템으로 데이터를 전달해야 할 수도 있습니다.
파이프라인은 이러한 요구사항을 해결합니다:
- 데이터 정규화: 다양한 형식의 데이터를 일관된 구조로 변환
- 실시간 모니터링: 조건 기반 알림으로 이상 상황 즉시 감지
- 시스템 연동: 외부 시스템과의 자동화된 데이터 흐름 구축
파이프라인 구성요소
| 단계 | 설명 | 필수 여부 |
|---|---|---|
| 수신 | REST API / MQTT 등을 통해 데이터를 수신합니다 | 필수 |
| 파서 | 수신된 데이터를 파싱(Parsing)하여 구조화된 형태로 변환합니다 | 선택 |
| 저장 | 파싱된 데이터를 DB에 저장합니다 | 필수 |
| 규칙 | 사용자가 정의한 규칙에 의해 데이터를 판단합니다 | 선택 |
| 액션 | 규칙의 조건이 만족했을 때 연결된 액션이 실행됩니다 | 선택 |
실제 사용 예시
공장의 온도 모니터링 시스템을 구축한다고 가정해봅시다.
시나리오
- 온도 센서가 HEX 인코딩된 데이터를 전송합니다:
09c4(25.00°C) - 온도가 30°C를 초과하면 담당자에게 텔레그램 알림을 보내야 합니다
- 동시에 냉각 시스템에 MQTT 메시지를 발행해야 합니다
각 단계별 역할
1. 수신
센서가 HTTP API로 데이터를 전송합니다:
2. 파서 → 데이터 변환
HEX 데이터를 사람이 읽을 수 있는 형태로 변환합니다:
변환 결과:
파서가 없다면 { "raw": "09c4" } 형태 그대로 저장됩니다. 대시보드에서 차트를 그리거나 규칙을 적용하기 어렵습니다.
3. 저장
파싱된 데이터가 데이터베이스에 저장됩니다. 이 데이터는 대시보드, 차트, 데이터 조회에 사용됩니다.
4. 규칙 → 조건 감지
"온도가 30°C를 초과하면" 조건을 검사합니다:
온도가 35°C인 데이터가 들어오면 규칙이 트리거됩니다.
규칙이 없다면 데이터는 저장만 되고, 이상 상황을 사람이 직접 대시보드를 보며 확인해야 합니다.
5. 액션 → 자동 대응
규칙이 트리거되면 연결된 액션들이 실행됩니다:
- 텔레그램 알림: "⚠️ 공장 A 온도 이상: 35°C (기준: 30°C)"
- MQTT 발행: 냉각 시스템 토픽에
{ "command": "cooling_on" }메시지 발행
액션이 없다면 규칙이 트리거되어도 아무 일도 일어나지 않습니다. 알림을 받거나 다른 시스템과 연동하려면 액션이 필요합니다.
결과
이 파이프라인을 통해:
- 센서의 raw 데이터가 의미 있는 값으로 변환됩니다
- 이상 온도가 자동으로 감지됩니다
- 담당자에게 즉시 알림이 전송됩니다
- 냉각 시스템이 자동으로 작동합니다
수동 모니터링 없이도 24시간 자동화된 대응이 가능합니다.
파이프라인 메뉴
파이프라인 메뉴에서 각 구성요소를 관리할 수 있습니다.
| 메뉴 | 설명 |
|---|---|
| 파서 | 데이터 파싱 스크립트 관리 |
| 규칙 | 조건 기반 자동화 규칙 관리 |
| 액션 | 규칙 트리거 시 실행할 액션 관리 |