[Datadog] 불필요한 비용 줄이기 - Host 편

Datadog 불필요한 비용 줄이기 2편인 host 편이다.

1편 Log 편은 여기에서..
https://newstars.cloud/609

[Datadog] 불필요한 비용 줄이기 - Log 편

Datadog을 사용하다 보면 로그 비용 다음으로 체감되는 항목이 있다.
바로 Host 기반 과금이다.

로그는 많이 넣어서 비싸지는 구조라면,
Host는 켜놓기만 해도 과금되는 구조라서 더 무섭다.

특히 Amazon EC2 Auto Scaling 환경에서는
인스턴스가 늘어날 때마다 Datadog 비용도 같이 증가한다.

AWS 비용 줄였더니 Datadog이 늘어나는…
그런 역전 현상이 실제로 자주 발생한다.

Datadog Agent Usage (출처: https://docs.datadoghq.com/ko/account_management/plan_and_usage/usage_details/)

---

Datadog Host 비용 구조 이해하기

Datadog 요금체계

Host 비용은 매우 단순하다.

Host 과금 기준 = 메트릭 수집된 host 수

 

로그처럼 사용량이 아니라
개수(count) 기반 과금이다.

주로 실수하는 부분이, "개발/QA/TEST" 서버들을 수집하는 경우이다.

• 컨테이너 혹은 EC2 ↑
• Datadog Host ↑
• Logs ↑
• Metrics ↑

그렇게 되면 결국 이렇게 통합적으로 비용이 증가하게 된다.

HOST 비용이 복잡하게 느껴지는 이유는,
EC2 호스트와 컨테이너 의 비용이 혼돈되기 때문이다.

Datadog의 Host 과금은 수집 방식과 무관하다.

• Container/Node → Agent 기반 수집
• EC2 → CloudWatch Integration 기반 수집

Container → Agent → Datadog
EC2 → CloudWatch → Datadog

두 방식 모두 Datadog 입장에서는 동일한 “Host 메트릭 수집”으로 처리된다.

• Agent 설치 = 과금
• CloudWatch Integration 수집 = 과금

결과적으로 EC2는 Agent가 없어도 Integration만 활성화되어 있으면
자동으로 Host 수에 포함되어 비용이 증가한다.

컨테이너 제외	Agent	DD_CONTAINER_EXCLUDE
EC2 host 제외	AWS Integration	EC2 metric collection off
비용 감소 (host)	Integration	EC2 비활성화/필터
비용 감소 (container)	Agent	exclude 설정

---

Agent 기반 예외처리

Log 와 마찬가지로, Agent 에서 처리하는 것이 가장 좋다.
Datadog Agent Exclude

태그 기반으로 처리가 되는데, value 값은 편한대로 임의로 지정하면 된다.

Key:   datadog
Value: blacklist

# 컨테이너 환경  
DD_CONTAINER_EXCLUDE="tag:datadog:blacklist"

 

EC2 수집

• Intergration →  Amazon Web Services → Account → Metric Collection
  • exclude 처리가 아닌 include 처리

# Include
env:prod

# Exclude
!env:dev
!env:qa
!env:test