[Datadog] 불필요한 비용 줄이기 - Log 편

Datadog은 클라우드를 쓴다면 한번쯤 들어봤거나 이미 잘 쓰고 있는 경우가 많을 것이다.

그런데 다 좋으나 Datadog 비용이 비싸서(사용료, TCO 관점으로는 더 저렴할수도 있음) 많이 부담스러워 하는데,
Cloud FinOps 관점에서는 불필요한 비용들이 들어가는 경우들이 있다.

이럴땐 아무리 Cloud 비용 깎아봤자 도루묵...

보통은 APM이나 Metrics 까진 괜찮은 경우가 많으나, Logs 비용이 폭탄 맞는 경우가 많다.

이럴땐 꼭 dev 나 QA 환경까지 수집하고 있진 않은지, Debug / Info 로그도 수집하고 있진 않은지 확인할 필요가 있다.

---

1. Datadog 로그 비용 체계 먼저 이해하기

Datadog 요금체계

먼저 Datadog 의 로그를 대략 살펴보자.

Datadog의 로그 아키텍처는 모든 인프라에서 발생하는 로그를 먼저 Agent를 통해 중앙으로 수집(Ingest)하는 것에서 시작한다.
수집된 로그는 파싱·정규화·마스킹 등 전처리를 거쳐 하나의 파이프라인으로 통합되며, 이 과정에서 필요한 데이터만 선별된다.
이후 분석이 필요한 로그는 인덱싱되어 검색·모니터링·알림에 활용되고, 장기 보관용 로그는 Amazon Web Services S3 같은 외부 스토리지로 아카이브된다.

즉, 전체 수집 → 선택적 인덱스 → 저비용 보관 분리 구조를 통해 가시성과 비용을 동시에 관리하는 방식이다.

Datadog 로그관리 (출처 : https://docs.datadoghq.com/ko/logs/)

그럼 로그만 따로 살펴보자.
Datadog 의 로그 처리 방식은 다음처럼 구성되어있다.

Ingest  →  Index  →  Retention(보관/아카이브)
   $        $$            $

* Index가 제일 비싸다.

 

Log Ingest (수집 비용)

Datadog log Ingest

• Agent → Datadog로 로그가 들어오는 순간 과금
• GB 단위
• Log를 받기만 해도 비용 발생
  • 필요 없어도 과금

debug 로그 100GB = 100GB 과금

 

Log Index (검색 가능 저장 비용)

Datadog Log Index

• Datadog에서 검색/대시보드/알림 가능
• 가장 비쌈 (ingest 대비 3~5배)
• retention 기간 길수록 비용 증가

Log Archive (저장 비용)

Datadog Log Archive

• 스토리지 저장
• log 비용 중 가장 저렴
• 규정/감사용

---

앞에 설명했던 것처럼,
log 를 ingest 하는 것만으로도 비용이 발생되기 때문에 agent 에서 전송 자체를 막는 것이 가장 좋다.

Agent log ingest 차단

# Debug Info 로그 차단

logs_config:
  processing_rules:
    - type: exclude_at_match
      pattern: '"level":"debug"'
    - type: exclude_at_match
      pattern: '"level":"info"'

 

Log Index 차단

만약 이것이 안된다면, 가장 높은 비용인 Index비용을 줄이는 것도 효과적이다.

• Logs → Configuration → Indexes

Datadog Logs Configuration Indexes

Log exploere를 통해 로그가 어떻게 들어오는지 확인하고, exclude 필터를 적용하자.

index exclude 뿐만 아니라 Set Index Retention 를 통해 index 유지 기간을 지정할 수 있으니, 이것도 역시 비용 절감의 포인트라 할 수 있다.

index 로그 비용을 살펴보자.

# index 로그 비용 = (하루 인덱싱 로그량) × (보관일수)
Indexed GB × Retention Days


# 하루 50GB index의 예시
# 기본 15일
Retention 15일
→ 750GB 저장

# 7일로 변경	
50GB × 7일
→ 350GB 저장

# 3일로 변경
50GB × 3일
→ 150GB 저장

 

Log Archive 비용 절감

• 컴플라이언스 등으로 로그 장기보관이 필요할 경우 외부 스토리지를 통해 비용을 줄일 수 있다.

---

Datadog 로그 비용은 복잡해 보이지만, 구조는 의외로 단순하다.

Ingest → Index → Retention, 이 세 단계 중 어디에서 돈이 발생하는지만 이해하면 된다.

 

모든 로그를 저장하는 대신,

debug/info는 과감히 제거하고, 필요한 로그만 인덱싱하고, 보관 기간을 최소화하는 것.

이 세 가지만 적용해도 비용은 생각보다 크게 줄어든다.

 

결국 핵심은 하나다.

“보지 않는 로그에 비용을 쓰지 말자.”

 

조금의 필터링과 설정 변경만으로도

Datadog은 부담스러운 비용 항목이 아니라, 충분히 효율적인 관측 플랫폼이 된다.