Datadog Bits AI와 AI Credits 과금 구조: FinOps 관점에서 보기

Datadog Bits AI는 이제 “있으면 좋은 AI 챗봇” 정도로 보기 어렵다. Chat으로 탐색하고, Investigation으로 알림을 조사하고, Code로 수정 후보를 만들고, Agent Builder로 운영 작업까지 자동화할 수 있다.

기능이 늘어난 만큼 비용 구조도 같이 볼 필요가 있다. 이 기능들은 각각 따로 과금되는 게 아니라 AI Credits라는 공통 단위로 사용량이 계산된다.

이번 글에서는 Datadog 공식 문서를 기준으로 Bits AI의 AI Credits 구조와 실제 운영에서 비용을 어떻게 관측하고 관리할 수 있는지 정리해봤다.

Datadog Bits AI

1. Bits AI는 무엇을 하는 기능인가

Datadog은 Bits AI를 개발·보안·운영 워크플로를 자동화하는 agentic teammate로 설명한다.

실제 운영 관점에서는 좀 더 단순하게 볼 수 있다. Datadog 안에 쌓인 telemetry와 알림, 대시보드, 코드 컨텍스트를 AI가 읽고, 사람이 반복하던 탐색이나 조사, 수정 작업을 일부 대신한다고 보면 된다.

Bits AI에는 여러 기능이 있지만, AI Credits 비용 관점에서 볼 기능은 다음 네 가지다.

Bits Chat

Bits Chat

Bits Investigation

Bits Investigation

Bits Code

Bits Code

Bits Agent Builder

Bits Agent Builder

 

기능	실무에서의 의미	비용 관점
Bits Chat	자연어로 telemetry를 찾고, 대시보드·노트북·모니터를 확인한다.	사용자 메시지 단위로 AI Credit이 쌓일 수 있다.
Bits Investigation	알림을 조사하고, 관련 telemetry를 묶고, 원인 후보와 영향도를 요약한다.	자동 조사를 켜면 반복 실행 비용이 커질 수 있다.
Bits Code	Datadog 컨텍스트를 바탕으로 코드 수정·리뷰·디버깅을 돕는다.	개발 워크플로에 붙으면 팀 단위 사용량으로 봐야 한다.
Bits Agent Builder	Incident response, custom reporting 같은 운영 업무용 AI agent를 만든다.	수동 실행보다 자동 실행의 반복량이 중요하다.

Bits AI 4가지 기능과 AI Credits

2. AI Credits 과금 구조 이해하기

Datadog의 AI Credits 문서는 AI Credit을 “Datadog AI 제품이 수행한 지능형 작업의 단위”로 설명한다. 즉, host나 log index처럼 인프라 수량을 재는 방식이 아니라, AI 기능이 수행한 작업량을 AI Credit으로 환산하는 구조다.

공식 문서 기준으로 AI Credits를 소비하는 제품은 Bits Chat, Bits Investigation, Bits Code, Bits Agent Builder다. 그리고 이 AI Credit은 기능별로 따로 사는 게 아니라 공유되는 과금 단위로 봐야 한다.

가격 tier

AI Credits는 세 가지 tier가 있다.

Tier	공식 설명 기준
Annual Commit	12개월 약정, 월별 청구. 500 credits/month 단위 번들로 구매한다.
Monthly Commit	월 단위 약정. 500 credits/month 단위 번들로 구매한다.
On-Demand	약정 없이 실제 사용량 기준으로 월별 청구한다.

공개 Pricing 페이지 기준으로 Annual Commit은 500 credits/month당 $500부터, Monthly Commit은 500 credits/month당 $600부터, On-Demand는 credit당 $1.30로 표시되어 있다.

중요한 점:

Commit으로 구매한 AI Credits는 매월 1일 초기화되며, 사용하지 않은 Credits는 다음 달로 이월되지 않는다. 반대로 Commit으로 구매한 AI Credits를 초과하면 초과 사용량은 On-Demand 요율로 자동 청구된다.

따라서 Commit을 실제 사용량보다 크게 잡으면 사용하지 못한 Credits가 발생하고, 너무 작게 잡으면 On-Demand 비용이 늘어날 수 있다.

3. 기능별 예상 AI Credit 사용량

Datadog Pricing 페이지에는 기능별 평균 AI Credit 사용량이 공개되어 있다. 이 값은 “예상치”다. 실제 요청 1건의 AI Credit은 작업 복잡도와 모델이 처리하는 컨텍스트 양에 따라 달라질 수 있다고 Datadog도 명시하고 있다.

기능	공식 공개 예상 AI Credit
Bits Chat - Message	약 0.5 credits
Bits Agent Builder - Manual or Autonomous Run	약 3 credits
Bits Code - Code Fix	약 5 credits
Bits Investigation - Autonomous Investigation	약 6.5 credits

기능별 예상 AI Credit 비교

비용 측면에서는 Bits Investigation을 특히 눈여겨볼 필요가 있다. Chat은 한 번에 약 0.5 credits 수준으로 보이지만, Investigation은 한 번에 약 6.5 credits다. 즉, 사람이 필요할 때만 누르는 수동 조사라면 부담이 제한적일 수 있지만, 알림에 붙여 자동 조사를 반복 실행하면 비용 곡선이 달라진다.

4. 실제 비용 시뮬레이션: Investigation 100회/day

예를 들어 특정 서비스의 모니터에서 Bits Investigation이 하루 100회 실행된다고 해보자. 공식 공개 평균값인 6.5 credits/use를 그대로 쓰면 계산은 단순하다.

• 100 investigations/day × 6.5 credits = 650 credits/day
• 650 credits/day × 30 days = 19,500 credits/month

하루 100번 정도 Investigation이 실행된다고 가정하면 한 달에 약 19,500 credits다.

현재 공개된 Annual 가격($500 / 500 credits)을 단순 적용하면 월 $19,500 정도다. 같은 사용량을 전부 On-Demand($1.30 / credit)로 계산하면 약 $25,350까지 올라간다.

물론 실제 AI Credit 사용량은 Investigation의 복잡도와 처리하는 컨텍스트에 따라 달라지므로, 어디까지나 평균값을 이용한 예시로 보는 게 맞다.

Bits Investigation 100회/day 비용 시뮬레이션

근데 이 숫자를 “무조건 비싸다”로만 보면 곤란하다. Investigation이 실제로 장애 대응 시간을 줄이고, 온콜 엔지니어가 매번 하던 로그·메트릭·트레이스 탐색을 줄인다면 비용 대비 가치가 있을 수 있다. 다만 자동화 대상과 실행 빈도를 비용 지표로 같이 봐야 한다는 게 핵심이다.

5. Estimated Usage Metric으로 사용량 확인하기

AI Credits는 Plan & Usage > AI Credits에서 현재 월 소비량을 제품별로 볼 수 있다. 운영 관점에서는 UI만 보는 것보다 metric으로 끌어와 Dashboard와 Monitor를 만드는 편이 낫다.

공식 AI Credits 문서에 나온 제품별 usage metric은 다음과 같다.

제품	Metric
Bits Chat	datadog.estimated_usage.bits_chat.ai_credits
Bits Investigation	datadog.estimated_usage.bits_investigation.ai_credits
Bits Code	datadog.estimated_usage.bits_code.ai_credits
Bits Agent Builder	datadog.estimated_usage.bits_agent_builder.ai_credits

Estimated Usage Metrics 문서도 같이 봐야 한다. Datadog은 이 metric들이 거의 실시간에 가깝게 현재 estimated usage를 계산해 Dashboard나 Monitor에 쓸 수 있다고 설명한다.

동시에 이 값은 최종 billable usage와 완전히 일치하지 않을 수 있고, Datadog은 estimated usage와 billable usage 사이에 평균적으로 10~20% 차이가 날 수 있다고 안내하며, 사용량이 적을수록 오차 범위가 더 커질 수 있다.

즉, usage metric은 “청구서 원본”이라기보다 “운영 중 비용 급증을 빨리 감지하는 계기판”에 가깝다.월말에는 실제 청구 기준의 사용량과 Estimated Usage의 차이도 같이 확인하는 게 좋다.

6. AI Credits 사용량 제한하기

AI Credits는 조직 전체 또는 사용자 단위로 월간 사용량 한도를 설정할 수 있다. 조직 관리자는 조직 전체 한도, 사용자 기본 한도, 개별 사용자 override를 설정할 수 있다.

설정은 Bits AI > AI Credits Management에서 확인하거나 변경할 수 있으며, billing_edit 권한이 필요하다.

한도 적용 방식은 조금 특이하다.

• 조직 한도와 사용자 한도가 모두 설정되어 있으면 더 제한적인 한도가 적용된다.
• 사용자 기본 한도와 개별 사용자 override가 모두 있으면 둘 중 더 높은 값이 적용된다. 다만 최종적으로는 조직 전체 한도를 넘을 수 없다.
• 사용자나 조직이 한도에 도달하면 Bits Chat, Bits Investigation, Bits Code, Bits Agent Builder의 새로운 사용이 차단되고 초기화 날짜가 표시된다.

자동 실행되는 AI 작업의 사용량이 어디에 귀속되는지도 확인할 필요가 있다.

Bits Investigation을 사용자가 직접 실행하면 해당 사용자의 사용량으로 잡히지만, Monitor 등에 의해 자동으로 실행된 Investigation은 특정 사용자가 아니라 Autonomous Agents에 귀속된다.

Bits Agent Builder도 사용자가 만든 Workflow의 Agent 실행은 해당 사용자에게 귀속되지만, Service Account가 만든 Workflow의 Agent 실행은 Autonomous Agents에 귀속된다.

따라서 자동화가 많다면 사용자별 사용량만 볼 게 아니라 Autonomous Agents의 사용량도 같이 확인하는 게 좋다.

자동 Investigation은 Rate Limit으로 한 번 더 제한할 수 있다

AI Credit Limit이 전체적인 비용 상한을 관리하는 기능이라면, Bits Investigation은 자동 실행 횟수 자체에도 별도의 Rate Limit을 설정할 수 있다.

Bits Investigation의 Settings > Rate Limits에서 자동 Investigation 실행 횟수를 제한할 수 있으며, 설정은 두 가지로 나뉜다.

• Per monitor limit: 하나의 Monitor에서 rolling 24시간 동안 실행할 수 있는 자동 Investigation 횟수를 제한한다.
• Organization limit: 조직 전체에서 rolling 24시간 동안 실행할 수 있는 자동 Investigation 횟수를 제한한다.

Bits Investigation - 자동 Investigation Rate Limit 설정

이 설정은 앞에서 계산했던 Investigation 100회/day 같은 상황을 제어하는 데 직접적으로 사용할 수 있다. AI Credit Limit에 도달한 뒤 사용을 막는 것보다, 자동 Investigation이 필요 이상으로 반복 실행되지 않도록 실행 횟수부터 제한하는 방식이다.

따라서 자동 Investigation을 운영한다면 AI Credit Limit으로 전체 사용량을 관리하고, Rate Limit으로 자동 실행 횟수를 제어하는 방식을 같이 사용하는 게 좋다.

7. FinOps 운영: Commit vs On-Demand

실제 운영에서는 먼저 제품별 AI Credit 사용량부터 확인하는 게 좋다. 특히 Investigation이나 Agent Builder처럼 자동 실행되는 기능은 실행 횟수도 같이 봐야 한다. 어느 정도 사용 패턴이 잡힌 뒤 반복적으로 발생하는 사용량을 Commit으로 가져갈지 판단하면 된다.

AI Credits FinOps 운영 흐름

Commit은 비용을 예측하기 쉽다는 장점이 있지만, 사용하지 않은 AI Credit은 다음 달로 이월되지 않는다. 따라서 예상 사용량만으로 Commit을 크게 잡기보다는 실제 사용 패턴을 확인한 뒤 규모를 결정하는 편이 낫다.

반대로 On-Demand는 초기 도입이나 사용량 변화가 큰 시기에 유연하게 사용할 수 있다. 다만 반복 사용량이 늘어나면 Commit 대비 비용 차이가 커질 수 있으므로 일정 수준 이상 사용량이 유지된다면 Commit 전환을 검토할 수 있다.

Commit vs On-Demand

초기에는 자동화 범위를 작게 잡고 실제 AI Credit 사용량을 확인하는 방식이 안전하다. Investigation도 알림이 많은 Monitor에 한꺼번에 적용하기보다는 영향도가 높은 Monitor부터 적용하고 사용량 변화를 확인하는 게 좋다.

Dashboard에서는 제품별 월 누적 사용량과 일별 증가량을 확인하고, Commit을 사용한다면 계약량의 70%, 90% 수준에 Monitor를 설정해 예상보다 빠르게 AI Credit이 소비되는 상황을 확인할 수 있다.

월말에는 Estimated Usage Metric과 실제 청구 기준 사용량의 차이도 같이 확인해야 한다. 앞에서 설명했듯 Estimated Usage는 실시간에 가까운 운영 지표이지 최종 청구량 자체는 아니기 때문이다.

결론

Bits AI 자체는 꽤 매력적인 기능이다. 특히 Datadog 안에 telemetry를 이미 잘 쌓고 있는 조직이라면 Chat과 Investigation은 바로 체감할 수 있을 것 같다.

다만 Investigation이나 Agent Builder처럼 자동 실행될 수 있는 기능은 한 번의 비용보다 얼마나 자주 실행되는지를 같이 봐야 한다. 처음부터 Commit을 크게 잡기보다는 실제 AI Credit 사용량을 먼저 확인하고, 어느 정도 사용 패턴이 잡힌 뒤 Commit 규모를 결정하는 편이 낫다.

자동 Investigation을 사용한다면 AI Credit Limit과 Rate Limit도 같이 설정해두는 게 좋다. 사용량을 관측하면서 자동 실행 횟수까지 제한할 수 있기 때문이다.

AI 기능도 운영에 들어오면 결국 비용까지 관측해야 한다.

공식 출처

• Datadog Docs - Bits AI
• Datadog Docs - AI Credits
• Datadog Pricing - AI Credits
• Datadog Docs - Estimated Usage Metrics
• Datadog Docs - AI Credit Limits