<aside> 💡

사용 도구

메트릭 수집: 프로메테우스

시각화: 그라파나

</aside>

각 번호별 구성 설명

1. EC2
   • 클러스터 안에서 Data Plane 역할을 하는 워커 노드.
   • 이 노드 위에 실제 애플리케이션 Pod, cAdvisor, NodeExporter가 올라가고, Prometheus가 이 노드(or 클러스터 전체)를 스크랩한다.
2. Pod (애플리케이션 서비스)
   • 쿠버네티스에서 동작 중인 비즈니스 서비스 Pod들.
   • cAdvisor가 이 컨테이너/Pod의 CPU, 메모리, 네트워크, 디스크 I/O 같은 메트릭을 수집해 Prometheus가 읽을 수 있게 /metrics 엔드포인트로 노출한다.
3. cAdvisor DaemonSet
   • 각 노드에 DaemonSet 형태로 배포(kubelet에 포함)되어 해당 노드에서 동작하는 모든 컨테이너 메트릭을 수집하는 데몬.
   • Prometheus가 kubernetes_sd_configs 나 static_configs 로 cAdvisor의 /metrics(보통 8080 포트) 엔드포인트를 주기적으로 스크랩한다.
4. NodeExporter DaemonSet
   • 각 노드에 DaemonSet으로 배포(kubelet에 포함x)되어 EC2(호스트 OS)의 CPU, 메모리, 디스크, 네트워크 등 OS 레벨 메트릭을 수집하는 데몬.
   • Prometheus가 NodeExporter의 /metrics (보통 9100 포트)를 스크랩한다.
5. Prometheus
   • NodeExporter와 cAdvisor에서 노출한 메트릭을 pull 방식으로 가져오고 **remote_write**기능을 이용해 S3에 실시간으로 메트릭을 저장한다.
   • 로그는 Loki로 push 하는 반면, 메트릭은 Prometheus가 pull 한다.
6. S3
   • Prometheus에서 수집된 매트릭스 데이터를 저장하고 관리하는 오브젝트 스토리지
7. Grafana
   • Prometheus를 데이터 소스로 등록해 데이터를 시각화하여 대시보드 형태로 제공하는 시각화 레이어.

설정

1. metrics-server.yaml 작성

   ---
   defaultArgs:
     - --cert-dir=/tmp
     - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
     - --kubelet-use-node-status-port
     - --metric-resolution=15s
     - --secure-port=10250
   

2. 테라폼 설정

   resource "helm_release" "metrics_server" {
     name = "metrics-server"
   
     repository = "<https://kubernetes-sigs.github.io/metrics-server/>"
     chart      = "metrics-server"
     namespace  = "kube-system"
     version    = "3.12.1"
   
     **values = [file("${path.module}/values/metrics-server.yaml")]**
   
     depends_on = [aws_eks_node_group.sp-general, aws_eks_node_group.sp-spot, aws_eks_node_group.sp-monitoring]
   }
   

3. Fast API 엔드포인트(/metrics) 노출

   1. prometheus-fastapi-instrumentator 라이브러리를 추가

      pip install prometheus_fastapi_instrumentator
      

   2. main.py 파일 내부에 코드 삽입

      Instrumentator().instrument(app).expose(app)
      

4. 서버 실행 후 작동 확인

   브라우저에서 IP:PORT/merics 에 접속하여 수집이 잘 되는지 확인(아래와 같은 형식)

   

5. 프로메테우스 ↔ 그라파나 연동

   Grafana > Connections > Data sources > Prometheus에 접속하여 프로메테우스 정보를 입력한 후 Save&Test

6. 그라파나 대시보드 생성(https://grafana.com/grafana/dashboards/)

   그라파나에서 제공하는 대시보드 템플릿 중 마음에 드는 템플릿(json)을 다운로드 한 후 Home > Dashboards > New > Import 를 통해 템플릿 파일과 이전에 등록한 프로메테우스 데이터 소스를 선택하여 대시보드를 생성한다.

   아래와 같이 생성된 대시보드를 확인할 수 있다.