©2024 Akamai Technologies
DataStream은 저희와 같이 신속하게 대응해야 하는 이커머스 기업의 DevOps 민첩성을 구현하기 위한 퍼즐의 마지막 조각이었습니다.
기술 전문가, 이커머스 IT, Douglas
온라인 비즈니스 확장 모색
1821년에 설립된 Douglas는 유럽 24개국의 리테일 시장에서 미용 제품 및 화장품을 공급하고 있는 대표적인 기업입니다. 온라인 쇼핑몰, 모바일 애플리케이션, 2400개의 오프라인 매장을 통해 5만 개 이상의 제품을 제공하며 수십억 달러의 매출을 올리고 있습니다.
Douglas는 최근 몇 년 간 화장품 전문 체인점과의 치열한 경쟁뿐만 아니라 할인점, 드러그스토어, 온라인 유통업체의 특가 전략 때문에 치열한 경쟁에 직면해 있습니다. 대부분의 리테일 기업과 마찬가지로 오프라인 매장의 막대한 운영 비용으로 인해 낮아지는 가격 책정과 이윤 감소의 압력을 피할 수 없었습니다. 가장 큰 문제는 판매가 하향세를 나타낼 경우 상황이 급격히 심각해지는 과도한 임대료와 매장 인건비였습니다. 이로 인해 Douglas는 온라인 매출 확대를 전략적인 원칙으로 정했습니다.
막대한 손실을 초래하는 다운타임
Douglas는 온라인 비즈니스가 성장함에 따라 매일 새 코드와 설정을 여러 번 푸시해야만 했습니다. 일반적으로 비즈니스 운영 속도가 빠를 때 문제가 자주 발생합니다. 예를 들어 코드 릴리스로 인해 내부 링크가 일부 손상되어 사이트 방문자와 검색 엔진 크롤러에 대한 HTTP 404 오류가 발생한 경우가 있었습니다.
안타깝게도 데이터가 실시간으로 제공되지 않았기 때문에 운영팀에서 이 문제를 발견할 때까지 일정 시간이 소요되었습니다. 이와 같은 다운타임은 SEO와 검색 엔진 가시성에 부정적인 영향을 미치기 때문에 매출과 브랜드 관점에서 막대한 손실을 유발합니다.
DevOps팀은 분산형 추적에 애플리케이션 성능 모니터링(APM) 툴을, 최종 사용자 브라우저 활동 및 트래픽 모니터링에 고객 분석 툴을 사용합니다. 그러나 이 데이터는 비즈니스 인사이트에 맞춰져 있거나 JS 태그의 선택적 페이지 측정에 의해 제한됩니다. DevOps팀은 HTTP 로그를 한 단계 더 심층적으로 조사하여 오류를 보다 빠르게 발견, 추적, 수정해야 합니다. 또한 CDN이 활성화되어 있는 미들 마일 등 모든 기술 스택 계층에 대한 실시간 가시성도 필요합니다.
Douglas와 같은 기업들은 네트워크의 엣지에서 어떤 일이 일어나는지 실시간으로 파악하고 다른 스택 계층의 통합 로그 피드를 활용하여 해당 정보를 포괄적인 시스템 상태 모니터링 뷰에 반영해야 합니다. 이러한 가시성과 제어 능력은 콘텐츠 및 애플리케이션 로직을 혼잡한 오리진에서 엣지로 점진적으로 이동하는 기업들이 늘어나는 상황에서 더욱 필수적인 요소가 되었습니다.
실시간 가시성 확보
Douglas의 DevOps팀은 Akamai DataStream을 활용하여 오류를 신속히 추적하고 수정할 수 있었습니다. 더 구체적으로 말하면 실시간 로그 데이터에 프로그래밍 방식으로 접속함으로써 빠른 속도의 최적화된 개발 및 운영 워크플로우를 실현하게 되었습니다. 실시간 가시성을 확보하면 문제를 발견하고 복구하는 평균 시간이 단축될 뿐만 아니라 Douglas가 순차적으로 구현 중인 민첩한 DevOps 모델의 토대를 마련할 수 있습니다.
지속적인 모니터링
Douglas는 푸시 API의 지원 덕분에 저비용으로 확장 가능한 서버리스 아키텍처를 운영할 수 있습니다. 이제는 데이터를 취합하기 위해 API를 무한정 폴링하는 서버가 필요 없습니다. DataStream이 프로세싱 파이프라인을 통해 6개의 원시 로그 스트림을 해당 클라우드 스토리지 버켓으로 푸시하기 때문에 로그를 자동적정기적으로 수집할 수 있습니다. 이와 동시에 데이터 스트림을 개별적으로 켜거나 끌 수 있는 필수 제어 기능도 사용할 수 있습니다. 로그가 사전 처리되고 HTTP 상태 코드가 300, 400, 500 기준으로 집계되면 운영자가 이상 현상에 대한 정보를 계속 파악할 수 있습니다.
모니터링 이전 및 이후
코드 손상 리스크는 특히 신규 배포 후에 더욱 높아집니다. Kinesis와 같은 써드파티 분석 시스템이나 DataStream에서 집계된 로그는 대시보드 및 알림 툴(CloudWatch, Athena, Grafana 등)로 전달됩니다. 집계된 지표가 비정상적인 오류 패턴을 나타내거나 이상 현상 알림을 트리거하는 경우(오류 수가 사전 정의된 임계값을 초과하는 경우 등) 운영자에게 실시간으로 정보가 전달됩니다. 운영자는 원시 로그를 가져와서 근본 원인을 자세히 분석하고 이상 현상 발생 이전의 다른 스택 계층의 데이터와 연동할 수 있습니다. 이상 현상에 대한 점수를 매기고 패턴을 탐지할 수도 있습니다. 원시 로그와 집계 로그는 단기 데이터 버퍼로 저장되며 히스토리 분석을 위한 장기 보관도 가능합니다.
기능 간 가시성
Douglas는 유용한 수식자, 즉 URL 패턴 ID 또는 사용자 에이전트를 로그에 첨부하는 방식으로 상세한 맞춤형 다운스트림 집계를 지원하는 독점 분석 엔진을 실행합니다. 이러한 수식자는 페이지 그룹(예: 제품 페이지, 검색 페이지, 카테고리 페이지)별로 로그를 분류하도록 돕기 때문에 로그를 개발팀의 해당 코드 소유자에게 전달하거나 의미 있는 알림을 적임자에게 제공할 수 있습니다. 이제 개발팀과 운영팀 모두 동일한 실시간 가시성을 확보함으로써 DevOps 민첩성을 보완할 수 있습니다.
엔드투엔드 가시성
Douglas는 DataStream의 데이터를 APM 및 고객 분석 시스템과 통합하고 연동하는 방안을 모색하고 있습니다. 이를 통해 DevOps팀은 브라우저에서 사이트 방문자가 수행한 작업과 백엔드 시스템이 어떤 방식으로 이 작업에 응답하거나 응답하지 않았는지에 대한 상관관계를 파악할 수 있습니다. 이 경우에 DataStream은 캐시에서 제공된 항목과 오리진, 엣지, 최종 사용자 사이의 지연 시간을 보여줍니다. 운영팀은 이 인사이트를 활용하여 비즈니스 가치를 극대화할 수 있도록 오류를 빠르고 효율적으로 수정하고 CDN 성능을 조정할 수 있습니다.
Douglas의 온라인 리테일 IT 기술 전문가는 "지금은 개발팀과 운영팀 모두 실시간으로 오류를 확인하고 신속하게 조치를 취함으로써 다운타임을 최소화합니다."라고 결론을 맺습니다.
Douglas 정보
Douglas는 유럽의 프리미엄 뷰티 업계를 선도하는 리테일 기업으로, 유럽 24개국에 2400개의 매장과 성장 추세의 온라인 쇼핑몰을 보유하고 있습니다. 회계연도 2017년, 2018년에는 총 33억 유로의 매출을 기록했습니다. 2만 여명의 Douglas 뷰티 전문가들은 고객이 더 아름다워지고 행복해질 수 있도록 매일 최선을 다하고 있습니다. Douglas는 향수, 미용 화장품, 피부 관리뿐만 아니라 영양제, 액세서리 분야에서 650개 이상의 브랜드로 5만 여개의 고품질 제품을 제공합니다. Douglas의 뷰티 카드 소유 고객 수가 4천만 명으로 유럽 최대 규모의 고객 충성도 프로그램 중 하나를 운영하고 있습니다. Douglas는 전문적인 조언과 독특한 서비스 덕분에 오프라인 매장과 온라인 모두에서 고객들이 가장 선호하는 브랜드로 인정을 받고 있습니다.