응용 시나리오
시계열 데이터베이스(TSDB)는 IoT 센서 측정값, 서버 메트릭, 금융 거래 등과 같은 타임스탬프가 부착된 연속 데이터 스트림을 처리하도록 최적화된 데이터베이스입니다. 이 도구는 대량 데이터의 고빈도 기록과 시간 차원에 따른 빠른 집계 및 쿼리를 위해 특별히 설계되었습니다.
만물인터넷 시대에 산업용 사물인터넷이 생성하는 데이터 양은 전통적인 정보화보다 수천 배에서 수만 배 더 많으며, 실시간 수집, 고빈도, 고밀도, 동적 데이터 모델은 언제든지 변경할 수 있습니다. 전통적인 데이터베이스는 이러한 데이터의 저장, 쿼리, 분석 및 기타 처리 작업에서 매우 부담이 컸으며, 시계열 데이터에 최적화된 데이터베이스, 즉 시계열 데이터베이스가 시급히 필요합니다.
시계열 데이터베이스는 시계열 데이터를 저장하고 관리하는 전문 데이터베이스로, 더 많이 쓰고 덜 읽으며, 핫과 콜드 구분, 높은 동시 쓰기, 거래 요구가 없고, 방대한 데이터를 연속적으로 쓰는 등의 특징을 가지고 있습니다.
시계열 데이터의 특징
타임스탬프: 각 데이터 포인트는 타임스탬프가 표시되어 있어 데이터 계산과 분석에 중요합니다.
구조화: 웹 크롤러, 웨이보, 위챗에서 나오는 방대한 데이터와 달리, 네트워크 장치나 모니터링 시스템에서 생성되는 데이터는 구조화되어 있습니다. 이 데이터는 스마트 미터가 수집하는 전류와 전압과 같이 미리 정의된 데이터 유형이나 고정된 길이를 가지며, 표준 부동소수점 4바이트로 표현할 수 있습니다.
스트리밍: 데이터 소스는 오디오 또는 비디오 스트림과 같이 거의 일정한 속도로 데이터를 생성합니다. 이 데이터 스트림들은 서로 독립적입니다.
원활하고 예측 가능한 트래픽: 전자상거래 플랫폼이나 소셜 미디어 사이트의 데이터와 달리, 시계열 데이터의 트래픽은 시간에 따라 안정적이며, 데이터 소스의 수와 샘플링 기간을 바탕으로 계산 및 예측할 수 있습니다.
불변성: 시계열 데이터는 일반적으로 로그 데이터와 유사하게 첨부 전용이며, 일반적으로 허용되지 않으며 수정할 필요가 없습니다. 수집된 원시 데이터에 수정이 필요한 경우는 거의 없습니다.
순위
주소:하이퍼링크 로그인이 보입니다.최신 순위는 다음과 같습니다:
데이터베이스
1, InfluxDB
InfluxDB는 외부 의존성 없이 Go 언어로 작성된 오픈 소스 분산 시계열, 사건, 메트릭 데이터베이스입니다. 현재 이 데이터베이스는 주로 DevOps 모니터링 데이터, APP 지표, LOT 센서 데이터, 실시간 분석 데이터 등 대량의 타임스탬프 데이터를 저장하는 데 사용됩니다.
가장 높은 순위의 오픈 소스 시계열 데이터베이스인 InfluxDB는 데이터 저장 정책(RP)과 데이터 아카이빙(CQ)을 지원하며, 실시간으로 쿼리할 수 있고, 작성 시 데이터를 인덱싱 즉시 찾을 수 있습니다.
2, Kdb+
공식적으로 세계에서 가장 빠른 시계열 데이터베이스로 알려진 kdb+/q는 실시간 데이터와 과거 데이터를 처리하기 위해 통합 데이터베이스를 사용하며, CEP(복잡한 이벤트 처리) 엔진, 인메모리 데이터베이스, 디스크 데이터베이스 등의 기능을 갖추고 있습니다. 컬럼 저장의 특성 덕분에 특정 컬럼에 대한 통계 분석을 수행하는 것이 매우 편리합니다.
일반 데이터베이스나 빅데이터 플랫폼과 비교할 때, kdb+/q는 더 빠른 속도와 낮은 총 소유 비용을 가지고 있어, 주로 대규모 데이터 분석, 고빈도 거래, 인공지능, 사물인터넷(IoT) 등 다양한 분야에서 사용되는 대규모 데이터 처리에 이상적입니다. 지연이 까다로운 금융 부문에서 kdb+는 독특한 장점을 가지고 있습니다.
3, 프로메테우스
프로메테우스는 2012년 사운드클라우드에서 근무하던 전 구글 직원들이 만든 오픈 소스 시스템 모니터링 및 경보 프레임워크로, 커뮤니티 오픈 소스 프로젝트로 개발되었으며, 2015년에 공식 출시되었고 다음 해에 클라우드 네이티브 컴퓨팅 재단에 공식적으로 가입했습니다.
신세대 모니터링 프레임워크인 Prometheus는 강력한 다차원 데이터 모델, 다양한 시각적 그래픽 인터페이스를 갖추고 있으며, 풀 모드를 사용해 시계열 데이터를 수집하여 푸시 게이트웨이 형태로 프로메테우스 서버로 푸시할 수 있습니다.
4, 흑연
Graphite는 시계열 측정을 위한 데이터를 표시하는 오픈 소스 실시간 그래프 시스템입니다. Graphite는 직접 지표를 수집하지 않고, 백엔드를 통해 이를 받아 실시간으로 쿼리, 변환, 결합하는 데이터베이스처럼 작동합니다.
Graphite는 사용자가 측정 데이터와 그래프를 탐색할 수 있는 내장 웹 인터페이스를 지원합니다. 이 도구는 여러 백엔드 및 프론트엔드 컴포넌트로 구성되어 있습니다. 백엔드 컴포넌트는 수치 시계열 데이터를 저장하는 데 사용되며, 프론트엔드 컴포넌트는 메트릭 항목 데이터를 얻고 상황에 따라 차트를 렌더링하는 데 사용됩니다.
5, TimescaleDB
TimescaleDB는 완전한 SQL을 지원하며 빠른 추출과 복잡한 쿼리를 지원하는 유일한 오픈 소스 시계열 데이터베이스입니다. PostgreSQL을 기반으로 하며, 시계열 데이터에 최적화된 NoSQL과 관계형 데이터를 제공합니다.
TimescaleDB는 개발자와 조직이 그 기능을 더욱 활용할 수 있도록 도와줍니다: 과거를 분석하고, 현재를 이해하며, 미래를 예측할 수 있습니다. 쿼리 수준에서 시계열과 관계형 데이터를 통합하면 데이터 사일로가 제거되고 데모와 프로토타입을 구현하기 쉽게 만듭니다. 확장성과 완전한 SQL 인터페이스의 조합은 직원들이 데이터에 질문할 수 있도록 돕습니다. |
게시됨13초 전
|
|
|
|
