|
|
게시됨 2014. 12. 25. 오후 4:18:52
|
|
|
|
배경과 필요
중국 철도 고객 서비스 센터 웹사이트 (www.1230**)는 Amazon.com 와 견줄 만한 세계 최대 규모의 실시간 거래 시스템 중 하나이며, 특히 춘절 기간에 큰 압박을 받고 있습니다. 통계에 따르면, 2012년 초 춘절 절정기에는 매일 2천만 명이 웹사이트를 방문했으며, 하루 최대 14억 회에 달했습니다. 많은 수의 네트워크 동시 접속으로 12306은 거의 마비 상태에 빠졌다. 중국철도과학원 전자계산기술연구소는 12306 인터넷 티켓 시스템 계약자로서 이 문제를 시급히 해결할 방법을 찾아야 합니다.
성공적인 해결: 75배 이상 빠른
2012년 3월부터 철도공사(구 철도성)는 12306호의 조사와 개조를 시작했습니다. 2012년 6월, Pivotal GemFire 분산 인메모리 컴퓨팅 플랫폼(분산 인메모리 컴퓨팅)이 12306 변환 대상으로 선정되었으며, 이 변환은 철학원 프로젝트팀장 왕밍저와 철도과학원 주젠셩 이사의 지도 아래 IISI 정보기술유한회사가 제공했습니다.첫 번째 단계는 12306의 주요 병목 현상인 남은 티켓 조회 시스템을 먼저 변화시킬 것입니다。 9월에 코드 변환이 완료되어 시스템이 출시되었습니다. 2012년 국경일에는 온라인 예약이 가장 활발할 때 12306에 로그인할 수 있지만, 여전히 티켓 예매는 어렵지만 남은 티켓은 매우 빠릅니다. 2012년 10월,두 번째 단계는 GemFire를 통해 주문 조회 시스템을 혁신하는 것입니다(고객이 자신의 주문 기록을 조회하는 방식)。 2013년 춘절은 온라인 예약의 절정기이며, 12306에 로그인할 수 있는 상황이 매우 적습니다. 물론 티켓 예약은 여전히 어렵지만, 남은 티켓 조회는 매우 빠르고, 본인 예약 및 주문 조회도 매우 빠릅니다.
시스템 운영 데이터 기록에 따르면, 기술 변환 이후,10대의 X86 서버만을 사용함으로써 수십 대의 소형 컴퓨터의 남은 티켓 계산 및 쿼리 기능이 실현되었고, 단일 쿼리의 최대 시간은 약 15초에서 0.2초 미만으로 줄었으며, 75배 이상 단축되었습니다。 2012년 춘절 기간 동안 매우 높은 교통 동시 운행으로 인해 시스템이 거의 마비될 정도였습니다. 변신 후,초당 수만 건의 동시 쿼리를 지원하며, 피크 시간대에는 초당 26,000건의 쿼리 처리량을 달성합니다전체 시스템의 효율성이 크게 향상되었습니다. 위 이미지에 보이는 것처럼.
변환 전 시스템 운영 모드에서는 명령 쿼리 시스템이 초당 300-400건의 쿼리 처리량만 지원할 수 있으며, 대규모 트래픽의 동시 쿼리는 데이터베이스 분할을 통해서만 구현할 수 있습니다. 변환 후에는 초당 수만 건의 쿼리 처리량이 가능하며, 쿼리 속도는 약 20밀리초까지 보장할 수 있습니다.
새로운 기술 아키텍처는 다음과 같은 효과를 낼 수 있습니다:동적 스케일링 on demand 탄력성동시성 용량이 증가하면 X86 서버를 동적으로 늘려 밀리초 단위의 응답 시간을 유지할 수도 있습니다.
꿈에서 찾으면서: 기술 혁명은 한 걸음에 세 세대를 아우른다
12306은 이처럼 충격적인 효과를 낼 수 있어, 작은 기술 수리에만 의존할 수 없고, 성능 향상에 힘을 실어줄 새로운 아이디어가 반드시 필요하다. 12306은 GemFire 분산 인메모리 데이터 플랫폼이 그러한 기술 중 하나임을 발견했습니다.
GemFire 분산 인메모리 데이터 플랫폼의 기술적 근거위 그림에서 보듯이: 클라우드 컴퓨팅 플랫폼의 가상화 기술을 통해 여러 X86 서버의 메모리가 중앙집중화되어 최대 수십 테라바이트의 메모리 자원 풀을 형성하고, 모든 데이터가 메모리 내에서 계산하기 위해 메모리에 로드됩니다. 계산 과정 자체는 디스크에 읽고 쓸 필요가 없으며, 주기적으로 동기 또는 비동기로 데이터를 디스크에 기록합니다. GemFire는 분산 클러스터에 여러 개의 데이터 복사본을 저장하며, 어떤 기기가 고장 나도 다른 컴퓨터에 백업이 있어 보통 데이터 손실에 대해 걱정할 필요가 없고, 백업으로 디스크 데이터가 있습니다. GemFire는 다양한 전통적인 관계형 데이터베이스, Hadoop 라이브러리 및 기타 파일 시스템에 인메모리 데이터를 영구화하는 것을 지원합니다.
우리가 모두 알다시피, 현재 컴퓨팅 아키텍처의 병목 현상은 저장 공간이며, 무어의 법칙에 따라 프로세서 속도가 두 배로 증가하고, 디스크 저장 속도는 매우 느리게 증가하여 최대 10만 배에 달하는 큰 격차가 발생합니다(위 그림에서 보듯). 이로 인해 GemFire가 시스템 성능을 크게 향상시킬 수 있는 이유를 쉽게 이해할 수 있습니다.
컴퓨팅과 저장장치 간의 관계에 따라, 컴퓨팅 아키텍처를 네 세대로 나눌 수 있습니다:
1세대, 단일 디스크 기반 시스템이었습니다: 계산 중에 디스크에서 데이터를 읽어야 합니다. 소형 컴퓨터와 메인프레임은 단일 시스템의 궁극적인 성능을 달성하는 선두주자입니다.
2세대는 디스크를 기반으로 한 분산 클러스터링 시스템입니다: 계산 과정에서 데이터를 디스크에서 읽어야 하지만, 전체 시스템의 처리 능력을 향상시키기 위해 분배 시스템을 통해 서로 다른 서버 디스크에 분산됩니다. 현재 많은 대형 인터넷 및 전자상거래 기업들이 X86 서버를 기반으로 한 분산 클러스터링 시스템을 사용하며, 대규모 X86 서버 배포를 통해 높은 트래픽 동시성 문제를 해결하고 있습니다.
3세대는 단일 메모리 기반 시스템입니다: 전체 데이터베이스를 메모리에 저장하며, 계산 과정에 디스크에서 데이터를 읽을 필요가 없습니다. 전체 시스템의 성능은 단일 시스템의 성능에 달려 있습니다. 전통적인 인메모리 데이터베이스는 이러한 시스템으로, 엔터프라이즈 수준의 애플리케이션에서 접근 속도 문제를 잘 해결할 수 있지만, 대규모 데이터나 대규모 동시 접근의 확장성 문제는 해결할 수 없습니다.
4세대는 메모리 기반 분산 클러스터링 시스템입니다: GemFire는 그런 시스템이며, 병렬 컴퓨팅이 핵심 기술 중 하나로, 서버 배포 규모를 확대함으로써 인메모리 컴퓨팅을 기반으로 성능을 선형적으로 확장할 수 있습니다.
12306은 이전에 유닉스 미니컴퓨터 아키텍처를 채택했으며, GemFire 기술을 사용해 이를 리눅스/X86 서버 클러스터 아키텍처로 변환했는데, 이는 세 세대에 걸쳐 이루어진다는 의미입니다. 소형 컴퓨터에서 대용량 메모리의 X86 서버 클러스터까지, 성능이 한 배 정도 향상될 뿐만 아니라 비용도 훨씬 저렴합니다.
GemFire는 Pivotal의 엔터프라이즈급 빅데이터 PaaS 플랫폼의 일부입니다. Pivotal의 엔터프라이즈급 빅데이터 PaaS 플랫폼은 클라우드 패브릭, 빅데이터 인프라 계층, 애플리케이션 패브릭의 세 가지 주요 레벨로 구성되어 있습니다. GemFire는 빅데이터 인프라 계층에 속하며, 추가로 Greenplum 데이터베이스도 이 계층에 속합니다; 클라우드 인프라 계층의 기술은 Cloud Foundry입니다; 애플리케이션 개발 인프라 계층의 기술은 Spring Framework와 RabbitMQ 등이 있습니다.
보석화염 기술 도입 전환에 대해 중국철도과학원 전자계산기술연구소 부소장 주젠성은 "기술 전환을 통해 오랫동안 우리를 괴롭혀온 고택 교통 동시 문제를 해결하여, 전국 국민이 기술적 이유로 불평하지 않고 마침내 안도할 수 있게 되었다"고 말했다. Pivotal GemFire 분산 클러스터 인메모리 데이터 기술은 전체 기술 혁신에서 핵심적인 역할을 해왔습니다. 동시에, Pivotal과 프로젝트 팀이 기술 개발 및 전환 과정에서 구 시스템의 원활한 운영과 기존 시스템에서 신 시스템으로의 원활한 이전을 보장하기 위한 노력 덕분에 신형 시스템이 신속히 출시될 수 있었습니다. ”
|
이전의:12306 다수의 사용자 비밀번호가 유출되었고, 12306 데이터베이스 다운로드 주소도 유출되었습니다다음:사용자 계정 번호, 일반 비밀번호, 신분증, 이메일 등 12306 사용자 데이터가 인터넷에서 대량으로 퍼졌습니다
|
게시됨 2014. 12. 25. 오후 7:57:14
|
