Pengantar Teknologi Arsitektur Perusahaan IBM X-Series Server
Fitur dan manfaat IBM Enterprise Type X Architecture (EXA):
IBM Enterprise X-Architecture menunjukkan bagaimana pendekatan evolusi yang disusun dengan cerdas dapat menciptakan fitur inovatif. Arsitektur Enterprise Type X menggunakan tiga komponen teknologi server standar industri—prosesor, memori, dan I/O—dan lebih lanjut ditingkatkan dengan fitur-fitur canggih yang dirancang untuk membawa sistem standar ke tingkat berikutnya.
Arsitektur Enterprise Type X menghadirkan fitur ke server standar industri yang sebelumnya hanya tersedia untuk mainframe dan pengguna sistem kelas atas lainnya. Fitur-fitur baru ini, dikombinasikan dengan teknologi arsitektur tipe-X yang ada, menciptakan skalabilitas revolusioner, ekonomi, fleksibilitas yang tak tertandingi, serta tingkat ketersediaan dan kinerja baru. Fitur utama yang menyenangkan pelanggan dengan menyederhanakan manajemen, mengurangi biaya, dan meningkatkan ketersediaan meliputi:
o Skalabilitas XpandOnDemand, segmentasi sistem, subsistem I/O PCI–X, PCI–X Aktif
o I/O
o Proteksi Memori
- Memori chipkill
- Pencerminan memori
- Memori yang dapat ditambahkan panas/hot-swappable (segera hadir)
o Cache akselerator server XceL4
Dalam konten berikut, kami akan memperkenalkan secara rinci empat aspek skalabilitas server, cache L4, teknologi memori, dan I/O.
Arsitektur tipe X perusahaan: XpandOnDemand
Berkat desain modularnya yang fleksibel, arsitektur Enterprise X menciptakan ekonomi baru yang revolusioner untuk server: pelanggan tidak perlu lagi membeli server sebanyak mungkin di muka untuk memastikan pertumbuhan kapasitas di masa mendatang. Anda dapat membayar seiring pertumbuhan Anda. Kami menyebutnya skalabilitas XpandOnDemand yang inovatif.
Teknologi arsitektur tipe X perusahaan menggunakan blok bangunan standar SMP 4 arah yang ditingkatkan dan berkinerja tinggi yang disebut modul ekspansi SMP. Menggunakan modul 4 arah ini sebagai node perusahaan yang dapat diskalakan, modul ekspansi IBM SMP memungkinkan ekspansi yang efisien dari 4 arah ke 8 arah ke 12 arah — dan bahkan sistem 32 arah, menghubungkannya bersama melalui satu port ekspansi SMP berkecepatan tinggi. Oleh karena itu, jika pelanggan pada akhirnya membutuhkan lebih banyak kemampuan pemrosesan, modul cadangan 4 jalur dapat ditambahkan untuk membuat server 8 soket yang dikombinasikan dengan kabel sederhana. Jika server 8 soket ini tidak menyediakan slot dan ruang yang cukup, mereka dapat lebih meningkatkan kapasitas slot I/O dengan mencolokkan unit ekspansi I/O jarak jauh eksternal (dijelaskan nanti) dan unit penyimpanan jarak jauh seperti IBM EXP500.
Modul ekspansi SMP Arsitektur Tipe X Perusahaan mencakup prosesor, memori, dukungan I/O, cache, penyimpanan, dan perangkat lain yang dapat dijalankan secara terpisah seperti server lain. Setiap modul dapat menjalankan sistem operasi yang berbeda dari yang lain, atau beberapa modul dapat ditetapkan ke versi sistem operasi melalui segmentasi sistem jika diperlukan. Dengan segmentasi sistem, sistem dapat dikonfigurasi sebagai sistem memori yang berbagi 16-prosesor, atau dibagi menjadi beberapa segmen. Pada akhirnya, ketika semua fitur EXA didukung, segmen sekecil prosesor.
Modul terhubung satu sama lain oleh perangkat interkoneksi berkecepatan tinggi khusus yang disebut port ekspansi SMP, berbagi sumber daya untuk skalabilitas mendekati linier, memungkinkan pengguna untuk beradaptasi untuk menjalankan beberapa node sebagai unit konglomerat besar, atau sebagai dua atau lebih unit yang lebih kecil—atau bahkan mengatur ulang konfigurasi nanti sesuai kebutuhan.
Teknologi EXA juga menyediakan akses antara semua prosesor dan semua memori, terlepas dari node masing-masing, sehingga mengurangi konektivitas. Dengan setiap node tambahan, Anda juga dapat menambahkan chipset, bus front-end, bus PCI, dan sumber daya lainnya untuk berbagi lalu lintas data. Lebih banyak node sama dengan lebih banyak bandwidth sistem. Bayangkan konflik dan masalah sumber daya yang Anda temui dalam sistem SMP 16 atau 32 arah tradisional.
Demikian pula, mendukung sekelompok server yang terhubung melalui failover semudah menghubungkan dua, tiga, atau empat node 4 arah. Anda dapat menggunakan perutean port ekstensi sistem yang sama antar simpul untuk interkoneksi kluster. Untuk kluster yang dapat diskalakan, interkoneksi berkecepatan tinggi dapat dibuat tanpa pengaturan Ethernet yang rumit, karena sudah ada melalui port ekspansi SMP. Selain itu, slot Ethernet PCI–X terbuka untuk I/O lainnya.
Teknologi Modul Ekstensi SMP: Cache Akselerator Server XceL4
Fitur canggih yang didukung oleh Enterprise Type X Architecture (EXA) adalah cache sistem Level 4 (XceL4 Server Accelerator Cache) besar yang memastikan berfungsinya teknologi kinerja memori modul ekspansi SMP, dengan memori ECC berkecepatan tinggi 64 MB DDR (Double Data Transfer Rate) per modul ekspansi SMP di server berbasis Itanium dibandingkan dengan 32 MB di sistem Xeon.
Dengan menggunakan memori DDR berkecepatan tinggi antara prosesor dan memori utama, cache XceL4 dapat sangat meningkatkan kinerja prosesor dan perangkat I/O. Berapa banyak kinerja yang telah ditingkatkan? Dalam industri di mana vendor membanggakan keunggulan kinerja lebih dari 2% dibandingkan pesaing, caching XceL4 dapat meningkatkan throughput di semua server hingga 15% hingga 20%.
Prosesor Intel 32-bit dan 64-bit berisi skala yang relatif kecil (128 K hingga 4 MB, tergantung pada prosesor) memori cache internal Level 1, Level 2, dan (menggunakan Itanium) Level 3. Jumlah cache bawaan dibatasi oleh ruang yang tersedia di dalam modul prosesor. Semakin besar memori cache, semakin sering prosesor akan mencari data yang dibutuhkannya, dan semakin sedikit yang harus mengakses memori utama yang lebih lambat. (Kecepatan prosesor meningkat pada tingkat yang jauh lebih cepat daripada kecepatan memori utama; Berapa kali memori utama harus diakses meningkat setiap tahun. )
Kapasitas memori besar
Memori Aktif adalah terobosan dalam teknologi memori massal arsitektur tipe-X perusahaan, yang dirancang untuk meningkatkan kapasitas, kinerja, dan keandalan. Salah satu teknologi tersebut adalah kemampuan untuk mendukung kapasitas memori yang besar.
Sementara beberapa server masih dibatasi oleh jumlah slot memori yang dapat mereka pasang, yang lain dibatasi oleh memori maksimum yang dapat didukung oleh chipset yang digunakan server. Untuk alasan ini, sebagian besar server memiliki batas memori RAM 16 GB atau kurang. Arsitektur Enterprise Type X mendobrak penghalang ini, memungkinkan hingga 256 GB RAM (64 GB di server berdasarkan prosesor Intel Xeon MP 32-bit) di server berbasis server berbasis Itanium 64-bit.
Proteksi Memori
Memory ProteXion membantu melindungi dari kegagalan mendadak yang disebabkan oleh kesalahan memori keras. Ini bekerja agak mirip dengan sektor disk cadangan panas di sistem file NTFS Windows, dan jika sistem operasi mendeteksi sektor buruk pada disk, itu akan menulis data ke sektor cadangan untuk tujuan ini. Memory ProteXion (juga dikenal sebagai penyetelan bit redundan pada sistem lain) awalnya dikembangkan untuk mainframe IBM dan telah digunakan selama bertahun-tahun pada server zSeries dan iSeries.
Server yang dilindungi oleh Memory ProteXion hampir 200 kali lebih kecil kemungkinannya untuk gagal daripada server yang menggunakan memori ECC standar. DIMM ECC (Deteksi dan Koreksi Kesalahan) berisi 144 bit, tetapi hanya 140 bit yang digunakan untuk data, dan empat bit sisanya tidak digunakan. Memory ProteXion hanya menulis ulang data ke beberapa bit cadangan ini, daripada menonaktifkan DIMM dengan cepat. Pendekatan ini memungkinkan Memory ProteXion untuk memperbaiki empat kesalahan bit berturut-turut per DIMM—delapan kesalahan bit berturut-turut per pengontrol memori (server mungkin memiliki beberapa pengontrol). Teknologi canggih ini dapat membantu mengurangi waktu henti server, menghasilkan platform komputasi klien-server yang lebih kuat. Ini sangat penting dalam lingkungan database besar, di mana transaksi/rollback, pengindeksan ulang, dan sinkronisasi data antar server dapat mengakibatkan kehilangan berjam-jam sebelum database yang mogok kembali aktif dan berjalan. Jika pengontrol memori berjalan di luar bit siaga, itu terus bertindak sebagai garis pertahanan kedua untuk memori Chipkill.
Memori Chipkill ECC (sekarang generasi ketiga dari komputer standar industri) hanya berfungsi ketika server mengalami begitu banyak kesalahan dalam waktu singkat sehingga Memory ProteXion tidak dapat menyelesaikannya.
Pencerminan memori
Garis pertahanan ketiga terhadap waktu henti server karena kegagalan memori adalah pencerminan memori. Dalam teknologi ini, memori dikelola dengan cara yang sangat mirip dengan pencerminan disk dalam konfigurasi RAID. Dalam hal ini, pemetaan data yang tepat pada stik memori utama dicerminkan ke modul memori cadangan atau cadangan. Hasilnya adalah jika satu stik memori gagal, stik memori yang dicerminkan menjadi stik memori utama. Setelah mengganti stik memori yang gagal, data dalam memori stik memori utama dicerminkan ke stik memori baru.
Sistem I/O PCI–X dan PCI–X Aktif
Bus PC I/O terbaru memungkinkan beberapa segmen bus PCI 64-bit 66 MHz, mendukung 400 hingga 500 MBps per segmen. Bandwidth ini tidak cukup untuk mendukung lingkungan I/O 10 Gbps (gigabyte per detik)—atau lebih tinggi—yang muncul.
Tanpa peningkatan kinerja lainnya, PCI akan dengan cepat menjadi hambatan yang mencegah jaringan berkecepatan tinggi ini menghubungkan server pada kecepatan jaringan maksimum. Kemacetan I/O telah mencegah server standar industri menjadi arsitektur sistem yang seimbang, fitur server berbasis Intel berkecepatan tinggi dan sistem mainframe. Oleh karena itu, untuk mengatasi masalah kinerja ini, industri telah mengembangkan bus yang disempurnakan yang disebut PCI–X, yang dirancang untuk memperpanjang umur PCI hingga arsitektur I/O serial generasi berikutnya seperti InfiniBand siap.
PCI–X memungkinkan semua adaptor PCI 32-bit dan 64-bit 66 MHz saat ini berfungsi dengan baik di bus PCI-X. Adaptor PCI-X memanfaatkan sepenuhnya kecepatan bus 100 MHz dan 133 MHz baru, yang memungkinkan satu adaptor 64-bit untuk mengirimkan hingga 1 gigabyte data per detik. Selain itu, PCI–X mendukung adaptor PCI 66 MHz 64-bit dua kali lebih banyak dalam satu bus.
PCI–X Aktif memungkinkan Anda menambahkan atau mengganti kartu yang didukung PCI Aktif dan PCI–X Aktif tanpa mematikan server. Fitur PCI-X Aktif yang dirancang untuk meningkatkan ketersediaan server secara keseluruhan dikategorikan sebagai berikut:
Hot-swappable memungkinkan Anda mengganti adaptor yang rusak atau akan datang tanpa reboot
Hot Add menyediakan peningkatan mudah yang memungkinkan Anda menambahkan adaptor baru saat server berjalan (IBM adalah yang pertama di industri yang menawarkan fitur ini)
Failover memungkinkan adaptor cadangan bertanggung jawab untuk menjalankan semua layanan yang sedang diproses jika terjadi kegagalan adaptor utama
Pertanyaan teknis tentang server 8658-51Y 5100X230:
1.8658 11Y----21Y—61Y-6RY dan motherboard NF 5100/X230 lainnya semuanya sama, server semacam ini IBM disebabkan oleh
Ada masalah dengan desain produksi, dan kesalahan VRM slot pertama CPU-nya, yang akan membakar CPU dan motherboard dalam kasus yang parah.
2. Untuk mengatasi masalah ini, IBM kemudian memiliki papan 5100 yang ditingkatkan yang disebut FRU: 59P5869
Anda tidak dapat membakar CPU VRM, yaitu slot pertama CPU, Anda dapat memuat CPU secara normal: Beberapa pelanggan utama adalah IBM Send Basket Fast
Insinyur mengganti motherboard dengan papan yang ditingkatkan FRU:59P5869.
3. Ada cara lain: Pendekatan insinyur Lankuai (dipraktikkan) untuk memindahkan CPU ke slot CPU kedua
Tambahkan papan terminal CPU VRM dari slot CPU kedua asli ke slot pertama CPU, dan seterusnya
Ini menghindari hilangnya pembakaran CPU pertama. Artinya, server hanya dapat mencapai satu CPU
Slot CPU kedua. Ini cocok untuk FRU: 09N7844 06P6165 25P3289 yaitu pelat yang tidak dimodifikasi.
4. Ini juga alasan mengapa IBM 5100/X230 rentan terhadap masalah, tetapi ada juga solusinya.
Jadi CPU yang baik tidak boleh pergi ke slot pertama CPU.
Penjelasan terperinci tentang perintah Ipssend dan metode konfigurasi
Ipssend adalah alat untuk mengonfigurasi array pada baris perintah, file perintah itu sendiri sangat kecil, mudah diunduh dari Internet, yang dapat memecahkan masalah beberapa pengguna kehilangan serbuan server, disk panduan server dan tidak dapat mengunduh sekitar 500Mb file gambar iso disk dari Internet.
Perintah utama:
1.create - Fungsi dari perintah ini adalah untuk membuat drive logis di atas array yang ada atau array baru.
Catatan: Perintah ini tidak dapat membuat drive logis untuk RAID level-x0.
Format Perintah : IPSSEND CREATE controller LOGICALDRIVE NEWARRAY/ARRAYID ukuran raidlevel {channel sid}
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
l NEWARRAY berarti membuat array baru (jika Anda tidak ingin membuat array baru, Anda dapat meninggalkannya)
l size dan raidlevel adalah tingkat ukuran dan array drive logis yang akan dibuat, masing-masing
Contoh: (Pengontrol default adalah 1, id hard disk dimulai dari 0, ukuran drive logis adalah 100Mb)
1. Hard disk melakukan raid 0: ipssend membuat 1 logicaldrive newarray 100 0 1 0. 1 0 terakhir mengacu pada {channel sid} yang sesuai
2. Lakukan raid 0 pada dua hard drive: ipssend create 1 logicaldrive newarray 100 0 1 0 1 1 1. 1 0 1 1 terakhir mengacu pada {channel sid} yang sesuai
3. Dua hard drive melakukan RAID 1: ipssend membuat 1 logicaldrive newarray 100 1 1 0 1 1. 1 0 1 1 terakhir mengacu pada {channel sid} yang sesuai
4. Tiga hard drive melakukan RAID 5: ipssend membuat 1 logicaldrive newarray 100 5 1 0 1 1 1 2. 1 0 1 1 1 1 2 terakhir mengacu pada perintah {channel sid} yang sesuai yang akan mendefinisikan newarray ini sebagai array a.
5. Jika Anda ingin membuat perintah input logicaldrive lain berdasarkan contoh 4:
ipssend create 1 logicaldrive a 100 5 1 0 1 1 1 1 2. 1 0 1 1 1 2 terakhir mengacu pada {channel sid} yang sesuai
2.delete - Perintah ini menghapus array yang sudah ada. Pada saat yang sama, data pada drive logis akan hilang.
Catatan: Perintah ini tidak dapat menghapus drive logis RAID level-x0
Format perintah : Array pengontrol IPSSEND DELETE
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
l arrayID adalah array yang ada (A-H)
Contoh: (Dengan asumsi pengontrol adalah 1 dan arrayID adalah a)
ipssend hapus 1 array a
3. devinfo - Perintah ini mencantumkan status dan ukuran drive fisik.
Format perintah: Sid saluran pengontrol IPSSEND DEVINFO
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
saluran l mengacu pada saluran SCSI (1-4)
l SID mengacu pada nomor ID SCSI (0-15)
Misalnya: ipssend devinfo 1 1 0
Ini ditunjukkan sebagai berikut:
Menemukan 1 pengontrol IBM ServeRAID.
Informasi perangkat telah dimulai untuk pengontrol 1...
Perangkat adalah Hard disk
Saluran : 1
ID SCSI : 0
PFA (Ya/Tidak) : Tidak
Negara : Siap (RDY)
Ukuran (dalam MB)/(dalam sektor): 34715/71096368
ID Perangkat : IBM-ESXSST336732B84G3ET0YAHS
Nomor bagian FRU : 06P5778
Perintah berhasil diselesaikan.
4. penggerak - Perintah ini mencantumkan ID vendor, versi firmware, dan nomor seri drive fisik.
Format perintah: Saluran pengontrol IPSSEND DRIVEVER sid
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
saluran l mengacu pada saluran SCSI (1-4)
l SID mengacu pada nomor ID SCSI (0-15)
Penggerak Ipssend 1 1 0
Ini ditunjukkan sebagai berikut:
Menemukan 1 pengontrol IBM ServeRAID.
Penyelidikan SCSI DCDB telah dimulai untuk pengontrol 1...
Jenis Perangkat : Hard disk
Saluran : 1
ID SCSI : 0
Vendor : IBM-ESXS
Tingkat Revisi : B84G
Nomor Seri : 3ET0YAHS
Perintah berhasil diselesaikan.
5. getconfig - Perintah ini mencantumkan informasi tentang pengontrol, drive logis, dan fisik
Format perintah: Pengontrol IPSSEND GETCONFIG AD/LD/PD/AL
Pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
l AD menampilkan informasi pengontrol
l LD menampilkan informasi tentang drive logis
l PD menampilkan informasi tentang perangkat fisik
l AL menampilkan semua informasi di atas
Contoh: (Pengontrol default adalah 1)
ipssend getconfig 1 al
6. setconfig - Perintah ini mengubah konfigurasi pengontrol, seperti melanjutkan nilai default dan menyalin informasi array dari hard disk
Format perintah: Pengontrol IPSSEND SETCONFIG DEFAULT/IMPORTDRIVE
Contoh:
Mengembalikan pengontrol ke pengaturan keluar:
ipssend setconfig 1 default
Salin informasi array dari hard disk:
ipssend setconfig 1 impordrive
7.Scandrive – memindai semua hard drive pada pengontrol
Format perintah: Pengontrol IPSSEND SCANDRIVES
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
Penggunaan: (Dengan asumsi pengontrol adalah 1)
IPSSEND Scandrive 1
8. Backup - Informasi array cadangan
Format perintah: Nama file pengontrol IPSSEND BACKUP
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
Contoh penggunaan:
IPSSEND Backup 1 BackupFile
9. pulihkan - Pulihkan informasi array yang dicadangkan
Format perintah: Nama file pengontrol IPSSEND RESTORE
l pengontrol mengacu pada nomor ID pengontrol RAID (1-12)
Contoh penggunaan:
ipssend restore 1 backupfile
Tentang metode BIOS downgrade kartu RAID IBM
Ini adalah program flashman.pro file di disk peningkatan IBM, Anda perlu mengubah program berikut untuk menurunkan BIOS RAID, dan menggunakan cakram RAID IBM untuk menurunkan BIOS RAID. Cara melakukannya adalah dengan mengunduh upgrade BIOS 4.84 terlebih dahulu
Program.4.84 BIOS/firmare upgrade disk. File flashman.pro berbunyi:
Firmware keluarga ServeRAID dan profil utilitas unduhan BIOS
Rilis Disk: 4.84.01
.
Format =
[------ BIOS -------] [---- Firmware -----] [------ Boot -------]
: Nama Adaptor, Nama Gambar, Rev#, Dsk#, Nama Gambar, Rev#, Dsk#, Nama Gambar, Rev#, Dsk#,
.
-----------------------------------------------------------------------------
.
Jenis: ServeRAID, A:
.
Adaptor Tidak Dikenal
:?,raid.img,99,1,codeblk.cph,99,2,bootblk.cph,0.00.00,1,
.
Adaptor Copperhead
:ServeRAID,raid.img,4.84.01,1,codeblk.cph,2.25.01,2,bootblk.cph,0.00.00,1,
.
ServeRAID pada gambar planar (Navajo)
:ServeRAID1C1,raid.img,4.84.01,1,codeblk.nvj,2.88.13,2,bootblk.nvj,0.00.00,1,
.
Adaptor Penyegaran Kepala Tembaga
:ServeRAID II,raid.img,4.84.01,1,codeblk.rf,2.88.13,2,bootblk.rf,0.00.00,1,
.
Copperhead-Refresh pada planer (Kiowa)
:ServeRAID2C2,raid.img,4.84.01,1,codeblk.rf,2.88.13,2,bootblk.rf,0.00.00,1,
.
Adaptor Klarinet
:ServeRAID-3H,raid.img,7.84.01,1,codeblk.cln,7.84.01,1,bootblk.cln,0.00.00,1,
.
Adaptor Klarinet-Lite (Oboe)
:ServeRAID-3L,raid.img,7.84.01,1,codeblk.cln,7.84.01,1,bootblk.cln,0.00.00,1,
.
Adaptor Trombon
:ServeRAID-4H,raid.img,7.84.01,1,codeblk.trb,7.84.01,2,bootblk.trb,0.00.00,1,
.
Adaptor Morpheus
:ServeRAID-4M,raid.img,7.84.01,1,codeblk.neo,7.84.01,1,bootblk.mor,0.00.00,1,
.
Adaptor Morpheus-Lite
:ServeRAID-4L,raid.img,7.84.01,1,codeblk.neo,7.84.01,1,bootblk.mor,0.00.00,1,
.
Adaptor Neo
:ServeRAID-4Mx,raid.img,7.84.01,1,codeblk.neo,7.84.01,1,bootblk.neo,4.84.01,1,
.
Adaptor Neo-Lite
:ServeRAID-4Lx,raid.img,7.84.01,1,codeblk.neo,7.84.01,1,bootblk.neo,4.84.01,1,
Cara ini adalah mengubah 4lx, raid.img, 4.84.01, 1 (berubah menjadi 7.84.01, 1), codedblk, neo, 4.84.01, 1 ((berubah menjadi 7.84.01, 1) dan lainnya tidak berubah, ketika BIOS ditingkatkan, ditemukan bahwa 6.10 tidak cukup tinggi untuk ditingkatkan ke BIOS 7.84 baru, dan sebenarnya menghasilkan 4.84. Ini disebut light rise dan dark fall.
Setelah memulai ulang, kartu RAID akan melaporkan kesalahan, yang normal, CATL+1 memasuki kartu RAID dan menginisialisasi lagi.
Tidak apa-apa untuk mengulangi.
Gunakan disk BIOS upgrade 4.84 dari Internet. Buka file flashman.pro di Notepad dan ubah.
Jika jatuh. BIOS masih tidak dapat melakukan RAID atau hard disk rusak, sambungkan kabel SCSI dari backplane hard disk ke antarmuka SCSI motherboard, CATL+A memindai hard disk untuk melihat apakah itu lewat secara merata, atau beberapa hard drive OEM tidak dapat membuat RAID Sayang sekali, jadi tidak perlu melakukan RAID. Tentu saja, memiliki hard drive IBM asli sebagai RAID 0 adalah verifikasi terbaik.
Saya akan membantu Anda di sini, kuncinya terserah Anda untuk menilai sendiri. Ada masalah
Telepon saya lagi. Saya memiliki banyak disk RAID dari RAID 3.0 |
Diposting pada 16/02/2015 21.14.01
|
|
|
