999精品视频-av片免费看-av网站入口-美国av片-136福利视频导航-手机av片-曰本黄色片-久久久成人av-中文字幕高清av-神马午夜嘿嘿-开心激情五月婷婷-亚洲av人无码激艳猛片服务器-日韩人成-国产美女久久久久久-很污很黄的网站

項(xiàng)目背景

電科院協(xié)同計(jì)算系統(tǒng)提供方式計(jì)算數(shù)據(jù)集中管理和分散維護(hù)、多人異地協(xié)同計(jì)算以及快速的大規(guī)模電網(wǎng)并行分布式仿真計(jì)算功能。協(xié)同計(jì)算系統(tǒng)主要面向各級(jí)調(diào)度運(yùn)行方式工作，包括年度/夏滾/冬滾、2~3年、月度方式計(jì)算等。按照工作需求，每次計(jì)算有幾套數(shù)據(jù)，每套數(shù)據(jù)中有許多計(jì)算分析內(nèi)容，總?cè)萘吭?00T~300T之間。

協(xié)同計(jì)算功能包括工程管理，潮流計(jì)算，暫穩(wěn)計(jì)算等。

以潮流計(jì)算為例，潮流作業(yè)表包括：LF_CASE_ACLINE、LF_CASE_COMPENSATOR_P、LF_CASE_COMPENSATOR_S、LF_CASE_DCLINE、LF_CASE_LOAD、LF_CASE_NODE、LF_CASE_UNIT等。在每個(gè)工程中，有很多個(gè)潮流作業(yè)，每個(gè)潮流作業(yè)數(shù)據(jù)量大概10w條，所有潮流作業(yè)數(shù)據(jù)都存在相同的表中，作業(yè)間以case_no區(qū)分。潮流作業(yè)數(shù)據(jù)是批量插入的，并且經(jīng)常性刪除和插入，并發(fā)50個(gè)作業(yè)同時(shí)插入作業(yè)時(shí)，有較大的IO性能要求。

本系統(tǒng)存儲(chǔ)的設(shè)計(jì)需要考慮存儲(chǔ)的IO吞吐能力、IO帶寬等。本系統(tǒng)核心計(jì)算程序是fortran開發(fā)的，和系統(tǒng)接口的方法是采用輸入輸出文件。系統(tǒng)后臺(tái)使用計(jì)算機(jī)群進(jìn)行計(jì)算，計(jì)算機(jī)群上的計(jì)算程序是一樣的。計(jì)算文件采用NFS方法共享給所有計(jì)算節(jié)點(diǎn)使用，減少了數(shù)據(jù)文件在計(jì)算節(jié)點(diǎn)間的傳輸，簡化了程序。但是，產(chǎn)生了io瓶頸，國調(diào)計(jì)算服務(wù)器21個(gè)，每個(gè)服務(wù)器上同時(shí)可以啟動(dòng)10~20個(gè)計(jì)算任務(wù)，即計(jì)算任務(wù)并發(fā)數(shù)在210~420。

現(xiàn)有業(yè)務(wù)系統(tǒng)計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)均采用千兆互聯(lián)的方式，在使用中存在嚴(yán)重帶寬不足等情況，影響業(yè)務(wù)運(yùn)行，本期項(xiàng)目建設(shè)需要同步考慮將系統(tǒng)升級(jí)擴(kuò)容至萬兆互聯(lián)。

方案設(shè)計(jì)

本次項(xiàng)目實(shí)為電科院內(nèi)部IT系統(tǒng)業(yè)務(wù)系統(tǒng)內(nèi)配套存儲(chǔ)及其它IT基礎(chǔ)解決方案的綜合性方案，要求滿足標(biāo)準(zhǔn)化、高密度、高并發(fā)、高擴(kuò)展，滿足數(shù)據(jù)并發(fā)訪問處理需求。

ParaStor是曙光自主開發(fā)的分布式并行存儲(chǔ)系統(tǒng)，采用多副本、N+M糾刪碼等數(shù)據(jù)保護(hù)技術(shù)、全冗余設(shè)計(jì)，支持單一存儲(chǔ)命名空間、支持容量海量擴(kuò)展，性能線性擴(kuò)展，能夠滿足高性能計(jì)算中心海量文件并發(fā)讀寫需求。

優(yōu)勢說明

1)架構(gòu)優(yōu)勢

ParaStor300采用元數(shù)據(jù)和數(shù)據(jù)分離的非對稱式結(jié)構(gòu)，這也是國際主流的并行存儲(chǔ)系統(tǒng)架構(gòu)，元數(shù)據(jù)和數(shù)據(jù)分離有助于提升存儲(chǔ)系統(tǒng)的性能和擴(kuò)展性。

ParaStor300的多臺(tái)索引控制（默認(rèn)配置2臺(tái)）采用多活冗余集群結(jié)構(gòu)元數(shù)據(jù)存儲(chǔ)采用RAID6保護(hù)的SSD高速磁盤以提高元數(shù)據(jù)訪問性能。曙光ParaStor300采用更高級(jí)的元數(shù)據(jù)冗余策略。ParaStor300的元數(shù)據(jù)控制器默認(rèn)配置2臺(tái)，同時(shí)支持更多的元數(shù)據(jù)控制器組成元數(shù)據(jù)集群，每臺(tái)元數(shù)據(jù)控制器均為Active在線狀態(tài)，正常工作時(shí)負(fù)載均衡并行文件系統(tǒng)客戶端的元數(shù)據(jù)訪問請求，一臺(tái)元數(shù)據(jù)控制器出現(xiàn)故障時(shí)，其它元數(shù)據(jù)控制器分擔(dān)其工作負(fù)載，接管時(shí)間非常短，且為在線切換，不中斷正在進(jìn)行的IO請求，不影響并行文件系統(tǒng)的業(yè)務(wù)運(yùn)行。

2)數(shù)據(jù)保護(hù)

與傳統(tǒng)磁盤陣列RAID保護(hù)技術(shù)相比，曙光ParaStor300的N+M糾刪碼技術(shù)具有明顯優(yōu)勢。ParaStor300可以實(shí)現(xiàn)數(shù)據(jù)重建無人值守，比如深夜磁盤出現(xiàn)故障，傳統(tǒng)RAID要立即人工更換磁盤，而ParaStor300只要有剩余空間就可以自動(dòng)進(jìn)行數(shù)據(jù)重建；ParaStor300的數(shù)據(jù)重建并發(fā)進(jìn)行，1TB數(shù)據(jù)半小時(shí)內(nèi)重建完成，而傳統(tǒng)RAID的重建時(shí)間可能長達(dá)10小時(shí)到1天以上，而且RAID在數(shù)據(jù)重建期間磁盤負(fù)載很重，很容易出現(xiàn)雪崩效應(yīng)，即繼續(xù)出現(xiàn)磁盤損耗，導(dǎo)致RAID降級(jí)甚至數(shù)據(jù)丟失。

本方案采用的N+M保護(hù)策略，存儲(chǔ)系統(tǒng)可以容忍M塊硬盤同時(shí)失效。實(shí)際上M塊硬盤“同時(shí)”失效的概率非常低，因?yàn)楫?dāng)ParaStor300的1塊硬盤失效后，系統(tǒng)會(huì)在很短時(shí)間內(nèi)在其它硬盤上自動(dòng)完成數(shù)據(jù)重建，重建完成后，ParaStor300又可以容忍M塊硬盤同時(shí)失效。數(shù)據(jù)修復(fù)過程完全無人值守。用戶只用定期更換故障硬盤即可，更換新硬盤后，ParaStor會(huì)自動(dòng)進(jìn)行底層數(shù)據(jù)遷移，平衡容量。

3)分級(jí)存儲(chǔ)

ParaStor300存儲(chǔ)系統(tǒng)支持自動(dòng)透明的分級(jí)存儲(chǔ)功能，采用SSD和SATA磁盤相結(jié)合，既能保障存儲(chǔ)系統(tǒng)容量，又能提高存儲(chǔ)系統(tǒng)訪問性能，具有極高性價(jià)比。

用戶的熱點(diǎn)數(shù)據(jù)優(yōu)先存放在SSD分區(qū)，冷數(shù)據(jù)自動(dòng)遷移到SATA分區(qū)，回?zé)釘?shù)據(jù)可以回遷，數(shù)據(jù)遷移策略綜合數(shù)據(jù)訪問頻率、文件大小等因素，遷移策略用戶可干預(yù)和定制。數(shù)據(jù)遷移過程在SSD和SATA磁盤之間以數(shù)據(jù)塊級(jí)別并發(fā)進(jìn)行，速度快且對存儲(chǔ)性能影響較小，整個(gè)數(shù)據(jù)遷移過程自動(dòng)透明，用戶看到的是一個(gè)統(tǒng)一完整的數(shù)據(jù)訪問空間。

4)擴(kuò)展能力

ParaStor300分布式存儲(chǔ)系統(tǒng)具有極佳的擴(kuò)展性，最大支持4096個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)，真正做到EB級(jí)存儲(chǔ)。支持在線擴(kuò)容，且不影響業(yè)務(wù)系統(tǒng)使用。增加數(shù)據(jù)控制器后，數(shù)據(jù)對象自動(dòng)實(shí)現(xiàn)負(fù)載均衡的遷移分布，使得整個(gè)存儲(chǔ)系統(tǒng)實(shí)現(xiàn)容量和性能的線性增長。

方案優(yōu)勢說明

解決了傳統(tǒng)存儲(chǔ)的帶寬瓶頸問題；

曙光自帶的私有客戶端及對NFS的深度優(yōu)化，解決了標(biāo)準(zhǔn)NFS協(xié)議訪問的中斷問題；

提升了系統(tǒng)的并發(fā)訪問能力，可以同時(shí)為多個(gè)省級(jí)節(jié)點(diǎn)提供計(jì)算訪問服務(wù)；

投資成本優(yōu)于傳統(tǒng)FC SAN架構(gòu)，性價(jià)比更高；

交鑰匙工程，從前期設(shè)計(jì)，到方案POC驗(yàn)證，到招投標(biāo)，到最后項(xiàng)目交付，曙光原廠工程師全程參與支持，客戶省心放心；

原廠7*24*365超白金級(jí)服務(wù)，本地化服務(wù)；