數據治理

大數據量業務訂制和解決方案

  大數據量的系統要經(jīng)過(guò)對(duì)數據的用處分析和數據周期分析,以尋求更好(hǎo)的解決方案。

1.業務系統的基礎數據,如人員基礎信息(基礎資料,權限等)

  數據可以KEEP在内存中.數據要分散存儲.基礎數據邏輯要簡潔.使用增量更新.高峰期來臨前提前更新基礎數據。

2.熱數據處理

  此部分數據是各方面(miàn)環境會(huì)頻繁使用到的數據對(duì)這(zhè)部分數據的存儲,比如使用不一樣(yàng)的存儲方式,比如建立高效的索引,使用SSD盤,或者使用mysql數據庫存儲。

3.曆史數據的遷移

  近期數據此類數據是需要最近頻繁使用或者調用的數據,對(duì)OLTP系統而言此類數據是核心數據。

  曆史數據此類數據主要做曆史數據查詢或者曆史分析數據,建議遷移出OLTP系統數據庫。

4.報表數據的存儲

  對(duì)報表數據進(jìn)行數據轉換,從原始數據,轉化到訂制數據,再清理 成(chéng)報表數據。

5.數據庫業務拆分 多表數據存儲

  將(jiāng)核心業務表進(jìn)行拆分,既能(néng)提高數據庫的性能(néng),還(hái)能(néng)提高數據的安全。

6.索引數據的存儲

  無效索引的删除與索引的定期重建和SSD盤的引入等處理。

  數據流轉。

  數據中心。

  訂制小數據中心 圍繞中心數據庫。

  數據分發(fā)機制。

  按區域城市等進(jìn)行數據分發(fā)。

  中心數據入庫後(hòu)的流轉。

  MYSQL:查詢類系統:如網站的查詢。

  多套ORACLE:多用途系統:如備份、物流監控,報表等。

  ORACLE:核心業務系統:信息流、物流、資金流全流程控制系統。

  大數據分析系統:對(duì)曆史數據或者大數據進(jìn)行分析。