交通管理大數據研判分析

前言：本站為你精心整理了交通管理大數據研判分析范文，希望能為你的創作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

1、研判平臺總體架構公安交通管理研判分析

平臺總體架構包括數據源、數據倉庫、數據集市、數據應用及數據管理5部分。

1.1數據源

數據源是指由公安交通管理綜合平臺、交通指揮平臺及機動車緝查布控平臺等公安交通管理信息系統采集匯總的交通管理大數據。

1.2數據倉

庫數據倉庫是為各級交通管理決策制定過程提供支持的所有類型數據的戰略集合，是在整合多個交通管理數據源的基礎上形成的單個數據存儲，出于分析性報告和決策支持目的而創建。數據倉庫包括明細層和輕度匯總層兩個層面。其中，明細層基于數據源、采用鏡像復制和增量同步技術建立；輕度匯總層在明細層基礎上，參照研判分析實際需求，對數據進行抽取、轉換、清洗后建立。

1.3數據集市

數據集市是根據不同專業用戶群體在分析、內容、表現及易用性等方面的特殊需求，從數據倉庫歷史數據中抽取的一個針對性數據子集，用以滿足特定部門、團隊、客戶或應用程序分析和報告需求。

1.4數據應用

在數據倉庫或數據集市基礎上，采用聚類、關聯分析、時序分析、分類、值預測等挖掘技術，有效提取交通管理大數據中固有的、以前未知的潛在有效信息，并進行多維度、個性化集成、查詢和展現。

1.5數據管理

對數據處理流程、數據質量檢查及元數據進行有效管理，確保數據研判分析工作順利開展。

2、數據流向及處理來源

豐富、內容完整、及時準確的信息資源是有效開展分析研判的必要基礎。因此，分析研判系統建設的首要任務是收集匯總信息應用所需的各類來源數據，通過數據整合處理形成分析研判分析數據庫。

2.1數據流向

公安內部綜合應用平臺所采集形成、開展信息工作所需的業務信息，包括各級公安機關交通管理部門采集形成的數據，如駕駛人管理、機動車登記、違法處理、事故處理、交警隊信息平臺、危險化學品運輸管理等業務信息和異常業務預警信息。緝查布控系統產生車輛通行信息及主干公路監控數據在部級平臺中直接獲取；氣象信息等跨行業數據通過互聯網服務接口獲取，并通過邊界接入平臺或人工方式轉入公安網。

（1）綜合應用平臺、主干公路監控數據通過數據采集器按分類寫入數據倉庫與分布式文件系統。

（2）氣象信息通過程序調用數據訪問接口寫入數據倉庫。

（3）分布式文件系統通過批處理的形式，將數據清洗轉換后寫入數據倉庫。

（4）數據倉庫采用實時復制技術，按方案將數據復制至內存數據庫。

（5）內存數據庫為COGNOS、SPSS分析平臺提供分析數據來源。

（6）內存數據庫、分布式文件系統同時為數據檢索分析平臺提供數據。

2.2數據整合處理流程

數據整合處理時以ETL工具為核心，包括數據抽取、過濾清洗、轉換、整合加工等功能的數據提取處理工具，主要用于按照預先設計的數據抽取整合處理方案，執行從各種數據來源上提取新鮮數據、比對數據進行清洗、轉換、傳輸、整合加工，并裝載數據到目標數據庫、記錄問題數據、記錄處理日志等一系列數據加工處理工作過程。數據整合處理過程應具有較好的可監控、可維護能力，可支持處理任務的安排調度管理，并可接受信息資源管理應用的運行監測。業務信息綜合分析研判系統建設中，數據整合處理主要用于將各種來源數據經抽取整合處理進入信息綜合數據庫群，并可用于根據專題應用建設需求，將分析數據庫中已有的相關數據進行抽取整合處理，形成數據集市數據。數據整合處理所執行的數據抽取整合處理方案應根據應用的需求，利用信息資源管理應用上的信息資源注冊信息、標準信息、結合相關數據的特點及有關信息化標準規范進行定制設計。分析數據庫建設中用于實現數據抽取整合工作的工具主要需要負責從源業務數據庫提取新鮮數據、對數據進行清洗、轉換、數據傳輸、數據裝載、問題數據記錄、轉換日志記錄，錯誤處理與異常日志記錄等工作。

（1）數據抽取和標準代碼庫創建：產生的數據是轉儲數據和標準代碼庫。

（2）數據清洗：對轉儲的業務數據，根據定義的數據清洗規則進行清洗。產生的數據是問題數據庫。

（3）數據轉換：定義好數據轉換的規則，對經過第一步清洗的數據，進行轉換。產生的數據是經過轉換的數據。

（4）數據集成：對轉換完成的數據去查找關聯，同時把數據按照要素和層次進行組織。

（5）數據裝載：把完成前面步驟的數據裝載到分析數據庫中。

（6）數據校驗：對完成整合的綜合數據通過校驗器定義好校驗規則進行數據校驗，找出第二批的問題數據，使得數據的質量進一步提高。

3、關鍵技術研判平臺

總體功能包括數據處理、數據管理、統計研判、挖掘研判、多維度展現、應用管理、安全管理等功能，其中數據處理、數據管理、多維度展現作為基礎性工作顯得尤為重要，這關系到平臺建設的可行性及可用性。

3.1數據處理包括數據鏡像復制、數據抽取/清洗/加載、數據建模等功能。

（1）數據鏡像復制

通過全庫鏡像及增量數據同步，將各數據源數據加載至數據倉庫明細層。

（2）據抽取/清洗/轉換/加載

將分布、異構的多個交通管理數據源中的數據抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

（3）數據建模

數據挖掘建模是指為特定的交通管理數據挖掘目的，做出一些重要簡化和假設，運用適當的數據挖掘工具獲得模型，然后利用該模型來解釋特定現象的現實形態，并預測對象的未來狀況，提供處理對象的優化決策和控制。數據挖掘的過程是一個不斷探索數據特征、建立和檢驗模型，利用適合的模型來解決實際問題的連續過程。建模是數據挖掘工作的核心環節，數據挖掘中具體使用哪一種算法建模，取決于數據集市的特征和需要實現的目標，在應用中，往往是對多種建模方法的比較和綜合。

3.2數據管理包括數據質量管理、數據處理流程管理、元數據管理。

（1）數據質量管理

通過探查數據內容、結構和異常，建立數據質量度量并明確目標，設計和實施數據質量業務規則、檢查異常并完善規則等，消除數據中存在的重復屬性、錯誤的值、錯誤的數據依賴、錯誤的計算、錯誤的范圍、缺少數據、缺乏引用完整性、稀少的實體解釋、多種數據源中缺乏數據對應、主鍵重復、源數據和目標缺乏同步、沒有理由的關聯、違反規則、不標準的格式等質量問題，切實提高數據真實性、完備性、自洽性。

（2）數據處理流程管理

數據處理對數據（包括數值的和非數值的）進行分析和加工的技術過程。數據處理包括數據采集、存儲、檢索、加工、變換和傳輸等過程。數據處理流程管理是指對數據處理過程進行規范化和科學化管理，確保數據處理工作高效性。

（3）元數據管理

采用集中管理方式，對技術元數據和業務元數據進行管理。技術元數據主要用來描述數據實體和數據處理過程中的技術細節和處理規則。如表結構、ETL映射關系等，技術元數據使用人員包括技術人員。業務元數據主要是對數據實體和數據處理的業務化描述，包括業務規則、業務術語、統計口徑、信息分類等。如KPI定義和報表統計規則等，業務元數據使用人員包括業務人員、決策領導等。

3.3多維度展現包括即席查詢、專業報表、多維分析、事件處理和門戶整合等。

（1）即席查詢

提供自助式即席查詢功能，用戶可以基于業務邏輯、按照個性化需要通過鼠標拖拽的方式查詢自己關心的內容，設置查詢條件，設置過濾，定義格式，套用模版，提高個性化信息查詢速度。

（2）專業報表

提供專業報表功能。報表支持多頁設計，支持多查詢，每個查詢支持多數據源。報表的制作、、共享、權限控制等采用純瀏覽器方式。用戶只需要在瀏覽器中通過簡單的鼠標拖拽、屬性設置等操作就能進行各種報表的制作，如列表、交叉表、圖表、儀表盤報表、KPI報表、復雜嵌套表頭的非平衡報表等。

（3）多維分析

提供多維立方體和關系型數據庫多維分析功能（MOLAP和ROLAP）。用戶在Web界面中通過簡單的鼠標拖拽等操作，就可以進行各種OLAP分析，如上鉆、下鉆、切片、旋轉、切塊等，同時支持用戶進行混合粒度的分析，支持用戶自定義子集，支持混合維度的分析，支持多維立方體之間的相互鉆取，多維立方體和關系型數據庫之間的鉆取，能夠使用用戶從宏觀到微觀的決策思路和過程。

（4）事件處理

提供系統自動監控和管理管理功能，并通過門戶新聞等方式通知和提醒用戶，能夠自動啟動業務處理，觸發各種任務的執行，如報表執行、新聞、數據庫刷新、系統備份等。

（5）門戶整合

提供將后臺分散的應用和信息在用戶界面上的整合功能，使用戶得到統一的入口。同時用戶可以方便地進行個性化定制，形成自己的門戶界面。

4、結論

研判分析平臺通過整理綜合應用平臺的相關數據和技術，為緝查布控及交通指揮等信息的接入提供兼容支持，進一步發揮信息在公安交通管理工作中的作用，提高了公安機關交通管理部門的數據分析能力和效率，降低了數據分析員的工作強度，節省了警力，為各級管理部門的科學決策提供理論依據和數據支持，具有廣闊的應用前景。

作者：劉偉祥 崔林山 單位：公安部交通管理科學研究所