時間:2023-11-02 10:21:04
引言:易發表網憑借豐富的文秘實踐,為您精心挑選了九篇大數據經濟分析范例。如需獲取更多原創內容,可隨時聯系我們的客服老師。
關鍵詞:大數據時代;宏觀經濟;機遇;挑戰;對策
一、前言
基于互聯網經濟時代背景下,計算機技術的廣泛運用促使數據信息能夠得到有效的收集與處理,但隨著計算機網絡體系的逐步完善,面對海量信息數據,如何實現對數據的高效快捷處理,以實現對信息資源的充分利用,成為各行業領域所面臨的一大挑戰。在此背景下,大數據技術的應運而生,為實現對這一問題的有效解決提供了出路,對于宏觀經濟分析而言,同樣離不開大數據的支撐,因此,這就需要針對宏觀經濟分析之需,實現對大數據的完善運用。
二、在宏觀經濟分析中大數據所呈現出的價值
主要表現在如下兩方面:第一,提供更加全面的數據信息。對于宏觀經濟分析而言,因所分析的內容多且廣,加上會受到諸多因素的影響,進而使得在實際開展這一工作的過程中,因數據信息的不全面、獲取信息的時效性低等,使得宏觀經濟分析的結果缺乏科學性。而將大數據進行運用,則能夠借助計算機網絡技術的支撐,實現對數據實時動態獲取,并以豐富數據的獲取來支撐該項分析工作得以實現高質高效落實。第二,豐富了分析方法。在傳統宏觀經濟分析中,主要財通的方法為統計分析模型,借助抽樣分析法來獲得樣本數據,并以此來作為整體,進而使分析結果難以與事實相符;而借助大數據技術的運用,則能夠借助海量數據信息的獲取,以計算機為支撐來實現對數據信息的自動分析,進而以總體分析法來提升分析結果的可靠性。第三,分析技術水平得以提高。在實施大數據分析的過程中,離不開計算機技術的支撐,借助結算及技術的運用則能夠以多種分析模型的搭建與多種識別技術的融入,來取代大部分人工分析工作,以技術的全面支撐來提高分析的準確性與效率性。
三、基于大數據時代下宏觀經濟分析所迎來的機遇與面臨的挑戰
1.機遇
在大數據時代下,大數據技術的融入使得該項分析工作的開展能夠獲得豐富數據支撐,并以相應分析方法與分析技術的創新,為提升宏觀經濟分析的效率與質量奠定了基礎。從所迎來的機遇角度看,對于宏觀經濟分析而言,借助大數據的融入,能夠實現對海量信息的實施動態化獲取,進而提升了信息獲取能力,同時,借助智能化獲取與分析的實現,能夠為實現準確的預測分析奠定基礎,同時,也在降低分析人員工作壓力與難度的基礎上,提升了分析的效率,為充分實現宏觀經濟分析的作用與價值提供了保障。
2.所面臨的挑戰
機遇與挑戰并存,對于宏觀經濟分析工作的實際開展而言,同樣面臨著巨大的挑戰,具體而言:第一,在互聯網時代下,信息的傳播打破了時間與空間的束縛,面對海量信息數據,對于該項分析工作的實際開展而言,要想能夠從中選取中有價值的信息,且能夠充分服務于該項工作的實際開展之需,難度極大;第二,在運用計算機網絡技術的過程中,需要確保數據信息的安全,但是,從數據安全保障工作開展的實際狀況看,相應能力還有待進一步提升;第三,在運用大數據來開展宏觀經濟分析工作,需要確保具備完善的專業人才隊伍,進而才能夠為充分發揮出大數據的作用與價值提供保障,但目前現有行業專業人才匱乏,難以滿足該項工作的實際開展之需,進而使得大數據的價值與作用無法得到充分實現。
四、充分發揮大數據在宏觀經濟分析中價值與作用的對策
大數據技術為當前宏觀經濟分析工作得以實現順利且高效開展提供了技術支撐,但是,從目前運用大數據的實際狀況看,一系列挑戰的存在,使得大數據難以實現作用的充分發揮,因此,這就需要結合實際所存在的問題,落實針對性的解決措施:
1.營造良好的發展環境
要想促使大數據能夠在該項工作中得到充分且完善運用,首先就需要從大數據運用的宏觀環境著手,因此,這就需要充分發揮出政府的作用。在實際踐行的過程中,政府要充分發揮出自身的主導作用,以大數據收集體系的完善打造為基礎,并針對經濟發展的重點領域,實現相應數據收集工作的有計劃落實,進而才能夠為宏觀經濟分析工作實現順利開展提供基礎性前提。具體而言:一方面,政府相關部門要進一步提升對大數據的重視程度,針對大數據給該項工作的開展所帶來的優勢作用進行全面分析,在此基礎上,從政策、資金等多方面加大對實施大數據的支撐力度,進而為實現大數據網絡環境的打造奠定基礎。另一方面,要加大對相關科研領域的重視程度,加大投入力度,確保相應研究機構能夠為實現大數據的進一步發展提供支撐。此外,對于政府而言,為了能夠促使大數據在宏觀經濟分析領域中實現充分運用,可鼓勵企業積極踐行信息化該該,進而以企業全面信息化管理的實現,為大數據的應用與發展創造良好發展空間與環境。
2.加大對數據采集與管理的力度
對于宏觀經濟分析工作的實際開展而言,需要以大數據的完善采集為支撐,并加強對數據信息的管理力度,進而才能夠為實現大數據價值的充分發揮奠定基礎,因此,在實際踐行的過程中,需要以完大數據采集與管理體系的搭建為支撐。從實際該項工作工作開展的現狀看,由于人員能力素質不足、技術水平偏低以及管理漏洞的存在等,使得難以充分發揮出大數據的優勢作用,而要想實現對這些問題的解決,則就需要針對大數據采集流程,以完善采集體系的制定為支撐,促使在開展宏觀經濟分析工作的過程中,能夠具備全面數據信息;同時,要加大對相應企業與個人,加大管理力度,制定完善的監管體系,針對不配合行為加大懲處力度,進而為實現數據信息采集工作的順利開展奠定基礎,此外,加大對相關人員的培訓力度,促使其能夠具備與之相適應的技能水平,以實現對大數據技術的規范且合理運用。
3.加大專業人才的培養力度
在借助大數據來開展宏觀經濟分析工作的過程中,由于行業專業人才匱乏,進而給該項工作的開展帶來了極大的阻力,因此,這就需要加大對行業人才的培養力度。在實際踐行的過程中,對于政府相關部門而言,需要以專項人才培養政策的制定與實施為基礎,促使全社會能夠提高對該領域人才培養工作的重視程度。同時,高校作為培養專業人才的主要陣地,應結合當前該行業領域對人才所提出的實際要求與需求,以相關專業的開設為基礎,實現專業課程體系的完善打造,進而來滿足社會對人才的實際需求。此外,對于企業而言,要針對大數據管理人員,加大培訓教育力度,以提升其專業能力與信息化技能素養,為該項工作得以順利開展提供有效支撐。
五、總結
綜上,基于大數據時代背景下,對于宏觀經濟分析工作的實際開展而言,需要在明確大數據在該項工作中所呈現出的價值與作用的基礎上,明確大數據所帶來的優勢,并針對在運用大數據于該項工作中所存在的問題,實現有針對性解決對策的落實。具體而言,要針對大數據的運用營造良好的環境,并在加大對大數據采集與管理力度的基礎上,加強對專業人才的培養力度,進而為充分實現大數據運用于宏觀經濟分析中的價值并提升該項工作的效率與質量提供保障。
參考文獻:
[1]徐寅.論大數據時代背景下宏觀調控決策的法治化[J].學術探索,2014,11:51-55.
[2]申紅艷,吳晨生,鐵梅,滕飛.大數據時代宏觀經濟分析面臨的機遇與挑戰[J].經濟研究參考,2014,63:19-25.
[3]劉濤雄,徐曉飛.大數據與宏觀經濟分析研究綜述[J].國外理論動態,2015,01:57-64.
文章編號:1004-4194(2015)07-122-02
大數據是以云計算為基礎,通過信息存儲、分享和挖掘,將大量、高速、多變的終端數據存儲下來并分析計算,尋求解決問題的有效方法。隨著軍隊信息化建設的不斷推進,未來軍事經濟活動都將以數據信息流的形式展現和保存,產生的數據量增長迅速,數據種類和格式日漸豐富。面對一個個數量龐大、種類繁雜的數據信息源,審計機關不僅要具備對海量數據的采集和存儲的能力,更重要的是能夠迅速分析和挖掘數據,從中找出審計線索、發現問題、尋求對策。
一、大數據的定義與特征
根據維基百科的定義,大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。對于大數據,美國著名的顧能公司給出了這樣的定義:是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。隨著大數據研究的深入,大數據概念的內涵和外延不斷地產生變化,業界對其定義尚未完全統一。目前主流的定義基本是從大數據的特征出發,試圖通過闡述和歸納這些特征來給出大數據的定義,其中比較有代表性的是4V。大數據的4個“V”有四個層面:一是數據體量巨大。從TB級別,躍升到PB級別。二是數據類型繁多。包括網絡日志、視頻、圖片、地理位置等信息。三是處理速度快。1秒定律,可從各種類型的數據中快速獲得高價值的信息,這一點也是和傳統的數據挖掘技術有著本質的不同。四是只要合理利用數據并對其進行正確、準確的分析,將會帶來很高的價值回報。業界將其歸納為4個“V”――Volume(數據體量大)、Variety(數據類型繁多)、Velocity(處理速度快)、Value(價值密度低)。大數據分析相比于傳統的數據倉庫應用,具有數據量大、查詢分析復雜等特點,強調將數據結合到業務流程和決策過程中,部分類型的數據必須實時分析才能對業務產生價值。
二、大數據背景給軍隊審計數據分析帶來的機遇和挑戰
(一)大數據背景給軍隊審計數據分析帶來的機遇
1.軍隊審計數據分析的認同感大為增強。軍隊審計部門作為綜合性的經濟監督部門,一直秉承數據說話的傳統。審計報告中無論是綜合評價,還是揭示問題,無一不是以數據為支撐的。在大數據背景下,海量數據離散地存儲于不同信息系統中。可充分利用數據倉庫、聯機分析、數據挖掘和數據可視化等技術,對這些數據進行關聯并深度挖掘分析,科學評估經費的使用情況和法規的實施效果,從而得出客觀的審計結論。所有這一切都將得到各級黨委和被審計單位的高度認同,從而進一步提升軍隊審計自身的地位。
2.軍隊審計數據分析所需的基礎數據的獲取將變得更為便利。在破除了軍隊內部協同思想理念上的障礙后,隨著大數據技術發展,跨越系統、跨越平臺、跨越數據流結構的技術將使軍隊內部縱向、橫向部門得以流暢協同。軍隊審計部門不再需要“點對點”地與被審計單位進行聯網,在內部局域網設定的許可權限內,可以直接查詢和利用相關數據信息,極大地節約了審計成本;同時由于利用大數據技術,數據處理及分析響應時間將大幅減少,審計工作的效率將明顯提高,可以同時對多個類別、多種領域的數據進行分析、處理。
3.軍隊審計數據分析將有助于提高黨委決策的科學性和準確性,推動預測預警和應急響應機制建設,更加有效地規范軍事經濟活動。審計人員可以通過對歷年海量數據的統計分析,挖掘出軍事經濟活動的特點規律,對各類違規違紀行為進行總結歸納,為黨委建章立制提供參考依據;同時還能科學地評估管理規章的執行效果,從而幫助各級黨委不斷發現問題、整改落實。隨著審計分析的進一步深化,審計分析將超越傳統的數據分析方法,不但是對純數據可以進行分析挖掘,對財務賬表、報告等都可以進行深度挖掘、人工智能。
(二)大數據背景給軍隊審計數據分析帶來的挑戰
大數據在給軍隊審計信息化帶來機遇的同時,也帶來前所未有的挑戰:一是實現資源統一規劃和使用,必須以數據編碼和信息標準統一、相互之間兼容互聯為前提。由于目前缺乏制度依據,部門間橫向協同難,原有的“信息孤島”將給審計機關獲取審計數據以及進行持續化審計造成困難。二是面對數量龐大、種類繁雜的數據信息源,審計機關不僅要具備對海量數據的采集和存儲的能力,更重要的是能夠迅速分析和挖掘數據,從傳統的“經驗依賴”轉化為“數據依賴”,審計人員的數據駕馭能力將受到考驗。三是審計業務流程大多以數據信息形式展現,資金流向更多體現為數據信息流的交換,使得違規違紀行為更加隱蔽和多樣,微小的數據變動就可能造成經濟損失。以往僅限于重點人員和財務的審計已經不能滿足需要,抽樣分析以及單一的財務賬目分析也難以發現微小數據異常,這就要求審計機關對審計對象進行全面覆蓋。四是審計機關作為軍事經濟運行安全的免疫系統,不僅要對已存在的問題進行查處和修補,還要對潛在的風險進行及時的揭示和抵御,更要通過大數據這個金礦,從更高層面、更全范圍、更廣視角為上級黨委提供系統性、綜合性、前瞻性的審計建議。
三、大數據背景下軍隊審計數據分析的策略
(一)明確工作目標導向,實施數據基礎式審計
傳統的以審計組劃分的分散式審計模式已不能適應大數據背景下審計數據分析工作要求。首先,當前軍隊審計工作要建立健全制度、整合審計資源,結合審計人員的專業理論素養、實踐工作經驗、數據處理能力等因素,著手組建數據集中分析模式團隊。其次,明確審計工作目標導向,按照“總體全面分析、重點業務分析、重點事項分析”逐層遞進的思路,以系統全面的數據信息源為基礎,堅持“面向業務需求、指導審計實踐、推動數據分析”的原則開展審計數據分析工作。最后,要理清軍隊審計數據分析的工作思路,運用信息系統實施數據基礎式審計方法,全面分析被審計單位在經濟活動中存在的問題與不足,為軍隊審計工作的順利開展提供數據支撐和技術保證。
(二)研判后臺數據結構,掌握重點數據資源
在大數據時代,軍事經濟數據將呈現指數增長,挖掘重點及敏感數據審計的難度日益加大。做好審計數據的掘取、存儲、處理與應用,對提高審計效率、實現分析結果的精準化具有重要作用。通過檢查被審計單位內部控制制度,審查單位內部對不同業務數據的使用管理是否到位,數據庫管理和安全操作制度是否完善,重點領域數據庫常態監管措施是否嚴格,移動設備安全使用規程是否執行;依據數據庫設計文檔和數據注釋等媒介,研究論證后臺數據結構,確定重點、敏感信息數據庫范圍;采取穿行測試法、重新執行法、代碼審查法、文檔審查法等技術手段深入挖掘,切實掌握重點事項、信息、賬表和報告間的勾稽關系。
(三)運用挖掘型分析技術,開展數據深度分析
目前軍隊審計中應用較多的是查詢型分析和驗證型分析,無法滿足深刻揭示軍事經濟活動內在規律的現實需要,必須要引入挖掘型分析技術。挖掘型分析是利用數據倉庫和數據挖掘工具進行的審計分析,主要有分類、回歸分析、聚類、關聯規則等方法。運用挖掘型數據分析技術,首先要做好審計數據的分類、存儲、快速調用等工作,整合分析數據資源,搭建云數據存儲平臺,完善數據整理和研判機制,實現重點數據庫間的兼容互聯,共享審計云平臺服務器運算能力資源。其次,要研發數據審計方法和分析工具,運用移動辦公、云計算等技術對海量數據進行遠程分析,深度分析審計疑點及問題線索,進而實現數據分析結果的精確化。
【關鍵詞】 大數據 云計算 技術應用 分析
因為互聯網進程的推進,讓信息時代中,數據成為了主流探討的問題。由于數據的處理與分析,能夠得到相應的操作數據。因此,在互聯網時代中,如何更好的進行數據處理以及資源整合,是目前數據時代的主要處理方式與手段。而大數據時代,則對于數據的處理和整合配置要求更高,對于處理的效率也有一定的要求。因此,隨著大數據時代的到來,對于傳統的數據處理方式以及處理效率,已經無法滿足現代人們對于數據處理的要求。因此,為了能夠在大數據時代以及環境下,能夠更好的實現對于數據的處理效率。那么,采用云計算技術是必然的選擇。云計算機技術可以實現高效的應答處理,基于互聯網進行數據的訪問,并且能夠進行合理的資源配置,從而實現高效率的大數據環境下的數據處理。
一、大數據環境與互聯網數據分析
隨著信息時代的進程逐步加快,人們的生活與工作,更多的以數據形式來體現,從而實現了數據的時代。在網絡數據不斷的遞增,并且出現了數據龐大的現象的時候。谷歌最早通過大數據的概念,來形容目前的大數據時代。因此,大數據時代的到來,與互聯網數據的呈現息息相關,并且起到了非常重要的作用。那么,對于大數據而言,其存在哪些問題和與人們生活與工作相關的內容呢?互聯網數據與大數據而言,兩者又有著怎樣的必然關聯呢?
1.1 大數據時代以及大數據環境分析
大數據實際上在一些科研領域中一直有這樣的概念,但是由于科研原因,其被人熟知的范圍相對較小,屬于專業性領域的名詞。但是,隨著互聯網時代的到來,人們對于互聯網的熟悉,造成了人們對于數據的概念更加深刻。而互聯網環境下,數據是最為主要的資源和呈現方式,這也在一定程度上實現了人們對于互聯網數據的認識。因此,由于互聯網的推動作用,造成了人們現代所熟悉的大數據時代。那么,大數據時代的代表和標準是什么?
首先,大數據是一種數據的表現形式;人們在互聯網時代中,越來越重視數據的作用,由于信息的交互以及遠程的溝通,實際上都是網絡數據在進行交互,從而形成現在網絡化的大數據時代。那么,大數據必然是數據的一種集中表現形式,一種宏觀的概念。大數據的目的是通過對互聯網數據資源的整合,實現最佳的數據環境,從而進行相應的數據處理。
其次,大數據時代的標準就是數據整合與資源合理分配;大數據時代,數據的整合非常重要。由于數據的交互一般是以零散的方式進行,非常難以得到更好的應用。因此,采用資源合理分配以及數據整合,是非常有必要的。
最后,大數據的代表既是互聯網數據;大數據原本就是專業學術領域的名詞,而由于互聯網的發展,帶動了大數據的概念開始轉移到互聯網世界中,從而被人們所熟悉,并熟知。
1.2 大數據環境與互聯網數據分析
互聯網是基于數據而建立起來的,不管是互聯網的資源還是互聯網的協議,實際上都可以采用數據的形式進行呈現,從而凸顯數據的重要性。因此,對于互聯網數據而言,是形成大數據環境的基礎。實際上,在大數據沒有從科研領域進入互聯網領域的時候,就已經開始了意識到了數據的龐大性。互聯網產生的數據是非常龐大的,那么在信息時代的發展進程中,如何合理的應用這些數據,以及如何更加有效的利用這些數據,成為了目前互聯網時代的一種管理模式。當大數據環境已經形成并得以蓬勃發展的時候,相關人員開始注意到了大數據的重要性,并且明確了大數據環境下,互聯網數據的可行性以及價值。因此,對于大數據環境下的互聯網數據而言,可以從以下幾個方面進行分析:
第一,大數據環境下,互聯網數據的價值得以體現;互聯網的數據一般情況下,是為了能夠體現網絡資源以及資源之間的交互,尤其是在信息交流的過程中,數據的價值體現非常重要。但是,由于互聯網的交易價值開始不斷被重視,從而在一定程度上影響了對于數據的價值參考。也就是說,實際上大數據環境下,互聯網的數據的價值得到了顯著的提升?;诖髷祿臋z索技術得以開發和應用,就是為了能夠更好的方便對于數據的檢索和參考,從而有效的提高其應用價值。
第二,大數據環境下,基于大數據的互聯網數據分析更具實際意義;大數據環境下,實際上更加注重對于互聯網數據的應用。一些交易網站的建設,一般也都是基于大數據而進行設計與開發的。目前,隨著計算機互聯網技術的不斷深入,讓更多的互聯網使用用戶開始注意到了大數據的重要性。通過大數據的檢索可以獲取非常龐大的數據信息,根據這些數據信息就可以進行相應的數據處理,從而保證網站的瀏覽量以及網站的價值。
總之,大數據環境下的互聯網數據是非常重要的,并且在一定程度上取代了傳統的互聯網數據理念。
二、大數據環境下的云計算技術應用
基于以上分析,對于大數據時代以及大數據的環境,都有了非常細致的了解。那么,對于大數據的環境下,如何應用云計算技術呢?采用云計算技術,有著怎樣的優勢呢?
首先,對于云計算技術的應用,主要是為了能夠提高大數據環境的處理效率。云計算是一種廣義性的概念,云實際上就是網絡的代名詞。采用云計算的方式,實際上就是嚴格遵守網絡的計算方式,對數據進行相應的計算,從而保證對于大數據的網絡化價值體現。
其次,大數據環境下,采用云計算技術,更重要的是為了保證數據的安全防護。由于大數據環境的出現,讓網絡數據開始變得更加復雜,從而出現了諸多的網絡數據安全問題。尤其是基于大數據的一種檢索方式,會讓互聯網的使用者的安全信息受到侵犯,從而影響了數據的使用安全。而采用云計算的方式,則可以在嚴格遵守互聯網的模式環境下,針對性的進行數據檢索,而不會將用戶的信息隨意的進行呈現,從而降低了互聯網用戶的安全系數,給大數據環境的發展,帶來了一定的影響。
最后,大數據時代是網絡信息發展的結果,因為互聯網的廣闊的應用范圍,從而造成了在大數據環境下,可以最大限度的獲取最多的信息。但是,正式由于數據的處理過于龐大,從而需要一定的計算方式,來提高數據的處理效率。此外,對于大數據而言,已經不僅僅是數據的龐大的單一表達。實際上,為了大數據也已經融合進入了處理效率的因素,也就是單位時間內處理信息的數量。因此,基于以上的需求,采用云計算的方式,是非常必要的。
三、結語
本文分析了大數據的基本概念以及在互聯網環境下,大數據時代的到來以及大數據環境的一些特點,從而解析了為什們需要使用云計算技術的原因。在大數據環境下,互聯網數據的價值得以體現,并且成為了最具參考價值的實用性數據。基于大數據的相關技術開發,非常普遍,并且得到了廣泛的應用。例如,在搜索引擎中,就出現了基于大數據的搜索機制,從而讓數據信息更方便被檢索,從而實現了數據的價值體現。當然,設計云計算的原因不僅僅是為了能夠讓大數據環境下對于數據的處理更加高效與便捷。實際上,也是為了能夠更好的進行數據的安全防護。由于大數據的相關處理方式,讓用戶的網絡信息開始出現了一定的危機。那么,云計算的處理方式,是會嚴格按照互聯網的訪問機制進行,從而降低了用戶的信息風險,提高了大數據的應用范圍和應用價值。
參 考 文 獻
[1]王佳雋,呂智慧,吳杰,鐘亦平.云計算技術發展分析及其應用探討[J],計算機工程與設計,2010(20):4404-4409
關鍵詞:大數據統計分析;經濟管理領域;運用
統計應用作為數學的重要領域,在大多數情況下,數據被收集并且通過一定方法在系統中存儲,重要策略被記錄,并應用于其他領域。隨著數據恢復方法和統計分析方法的逐步集成,大數據的統計數據分析方法在財務管理中變得越來越重要。面對當今全球化的壓力和經濟市場的激烈競爭,使用財務管理的統計整合是提高有效管理效率,優化資源分配和科學行為的有效步驟。通過市場經濟的發展和經濟水平的不斷提高,數據集成和財務管理水平運用了大數據的統計分析。在建立大規模數據的經濟增長政策時,技術在宏觀經濟研究中起著重要作用。大數據統計分析的作用正在增加,其在管理中的用途正在進一步擴大。顯然,加強對經濟發展大數據統計分析技術的使用對促進經濟增長和提高管理效率非常重要。
一、大數據統計分析方法在經濟管理領域運用的意義
為響應市場環境和公司治理內容的變化而促進使用公司治理統計數據的需求主要體現在兩個方面:
(一)宏觀經濟方面發展有若干規律。為了尋找有關經濟發展的規律,強大的數據分析技術在宏觀經濟學中的應用非常重要。一方面,大數據分析統計數據用于從宏觀經濟發展行業收集數據,對相關行業信息進行實證分析,并調查行業發展和行業問題。使用SPS,Stata和其他數據分析軟件,中國擁有最重要的發展法;同時,發現工業發展規律,規范工業發展,開辟新的經濟發展方式也很重要[1]。
(二)企業經營管理方面1.提升企業競爭力的必然要求當前,業務發展的競爭越來越激烈。競爭壓力主要歸因于國內市場經濟帶來的經濟化以及國內市場競爭激烈加入的外國公司的影響。公司必須面對激烈的市場競爭。大眾市場信息的統計分析將調整生產和管理策略,并為業務發展的戰略調整作出有效的決策。2.提升企業管理水平的必然要求一方面,諸如運營管理、財務管理、風險管理和企業資源管理等相關任務變得越來越復雜。需要統計分析方法來對豐富的業務操作信息進行分類和匯總,為業務管理決策提供有效的信息。同時,企業需要不斷滿足產品和服務生產方向的政治要求。由于需要與相關部門合作,例如運營財務管理、規避財務風險,因此需要建立相關部門的統計數據,以提高決策效率[2]。
二、大數據統計分析方法在經濟管理領域的運用
利用大數據的統計數據分析技術研究宏觀經濟發展政策,對促進行業發展至關重要。另一方面,如何獲取有關復雜數據管理的重要信息,在業務流程和管理方面為公司制定有效的決策是重中之重。關鍵在于掌握財務管理的大數據分析方法,并使用大數據統計分析技術來分類和提供業務流程管理,隱藏的規則以及來自異常數據點的大量信息。為了應對突況,管理人員需要制訂正確的決策計劃。本文主要討論宏觀經濟應用管理領域的統計數據分析方法,以及業務管理、財務管理、風險管理和管理的六個方面。如:
(一)宏觀經濟方面關于宏觀經濟產業的運作和發展有若干規律。為了找到宏觀經濟發展方法,統計分析技術對于穩定經濟增長和調查潛在的經濟危機很重要。當前,不僅學者,業務經理也開始了解計算機技術的使用,并開始通過統計分析來發現工業發展中的若干問題,學習工業發展的原理。為了找出答案,我們選擇了相關的影響因素并采取了相應的行動,采取措施提高工業發展效率。
(二)企業運營管理方面通常,在日常工作程序和工作相關領域中存在某些特定的業務管理和操作規則。另一方面,通過將統計信息應用于業務的運營和管理,公司可以通過分析大數據的統計信息來獲得規律。這將幫助公司節省一些資源,避免重復的任務并節省公司的業務資源。如果該政策是從科學的統計評估階段得出的,則情況與正常情況不同的企業高管應仔細考慮潛在的風險。
(三)企業營銷管理方面企業需要建立大型數據管理系統來收集有關企業提供的產品或服務的市場交易信息。因此,消費者的熱點必須與受管理的信息系統對齊,以使其隱藏在協同交易信息中。確定消費者對需求的偏好并確定消費者需求。公司的主要產品和服務根據消費者的喜好運作,可以滿足消費者的需求,替代市場上的非反應性產品和服務。同時,開發新產品和服務企業領導者可以提供有效的決策信息,并為消費者創建新的熱點[3]。
(四)企業財務管理方面應用管理統計信息。它通過審查有關生產過程和運營的統計數據(尤其是財務數據),進行定性和定量分析,幫助評估相關活動,例如商業投資。財務管理是開展業務必不可少的部分,這對于減輕公司的財務風險和提高公司資源分配的效率至關重要。通過統計分析對商業經濟數據進行分類和分析,可以為高管、投資者和其他相關利益相關者提供有效的決策信息。
(五)企業人力資源管理方面將統計應用于公司的人力資源管理,并使用統計分析技術結合公司業務管理部門的特征,選擇適當的方法來提高效率。人力資源管理很重要,人才基本上是企業的無形資產,在部門保留相關的人力資源是業務發展的關鍵?;貧w站評估法用于預測企業發展的人力資源需求,動態分析法用于根據狀態預測人力資源的變化。將這兩個方面結合起來可以大大提高業務資源的效率。
(六)企業風險管理方面使用統計分析技術對業務流程中的大量業務信息進行分類和分析,發現隱藏的規則和數據差異。重要的是,業務主管需要進行預測,做出正確的決定,解決事件并發現潛在危險。意思是如果統計數據分析有些奇怪,則需要找出業務流程中具有的某些規則,因此業務主管需要尋找更多異常條件,尤其是財務管理,要注意關注狀態的變化。另一方面,對公司財務信息進行統計分析是公司規避財務風險的有效手段之一。
三、完善大數據統計分析方法在經濟
管理領域運用的措施在本文中,我們將了解如何從六個方面分析大數據的統計數據:宏觀經濟活動、業務管理、風險管理、財務管理、資源管理和財務管理人員。這被認為是財務管理數據大規模統計方法的一種改進。必須在三個方面進行現場應用:
(一)社會宏觀經濟層面盡管存在宏觀經濟法則,但根據過去的經驗,由于缺乏安全可靠的數據和分析方法,宏觀經濟法則的分析則一直被認為是偽科學。大數據分析技術提供了探索宏觀經濟法則的機會,大數據技術使用數據創建系統,而使用許多信息技術的科學分析是宏觀經濟法研究中的重要一步。特別是,某些行業使用行業信息和對經濟趨勢預測的全面分析來幫助識別和克服復雜的工業發展挑戰,可以提高宏觀經濟發展效率。
(二)企業經營管理層面在公司上載和數據受限的情況下,企業很難優化管理功能以提高性能[2]。由于業務經理的管理理念和管理水平受到限制,因此很難斷定業務開發操作和管理流程是否存在問題。統計分析技術可用于計算和評估每個關鍵決策或業務戰略適合性的有效性。如果由于大數據分析技術而導致預期的數據銷量存在矛盾,該公司可以調整其總體戰略并進行業務變更以優化管理理念。
(三)行業與行業之間存在著一定的鴻溝無論是快速消費品行業、食品行業還是大型公司,其經營理念和經濟結構在公司治理方面都存在根本差異。統計數據分析技術使公司能夠了解整個行業的消費者需求的性質,分析社會經濟狀況,能夠了解共同的業務條件和業務發展情況,并優化或區分劣質產品。在某些情況下,此更改是提高產品價格的高級更改,如果消耗量和消耗品減少,則可以降低產品價格。產品必須能夠升級以滿足顧客需求。產品行業、食品行業或大型行業具有不同的經營理念和財務結構,還在進行公司管理。但是,各個行業的業務方向取決于消費者的需求。換句話說,公司開發了產品的功能并使產品的功能適應消費者的需求。對于公司而言,通過優化生產結構并提供更多定價和功能來說服更多消費者也很重要。
(四)企業財務管理層面財務管理貫穿公司治理的整個過程。公司財務管理非常有效,但是存在諸如財務管理的巨大風險之類的問題。對公司財務信息進行統計分析是防范財務風險的有效手段之一。公司需要管理其日常收入和支出,并進行大規模會計處理。企業可以使用大數據分析技術來監測財務管理功能并確保標準化業務的財務安全。利用統計分析技術和大數據,公司可以預測潛在的市場和行業風險,以提供最佳解決方案,還可以提供分析大數據的方法,可以跟蹤異常并快速發現異常。
四、結語
本文首先從宏觀經濟方面、企業經營管理方面等兩個方面對大數據統計分析方法在經濟管理領域運用的意義進行了分析,然后從宏觀經濟方面、企業運營管理方面、企業營銷管理方面、企業財務管理方面、企業人力資源管理方面以及企業風險管理方面等方面對大數據統計分析方法在經濟管理領域的運用進行了分析,最后從社會宏觀經濟層面、企業經營管理層面、行業與行業之間存在著一定的鴻溝以及企業財務管理層面等方面提出了完善大數據統計分析方法在經濟管理領域運用的措施。大數據分析技術被廣泛用于宏觀經濟預測、業務管理和公司風險管理,它在優化公司治理和運營結構,有效改善公司治理以及提高公司統一性和核心競爭力等方面發揮著重要作用,可以使公司在激烈的市場競爭中有一席之地。
【參考文獻】
[1]張琳.大數據統計分析方法在經濟管理領域中的運用淺析[J].營銷界,2019(38):291-292.
[2]杜珉.大數據統計分析方法在經濟管理領域中的運用探析[J].山西農經,2019(12):27.
[3]陳雪琴.大數據統計分析方法在經濟管理領域中的應用[J].山西農經,2019(5):37.
[4]陳文怡.大數據挖掘電力系統項目管理中理論的應用[C]//2018年6月建筑科技與管理學術交流會.
大數據是什么?
雖然大數據聽著是一個很高科技的詞兒,其實它早就滲透到你我的生活中,比如,你每天在網上看視頻時,視頻網站推薦給你的視頻就是基于大數據。當你在淘寶購物時,網頁邊欄推薦給你的也是基于大數據。要說明白大數據,首先我們要從一個大家都熟悉的簡單概念說起,那就是:數據分析?!皵祿治觥笔且粋€現代詞匯,但是利用數據分析的結果來指導行動,卻是古往今來一直都有的一個理念。網上有一段子:
帶兵打仗的時候,有個特別的習慣,那就是每次戰斗結束后,都要用小本子記下所繳獲的武器種類、數量等數據,樂此不疲。大家對此都不以為意。
有一天,在又一次遭遇戰后,士兵在給他念繳獲的武器數量時,他突然叫停,然后興奮地指出,這次遭遇戰很可能遇到的是敵人的指揮部隊。原因是,這次繳獲的小槍與大槍的比例高于普通的戰斗,小車與大車的比例以及軍官與士兵的比例也都高于平均,因此他得到了這個結論。
在這個數據的指導下,部隊一鼓作氣,追擊逃脫的部隊,成功的把敵人的指揮官抓獲。
如果這個故事屬實,那么這個可能是筆者知道的最早的基于嚴謹的數據分析來指導行為的例子。進入現代以后,人們對數據的分析應用就更加頻繁。企業在做戰略規劃的時候要進行數據分析,公司在做營銷推廣方案時也要做數據分析。那么,“大數據”和前面說的“數據分析”之間有什么關系和區別呢?
從粗獷到細致
我們知道,數據分析需要有幾個步驟:采集、統計、分析,而數據的總量直接和采集相關。在互聯網興起之前,人們采集數據的方式無外乎是人為觀察和記錄,當然,后期也有利用傳感器來輔助記錄。但是,互聯網技術近幾年的發展,卻使得數據的采集水平記錄達到一個史無前例的高度。在互聯網時代之前,人們只能統計到一些基礎的用戶信息:年齡,住址,電話,婚姻狀況等。到了互聯網時代,我們可以收集到一個用戶手機上裝有什么應用,喜歡上什么網站,購物記錄,在某個頁面上停留了多久,鼠標在頁面什么位置點擊。而移動互聯網時代的來臨,使得更多動態數據可以被采集,比如用戶的睡眠時間、運動量、位置、在商場內的移動路線、打車次數、心率等等信息。這些數據最終匯聚在一起,形成了一個非常龐大的數據庫。
以帶兵打仗為例,假設他的小本子有500頁,每頁上記滿1000個字,正反兩面都寫,那么總的數據量也就約=2M。這個和互聯網時代動輒上T上P的數據量比,基本上是小巫見大巫。(1P約=1000T,1T約=1000G,1G約=1000M,一個大型視頻網站1秒鐘就能產生幾百M的用戶數據)。這些數據海量數據的集中,就形成了“大數據”的最重要的一個特征:多維度的、細致的、海量的數據。
注:“海量”并不是大數據的必要條件,它更多是因為數據的維度多,粒度細,而導致的數據量的增大。
從統計到預測
得益于先進的機器學習算法,使得我們對大數據的使用,從統計一個數據結果,到利用結果和特性來推斷一個人可能進行的行為。
《BigData》一書中提到一個很有意思的例子:一個父親突然收到一個百貨公司發給他的關于嬰兒用品的傳單,這個父親非常憤怒,因為他的女兒才只有16歲?但是,過了幾天后,他卻上門道歉,因為,經過和他女兒細聊,發現他的女兒確實懷孕了。
那么,百貨公司是如何預測一個人的行為呢?像上文所說,通過互聯網,我們可以采集到大量用戶的種種信息,包括固定的屬性,和一些已有的行為;比如最近買了什么。經過對采集到的數據分析,發現購買嬰兒用品的人有如下特征:年齡范圍在14~40、買嬰兒用品前幾個月購買大量酸味食品,等等等等。那么,得到這個結論后,再來一個有類似特點的顧客,百貨公司就可以猜測,她可能在未來一段時期內,對嬰兒用品感興趣。于是便向其發送對應的廣告。
再比如,智能推薦廣告:視頻網站經過統計發現,點擊了啤酒廣告的人,有如下特點:看體育類戰爭類視頻較多,看韓劇較少。那么很顯然,下次再有啤酒廣告時,把它們投給這樣的用戶就更有效一些。
注:上面舉的這兩個例子,只是為了形象的說明大數據預測是怎樣運作的。在實際應用中,大數據分析引擎要分析的屬性比這個細致的多,使用到的算法也比這個復雜的多,而且得到的很多結論,往往是沒有直觀的物理意義的一個組合概率模型。
從慢到快
上述兩個特點基本上已經把大數據的形態給刻畫了出來,但是,要到實際中應用,還需要再加一個特點:速度夠快。
數據收集起來之后,要使用的話,就離不開計算。當數據的量級在幾個M時,可能一個計算器就能滿足統計需求。當數據量達到幾個G時,就必須使用一臺計算機來計算。而當有幾個T幾個P的數據擺在你面前時,一臺計算機恐怕已經難以勝任,很幸運的是,我們有了云計算的概念。也就是說,將一個計算任務,分配給”云端“的好多臺計算機同時進行處理,從而達到對處理時間的苛刻要求。
云計算技術的發展,使得在大尺度上計算海量數據成為可能。如果沒有足夠快的處理速度,我們收集起來的用戶消費數據,算了半年才出一個結果,那估計用戶的消費習慣、社會時尚已經是時過境遷。除了處理速度快,還有一個因素也要快,那就是信息采集反饋的速度。比如,用戶電話打進來的瞬間,我們是否立刻收集到該用戶相關信息,然后給出用戶可能的問題預測?產品投放出去后,我們是否可以很快收集到銷量信息以及對應的用戶數據?這一切,都決定了我們是否可以有效地將大數據的統計結果應用到商業活動中,最終使大數據從理論的圣壇上走下來,產生了實際的商業價值。綜上所述,大數據并不是玄乎其玄的東西,它只是在幾種現代技術的推動下,將數據分析做到了極致的結果。
大數據的應用場景
大數據誕生以來,在各個領域都有非常多的應用,比如改善航線、預測污染、優化醫療等等。這里,我們把應用方式分成兩大類,分別介紹一下。
精準的廣告投放
我們知道廣告界的一個難題“如何找到對的那一半人”。而大數據正是可以用來更加精準的定位廣告的目標用戶。廣告投放包括第三方廣告渠道和自有廣告渠道兩種:
第三方廣告渠道由于是第三方操作的,所以對于廣告主來說只能去選擇合適的渠道種類。第三方渠道總體上可以分為兩大類:互聯網廣告渠道(視頻網站、門戶網站、廣告聯盟等)和非互聯網廣告渠道(戶外廣告、樓宇廣告、電視廣告等)。目前,互聯網廣告已經在大數據精準投放上走的比較遠,比如前面說的視頻網站根據用戶點播行為,來投放合適的廣告類型。所以,在這樣的渠道上投放廣告時,只需要廣告主能和渠道方合作定義好自己的用戶群,便可以將廣告投放的比較精準。
非互聯網廣告渠道,因為沒有特別有效的用戶細分手段(廣告只能投放到人群,而非個人),投放形式本身就限制了其精準的效果。對此,未來的一個出路就是,各種路牌廣能采集到附近用戶的信息,來動態調整廣告內容。
比如,沒有廣告牌都有一個iBeacon設備,會和打開iBeacon連接的手機產生互動,根據手機信息,反查到用戶的性別,從而決定顯示什么廣告。
而對于自有廣告渠道來說,我們可以操作的空間就比較大。拿短息渠道為例,很多公司都會通過手機短信,給用戶發送最新的促銷信息,但是,以往這種信息通常是全量發送,或者是根據一定的可視化的分類(例如,信用卡的消費額度)來分類發送促銷信息。而我們有了大數據的武器后,就可以對用戶群進行進一步細分,甚至是1對1的發送。比如,信用卡公司可以根據用戶的刷卡的頻次、場所、購物內容、還款的及時性、消費時段等等來作為分析因素,來預測用戶對什么樣的商品感興趣,從而發送相應的商品廣告。再比如,化妝品公司,可以根據用戶的年齡、工作內容、作息習慣、娛樂場所、季節、婚育狀況、衣著習慣、朋友圈話題等等,來預測她可能更關心什么樣的皮膚護理問題,從而推薦對應的化妝品門類。通過對多維度、細致的信息分析,使得廣告推送更有針對性
個性化的用戶服務定制
個性化服務要解決的問題是,不同用戶服務內容和定價的個性化。以我們熟知的車險為例,目前的定價方式,只是簡單的根據用戶的年齡、駕齡、婚姻狀況、車價和以往的車險理賠記錄等顯式的屬性來進行區分,而在大數據時代,則可以把這種區分做到極致的個性化。比如,我們可以統計用戶的駕駛習慣(駕駛時間,單次駕駛時長)、駕駛環境(常去路線的交通狀況、總體事故率、季節天氣)、身體狀況(生病頻率等),來更加針對性的對用戶的理賠概率進行估計,從而得到更加合理的投保額度。再比如,對于培訓機構來說,可以分析特定屬性的用戶(年齡、性別、各種成績等),對特定類型的授課方式或者授課內容的成績反應,來有針對性的進行課業的搭配,從而使每個用戶的成績達到最大化。同樣,醫學領域,也可以利用大數據來進行個性化疾病預防和治療。智能穿戴設備為這一切打下了堅實的基礎:
手環,監測你的運動量、心跳變化
智能血壓儀,每天監測血壓
體重秤,每天體重變化
空氣凈化器,監測環境的污染情況
上網習慣,檢測你的作息時間
訂餐記錄,檢測你的飲食情況
如果以后有了更方便的血液檢測手段,每天能獲得血液檢測記錄,那將是更有效的數據
這些數據分散開的話,最多只會影響對人們的生活習慣,比如,體重重了,要少吃多運動。但是一旦數據全都被打通,結合大數據分析技術,就可以預測出每個人的疾病發病概率。對每個人治療時,也可以在藥物和用量上變得更加有針對性。
機遇與挑戰
大數據應用在國外已經興起很長時間,但是在國內,卻是剛剛起步階段。一方面是國內對數據收集的管控比較嚴,導致數據基礎設施沒有跟上。而更重要的,還是人們對大數據的理念還沒有完全吃透,大部分大數據應用的思想,只為專業的大數據工程師所掌握。而就在我們還沒有準備迎接傳統互聯網大數據的潮流時,近幾年,移動互聯網有了勢如破竹的發展。大部分公司,移動端業務,都已經超過了PC網站,這給大數據帶來了新的機遇與挑戰:
更豐富即時的信息
更快的處理速度要求
【關鍵詞】云計算環境 大規模數據處理 應用 計算平臺
一、引言
隨著世界經濟的快速發展,科學技術水平的不斷提高,計算機技術日新月異,互聯網時代信息與數據處理技術發展相當迅速,越來越多的行業領域在日常事物的處理中運用到了計算機技術對大規模的數據進行處理,如鐵路公路等交通售票業務、各大型電子商務平臺的交易處理、人口普查、商業貿易等,數據處理可比較輕松的達到GB,TB,例如淘寶網每天的交易數據就很多,這些就需要運用到計算機的大規模數據處理技術。云計算技術作為新一代的計算模型代表,可以通過網絡計算、效用計算、服務計算等技術進行綜合演化,具有處理上述問題的關鍵技術特點。
二、對大規模廉價計算平臺的研究
針對目前對大規模數據信息以及計算資源的特征及對大規模數據進行數據處理的要求,可以對眾多閑置的計算機資源進行重新組建,組建成大規模的廉價集群計算平臺,在原有的云計算基礎上,對Hadoop進行資源整合,采用MapReduce編程規模,將大規模的數據處理任務進行相應的任務分解,分解成很多的細粒度的子任務,然后在多個計算節點上對這些子任務進行計算處理,從而實現在云環境下對大規模數據進行處理的能力。
當計算資源和存儲資源虛擬化被創建之后,需要一個與其對應的虛擬化的解決方案對其進行處理,從而需要創建一個大規模的計算平臺對云環境下的大規模數據進行處理,作為大規模數據處理的一個重要環節,這一過程可以通過以下幾個步驟進行實現:
(一)對數據處理所需的資源進行參數化的配置
各用戶在對計算節點資源池進行部署和使用前,首先都要對需要部署和使用的計算資源進行選擇,并對相應的參數進行設置,通過這一選擇部署的過程獲得自己所需要的計算資源和存儲資源,提供者則需要在不同的操作模式中,對底層計算資源屬性進行部署,從而為用戶提供需要的參數服務。
(二)對計算資源和存儲資源進行部署
這一步驟需要根據第一步定制的設置參數,來確定部署大規模數據處理中的計算資源以及存儲資源,以及設計相應的數據處理和計算流程的部署方案。
(三)對定制化參數進行保存
將在第一步驟中產生的相關參數設置信息寫入到計算資源以及存儲資源的相關配置文件中,用來實現資源流程調度的分配,從而啟動相應計算節點的計算資源以及存儲資源,或者管理部署計算節點的定制處理服務。
(四)進行計算節點的選擇,配置相應計算流程
在對大規模數據盡心處理的過程,對所需要的軟硬件資源進行檢測管理中,部署工具會通過網絡連接到目標計算節點上,并且對相應的計算流程進行相關配置,配置成功后,開始對大規模數據的處理的方案進行執行分析。同時通過代碼對計算資源和存儲資源進行相應的執行分配。
(五)對計算流程進行部署實施
在以上步驟實施后,并通過外部數據處理資源管理實施方案的監測,在眾多的計算節點上,對大規模數據處理的部署進行實施。
(六)激活計算流程和計算資源、存儲資源
在步驟五開始實施后,通過計算機網絡,對各個計算節點一系列的數據處理命令,完成對大規模數據計算的部署調度,對整個計算過程進行激活處理,成功激活后,在各計算節點具體執行相應的計算流程。
三、基于云計算的大規模數據處理框架模型
根據大規模數據處理的要求,將計算機網絡技術和云計算技術引入到大規模數據的計算處理中,提出了基于云計算的大規模數據處理的框架模型。此模型可以分為兩級,第一級是底層的大規模廉價計算機集群及虛擬資源;第二級是對第一級的數據資源的處理和監測管理體系??梢栽诖嘶A上,創建一個大規模數據處理的計算平臺,實現數據處理的資源配置、回收、問題及錯誤處理,為各個領域的不同用戶提供大規模數據處理的計算平臺的相應軟件支持。通過編程和相應的任務處理,將最終的結果以云服務形式提供給終端用戶。并可以通過Web Service方式提供接口進行訪問,并對大規模數據進行處理以及接受相應的反饋。
本文探討了對此框架的初步實現,并使用HDFS以及MapReduce對大規模數據進行協調處理。
(一)搭建大規模計算機集群環境
通過將MapReduce任務進行分解,將大規模數據分解為各個子任務,根據子任務的大小和數目的多少,分別將子任務分別放置在相應的計算機節點中,并對不同的節點分別進行角色設置。
(二)數據處理任務的轉移
將大規模數據載入到Hadoop提供的分布式文件系統中,并將MapReduce的各個數據處理子任務轉移到相應的計算節點上。
(三)大規模數據處理的分布化
大規模數據處理的分布化,需要Map函數、Reduce函數以及相關的程序進行對數據處理的實現。并運行MapReduce。MapReduce的實現機理見圖1.
(四)數據處理結果的反饋
在反饋數據處理結果時,需要用戶驗證接口,通過相應的云服務平臺將數據處理結果反饋給相應的需求者。
四、大規模數據處理的實例
通過對上述大規模數據處理的框架模型的分析,以淘寶商城的大規模Web日志的數據處理為實例,對多個站點前段的原始Web日志文件進行收集以及數據處理,可以通過以下步驟進行。
(一)首先需要對站點前段的Web日志進行收集整理,并將這些Web日志進行相應的存儲。
(二)對收集的Web日志的相應數據配置統一的格式。因為收集的Web日志是從不同的站點進行收集的,Web日志的來源相對來說比較復雜,沒有統一的格式,所以需要對這些大量的日志配置統一的格式,在格式統一化時,要在不改變相應數據的前提下進行,要保證數據的完整性。
(三)將所收集的Web日志導入到HDFS中,利用HDFS的備份機制和數據存儲的原理,分別建立各個節點的通訊方式,并對其配置相對應的名稱節點和數據節點等。
(四)將數據進行統一格式化,以及對其配置相應的節點信息之后,要利用MapReduce模型的處理相關數據的規則設計和計算功能。這部分作為數據處理的核心內容,也是整個大規模數據處理工作的重心所在。
(五)在數據處理完畢,并將處理完的數據導出之后,要按照規定的輸出格式和要求對數據進行保存,以方便用戶對相應處理結果的分析處理工作的進行。
(六)最后,用戶收到相應的數據處理結果后,需要將處理結果進行反饋,并且對處理過程中所產生的垃圾數據進行相應的清理。
數據處理需要較多的環節,在每一個環節的數據處理中,都需要對相應的數據處理進行一定的監控,并對整個框架模型的工作情況進行監控,以盡早的發現運行中出現的問題,及時對數據處理中出現的問題及錯誤進行解決糾正。
五、結論
綜上所述,本文對云計算環境下的大規模數據處理技術進行了分析研究,通過對數據處理廉價計算平臺的創建以及對云計算環境下大規模數據處理的框架模型的研究,分析了云計算技術在大規模數據處理中的用途。并且通過實例分析,對電子商務平臺的Web日志的大規模數據進行計算分析,更清晰明了的闡述了云計算環境下的大規模數據處理的方式方法。
參考文獻:
[1]于戈,谷峪,鮑玉斌,王志剛:《云計算環境下的大規模圖數據處理技術》,計算機學報,2011(10)
[2]王嘉,陳超:《云計算環境下大規模數據處理的研究》,中國電子商務,2013(09)
[3]白亞魯:《云計算環境下大規模數據處理的研究》,軟件雜志,2013(5)
基本的大數據的處理流程可以分成數據采集、數據處理與集成、數據分析和數據解釋4個階段。首先獲取數據源的數據,因為在數據源端的數據包含各種各樣的結構,需要使用某種方法將其進行預處理,使數據成為某種可以用一種算法分析的統一數據格式,接著需要找到這種數據分析的算法,將預處理過的數據進行算法特定的分析,并將分析的結果用可視化等手段呈現至用戶端。
1.1數據采集
大數據的采集是整個流程的基礎,隨著互聯網技術和應用的發展以及各種終端設備的普及,使得數據的生產者范圍越來越大,數據的產量也越來越多,數據之間的關聯也越來越復雜,這也是大數據中“大”的體現,所以需要提高數據采集速度和精度要求。
1.2數據處理與集成
數據的處理與集成主要是對前一步采集到的大量數據進行適當的預處理,包括格式化、去噪以及進一步集成存儲。因為數據采集步驟采集到的數據各種各樣,其數據結構也并不統一,不利于之后的數據分析,而且,一些數據屬于無效數據,需要去除,否則會影響數據分析的精度和可靠性,所以,需要將數據統一格式并且去除無效數據。通常會設計一些過濾器來完成這一任務。
1.3數據分析
在完成了數據的采集和處理后,需要對數據進行分析,因為在進行數據分析后才能體現所有大數據的重要價值。數據分析的對象是上一步數據的處理與集成后的統一格式數據,需要根據所需數據的應用需求和價值體現方向對這些原始樣本數據進一步地處理和分析?,F有的數據分析通常指采用數據倉庫和數據挖掘工具對集中存儲的數據進行分析,數據分析服務與傳統數據分析的差別在于其面向的對象不是數據,而是數據服務。
1.4數據解釋
數據解釋是對大數據分析結果的解釋與展現,在數據處理流程中,數據結果的解釋步驟是大數據分析的用戶直接面對成果的步驟,傳統的數據顯示方式是用文本形式體現的,但是,隨著數據量的加大,其分析結果也更復雜,傳統的數據顯示方法已經不足以滿足數據分析結果輸出的需求,因此,數據分析企業會引入“數據可視化技術”作為數據解釋方式。通過可視化結果分析,可以形象地向用戶展示數據分析結果。
2云計算與大數據分析的關系
云計算是基于互聯網的相關服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源,是一種按使用量付費的模式。這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。目前,國內外已經有不少成熟的云計算的應用服務。數據分析是整個大數據處理流程里最核心的部分。數據分析是以數據的價值分析為目的的活動,而基于大數據的數據分析通常表現為對已獲取的海量數據的分析,其數據來源可能是企業數據也可能是企業數據與互聯網數據的融合。從目前的趨勢來看,云計算是大數據的IT基礎,是大數據分析的支撐平臺,不斷增長的數據量需要性能更高的數據分析平臺承載。所以,云計算技術的不斷發展可以為大數據分析提供更為靈活、迅速的部署方案,使得大數據分析的結果更加精確。另一方面,云計算的出現為大數據分析提供了擴展性更強,使用成本更低的存儲資源和計算資源,使得中小企業也可以通過云計算來實現屬于自己的大數據分析產品。大數據技術本身也是云計算技術的一種延伸。大數據技術涵蓋了從數據的海量存儲、處理到應用多方面的技術,包括海量分布式文件系統、并行計算框架、數據庫、實時流數據處理以及智能分析技術,如模式識別、自然語言理解、應用知識庫等等。但是,大數據分析要走向云計算還要賴于數據通信帶寬的提高和云資源的建設,需要確保原始數據能遷移到云環境以及資源池可以隨需彈性擴展。
3基于云計算環境的Hadoop
為了給大數據處理分析提供一個性能更高、可靠性更好的平臺,研究者基于MapReduce開發了一個基于云計算環境的開源平臺Hadoop。Hadoop是一個以MapReduce算法為分布式計算框架,包括分布式文件系統(HDFS)、分布式數據庫(Hbase、Cassandra)等功能模塊在內的完整生態系統,已經成為當前最流行的大數據處理平臺,并被廣泛認可和開發應用。基于Hadoop,用戶可編寫處理海量數據的分布式并行程序,并將其運行于由成百上千個節點組成的大規模計算機集群上。
4實例分析
本節以電信運營商為例,說明在云計算環境中基于Hadoop的大數據分析給大數據用戶帶來的價值。當前傳統語音和短信業務量下滑,智能終端快速增長,移動互聯網業務發展迅速,大數據分析可以為運營商帶來新的機會,幫助運營商更好地轉型。本文數據分析樣本來自于某運營商的個人語音和數據業務清單,通過Hadoop2.6.0在Ubuntu12.04系統中模擬了一個大數據分析平臺來處理獲得的樣本。希望通過對樣本數據的分析與挖掘,掌握樣本本身的一些信息。以上分析只是一些很基本的簡單分析,實際上樣本數據中所蘊含的價值要遠遠大于本文體現的。以上舉例意在說明基于云計算的大數據分析可以在數據分析上體現出良好的性能,為企業帶來更豐富更有效率的信息提取、分類,并從中獲益。
5結束語
【關鍵詞】統計學;管理現狀;優化策略;模式創新
【中圖分類號】C81【文獻標志碼】A【文章編號】1673-1069(2020)06-0071-02
1引言
統計學作為企業經營管理的重要手段,在企業經營過程中統計工作是否落實到位,對于企業可持續發展目標的實現而言具有重要影響,尤其在當前多元化市場競爭環境下,企業規?;l展雖然推動了國民經濟的進一步發展,但與此同時企業市場競爭也愈演愈烈,實現持續性經營,確保統計學應用效益的最大化,是目前推動產業可持續發展的重要戰略基礎。
2大數據時代內容的基本概述
簡單來講,所謂的“大數據”是指在當前信息化產業時代背景下,無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是互聯網公司在日常運營中生成、累積的用戶網絡行為數據,是需要新處理模式才能有效處理的海量、高增長率和多樣化信息資產。隨著近年來信息技術的不斷發展和廣泛應用,“大數據”時代是“互聯網+”技術應用下時代未來發展的趨勢。就目前來看,與傳統信息數據相比,大數據具有數據量大、數據多元以及數據價值高的顯著特點,伴隨城市化、工業化建設進程的不斷加快,如何有效地對大數據進行處理,成為現階段基層產業結構和相關主管部門的核心發展方向,也是促進企業進一步發展的重要基礎。
數據實質上是存儲于計算機內的各種信息集合,在當前全球化、市場化不斷發展的新產業時代背景下,商業模式的巨大轉變,在改變人們關注度的同時,也為企業的進一步發展奠定了良好基礎,最終為企業預期發展目標的實現創造了良好條件。對于大數據的處理,倘若采取傳統的處理技術,不僅難以達到預期的處理目標,更極易導致一系列其他問題的產生,最終對企業整體發展造成了極為不利的影響,為此在大數據發展的同時,技術領域也取得了顯著突破,目前常見的管理技術主要有——數據倉庫技術、數據安全技術、數據分析、數據挖掘和模型預測,其中,數據分析、數據挖掘與大數據關系最為密切。
3新形勢下統計學存在的主要問題
3.1企業對于統計管理工作的重視度不足
在經濟全球化和一體化建設進程不斷加快的新市場經濟常態下,企業規模和數量的不斷增加,在加劇企業市場競爭力的同時,如何有效地提升企業工作質量和工作效率是現階段企業的核心發展方向,但由于部分企業受傳統發展以及管理理念根深蒂固的影響,企業管理和發展重心始終集中于企業經濟效益,忽視了對統計管理的關注度,致使單位在統計管理工作方面的人力和物力投入不足,各項管理工作受到一定影響的同時,企業的整體發展也受到了一定影響。
3.2統計管理人員自身專業素養有待提高
統計管理人員作為統計管理工作的實踐者,其自身專業能力和綜合素養水平的高低,對于統計管理工作質量和工作效率具有重要影響,但隨著當下統計管理工作量的增加,部分企業為滿足人員配置需求,不斷地降低人員選拔標準,導致聘用人員無論是專業能力還是綜合素養都有待完善。作為一項專業、系統的管理工作,統計管理不僅要求管理人員擁有細心、踏實、耐心等基本素質,還要具備一定的計算機操作能力,但隨著企業規模和數量的持續增加,統計管理人員身兼數職、待遇不高等問題的存在,導致管理人員自身專業能力有所欠缺,業務操作等方面也存在一定不足,最終對統計管理造成了極為不利的影響。
3.3數據庫硬件設施、設備不完善
信息化產業時代背景下,“互聯網+”技術的廣泛應用,在便捷人們日常生活,提高企業生產效益的同時,將其應用到其他領域中,在一定程度上也為各單位的轉型升級注入了新的發展動力。統計管理是企業管理作業的重要內容,在很大程度上數據管理庫自身硬件設施、設備的完善度對于統計管理工作質量和效率具有直接影響,但對于某些偏遠地區亦或經濟發展相對緩慢的區域,統計管理設備、設施的落后性在影響現代化科技管理手段應用效益的同時,統計管理作業也始終未能得到突破性進展,企業發展也由此受到了一定影響。
4新形勢下統計管理工作的創新策略探析
4.1加強對統計管理重要性的宣傳力度,提高對統計管理工作的重視
統計管理作為企業管理的重要組成部分,其管理工作質量和工作效率對企業發展而言也具有一定影響,而為實現企業可持續發展的目標,確保統計管理工作落實到實處是極為必要的。通過上述分析可知,管理人員對于統計管理工作的不重視是影響統計管理工作效益的重要因素,為有效地改善當前管理現狀,一方面基層產業機構需加大對統計管理重要性的宣傳力度,在不斷提高人們對于“統計學應用效益”高度認同的同時,為統計管理工作的順利開展奠定良好基礎。而另一方面企業還需加強對統計管理工作人員的教育力度,在不斷增強統計管理人員工作責任感和使命感的基礎上,為預期管理目標的實現創造良好條件。
4.2積極和有關大數據公司或機構進行合作
要想在大數據時代背景下進一步優化和提高統計管理工作,就必須將大數據有關技術和統計管理的實際工作緊密結合起來,因此必須解放思想,打破行業限制,積極尋求和有關大數據公司或者機構進行合作開發,開發出真正適合統計管理工作的大數據技術和工具,大數據無法使用單臺計算機進行操作和處理,必須采用分布式架構技術等,其也必然和云計算的有關分布式處理、云存儲以及虛擬技術等密不可分,因此統計管理必須要積極尋求多方合作,積極將大數據的有關技術引入統計管理的實際工作中去。
4.3不斷優化和完善統計管理模式
在當前企業規模和數量持續增加的新產業時代背景下,數據的形成過程較為煩瑣,且數量也較為龐大,為從根本上有效提高管理的科學性、高效性和有效性,不斷地優化統計管理模式和管理手段也是極為必要的。通過大量調研數據分析可知,在進行統計管理過程中,信息技術的不斷發展和傳播渠道的日趨增多,在很大程度上為企業統計管理創造了良好條件,但由于部分企業在計算機信息技術應用過程中,未將現代化技術應用到電子統計管理中,導致管理信息化水平較低的同時,預期管理目標也難以實現,為有效地解決上述問題,將數據信息化納入到工作日程中,為單位的數據管理部門配置專門的信息化設備,是現階段提高統計管理信息化水平,促進企業進一步發展的重要戰略手段。
4.4將各項統計管理工作細節落實到位
在統計管理作業過程中,從根本上有效地提高企業的經濟效益、確保各項統計工作細節落實到位也是現階段基層產業機構和相關主管部門的重要工作內容,換言之,在當前多元化市場競爭環境下,要想從根本上提升統計管理工作質量,提高企業整體的經濟效益,以會計管理工作為中心,確保各項細節管理工作落實到位是十分必要的。要想確保管理工作效益的最大化發揮,提升企業經濟效益,企業需將會計的發展目標與企業的發展方向相結合,在確保兩者“統一性”的基礎上,以會計管理工作為中心對企業經營進行系統化管理,最終為企業可持續發展目標的實現奠定良好基礎。
4.5確保預算統計管理工作落實到位
在當前企業經濟收支管理過程中,預算統計管理工作流于形式是影響精細化管理效率的重要因素,而為從根本上有效地解決上述問題,確保全面預算統計管理工作落實到位,是現階段企業經濟運行精細化管理目標實現的重要基礎和根本前提。作為企業經濟運行精細化管理的重要環節,全面預算統計管理作業的開展不僅能確保企業達成預期的戰略目標,其在科學預測企業未來運營狀況、協調內部資源以及控制內部預算編制等方面都發揮了重要作用。因此,在進行預算統計管理過程中,企業統計管理部門工作人員需摒棄傳統管理理念,在做好日常收支管理的基礎上,還要確保內部全范圍、全過程及所有資產的預算統計管理落實到位,由此在保障全面預算作業有序開展的同時,提升企業在多元化市場中的競爭優勢。
[關鍵詞] 審計;大數據;數據模型
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2017. 13. 023
[中圖分類號] F239.1 [文獻標識碼] A [文章編號] 1673 - 0194(2017)13- 0056- 03
1 大數據環境下的審計特征
傳統審計過程中最困難的就是對被審計對象原始數據的獲取,在信息數據未歸集的條件下,如何準確獲取審計所需數據一直是困擾審計信息化的難題之一。
隨著信息化時代的來臨,審計數據發生了根本性的變化,具有分布廣、數據量大、集成度高、更新快等特征。在大數據環境下,非現場審計將逐漸成為主要工作方式。審計不再局限于憑證、賬面、財務系統等信息,信息化審計極大地拓展了審計視角,能更快地挖掘出被審計單位的全部業務信息。審計方法從“抽樣審計”逐漸轉變為“全面審計”,建立在大數據基礎上的審計變得更加簡便,數據更加準確、全面。大數據環境下持續性審計將成為現實,審計人員可以利用云數據掌握公司的運營狀況、風險變化等情況,對內部風險及時分析預警,將風險隱患消除在萌芽狀態。
因此,積極應用“云計算”、數據挖掘、智能分析等技術,能提高審計效率;而探索多維度、智能化數據分析方法,加強對各層級、各系統間數據的關聯分析,更能增強感知風險的能力。
2 審計數據分析類型
審計數據分析按照其操作方法、實現工具、與審計經驗結合程度等方面的不同,可以分為以下三種類型。
查詢型分析:審計人員借助業務信息系統或財務總賬,訪問和查詢數據記錄,進行篩選、查找、排序、核對、抽樣、統計等操作性分析。這是對審計項目進行總體分析,具有直觀、簡易的特點,但缺點是審計思路呈線性結構,數據量較大,不易發現問題線索。
驗證型分析:審計人員借助工作經驗首先提出風險點,然后根據相關數據來檢查風險點,從數據中確定審計事實。驗證型分析的關鍵,是要能提出合理的風險點,這與審計人員的職業判斷和經驗積累息息相關。
挖掘型分析:審計人員以海量數據為基礎,進行深層次數據分析,從不同的角度對被審計單位的業務數據進行挖掘,并以直觀易懂的形式展示分析結果。
3 審計數據分析模型
根據審計數據分析類型,通過對數據的查詢、驗證和挖掘,建立更直觀的數據模型,結合審計目標尋找疑點,進而評估被審計單位控制風險、揭示制度問題等。建立數據分析模型,主要通過以下幾個步驟。
3.1 采集數據,掌握整體情況
采集被審計單位數據,對被審計單位的財務收支、物資出入庫、經營管理、內部控制等進行總體分析,把握全局,形成對被審計單位的財務、物資、內控的整體印象。
3.2 發現問題線索,確定審計重點
在整體掌握的基礎上,通過復核、對比、計算等數據分析手段,對采集的數據進行整合,建立數據分析模型,從而發現問題線索,確定審計重點。
3.3 核實問題線索,評估控制風險
對數據模型分析中發現的異常情況,通過現場審計獲取證據予以證或者排除,進而評估控制風險、揭示制度問題。
以上三個方面是緊密聯系的,只有在掌握整體情況的基礎上,才能建立數據分析模型確定審計重點,并對審計重點進行核實,進而實現風險評估。
4 實例分析
2016年8月,對X省電力公司所屬集體企業A、B公司總經理任期經濟責任履職情況進行了審計。此次審計按照標準審計流程,結合已有審計數據,對各系統間數據進行智能化分析。通過審計軟件及業務信息系統獲取更直觀的數據,建立了“三重一大”事項、物資采購及合同管理、薪酬福利管理、固定資產管理、財務管理、三公費用管理等審計數據分析模型。
4.1 采集數據,掌握整體情況
審計組根據經濟責任審計要求,采集營業收入、利潤總額、資產總額等數據,掌握被審計單位整體情況。將采集的數據導入Excel,運用其各種功能,得出如圖1、圖2所示結果。
4.2 發現問題線索,確定審計重點
在總體掌握的基礎上,對采集的數據進行整合,通過對數據進行指標分析、對比,建立數據分析模型,發現問題線索,確定審計重點。
分析結果如圖3、圖4所示。
從分析結果看出,A公司資產負債率不高,但負債總額較大,存在一定的風險;銷售凈利率較高,說明該公司收益水平較高;資產凈利率較好,資產的利用效率較高,該公司在增加收入和節約資金等方面取得了較好的效果。B公司資產負債率較低,該公司成本較低,風險小,償債能力強,經營較為穩健,投資行為比較謹慎;銷售凈利率較高,收益水平較高;資產凈利率較好,資產的利用效率較高。
4.3 核實問題線索,評估控制風險
在總體分析的基礎上,結合審計重點建立數據分析模型,發現問題線索,進而評估風險,揭示制度問題。分析結果如圖5、圖6所示。
從審計問題分布圖中可以直觀地發現,A公司在物資及合同管理方面的問題涉及的金額比重較大,其次是財務管理、三重一大、三公費用、薪酬福利方面的問題。因此,該公司在關注各方面問題的同時,應重點關注物資及合同管理方面的問題。
從圖6分析結果發現,B公司在財務管理方面的問題涉及的金額比重較大,其次是三重一大、物資及合同管理、薪酬福利、三公費用方面的問題。因此,該公司在關注各方面問題的同時,應重點關注財務管理方面的問題。
5 結 語
在大數據環境下,運用審計數據分析的前沿理念和技術,開展數據分析和挖掘,致力于構建審計數據分析模型,可以有效降低審計人員的工作量,提高審計的效率和質量。審計人員通過總體分析、關聯分析、趨勢分析、多維分析等,從整體上把握被審計單位的財務狀況、審計重點和疑點,為客觀、真實評價企業領導干部經濟責任履行情況提供了數據支撐。利用審計數據分析模型,可以使審計報告更有說服力,問題定性更加準確、審計效果更加明顯。
主要參考文獻
[1]馬瀅,喬羽.大數據環境下企業內部審計面臨的機遇和挑戰[J].新經濟,2016(27):73-74.