成都海擎科技有限公司
電話：028-65065822
郵箱：cdhaiqing@163.com
聯系人：袁女士
地址：成都市高新區天府三街69號
亞馬遜工具如何利用大數據分析解決大數據問題
所有關于用戶數據的收集，都是為了對數據進行智能分析，期待發現新的趨勢和不可預見的行為。考慮到商業智能應用能夠從PB級別數據中篩選數據的日子可能永遠不會到來，一些企業以天為單位收集數據，但是這不能成為企業大數據分析狹隘觀點的借口。但如何才能使企業在條件有限的情況下，最好地利用他們積累的新資料和統計數據？這需要時間，耐心，而且你將看到，投資必要資金的負責人將可以為企業實施正確的計劃。
選擇正確的負責人 大數據本身到成熟期也就只花了幾年時間，這意味著大分析（Big Analytics）才開始孵化。這意味著，在這個浩大的技術舞臺上存在一個相當大的缺口，尋找合適的專家將是一個挑戰。最近一次信息周刊關于“分析，商業智能和信息管理”的調查中， 47％的受訪者列出了作為使用大數據軟件的首要問題是‘專業知識既稀缺且昂貴’。”但要正確地使用商業智能（BI） ，找到合適的人才是絕對必要的。 在O’Reilly 2012 Strata 大會上生機勃勃的數據科學論戰確認，要確定聘請誰來為大洞察挖掘大數據不是件容易的事情，人工智能領域專家或機器學習專家將能夠為企業提供更多的價值。 數據科學家只專注于數字和模式就能取得顯著成績的歲月已經過去，他們需要結合機器學習，嘗試真正的算法來找到大多數經驗豐富的專家都錯過的數據相關性。但大數據顧問Drew Conway做出了一個強有力的證明，機器學習作為一種工具可以提供一些有趣的答案，但這些答案需要滿足一個重要的條件。 “你能以任何有意義的方式解釋這個結果嗎？”Conway說。 “我猜測也許不是。
一個專業領域專家將不得不看那個模型，并決定所選擇功能，以及傳遞的輸出和回歸系數，是否真正與訓練集和測試集之外的樣本相關。這是專業領域的基礎知識。” 企業將需要建立一個團隊，其中包括這兩個學科的專家。為了數據挖掘的準確性，需要一位某個專業領域的專家來開發問題，然后依賴一個機器學習專家開發并且實施查詢或創建分析，然后才有兩個領域專家結合得出的正確結果。 舊酒裝新瓶 大分析不只是因為大數據時代的來臨企業才用于挖掘信息。 “我們已經看到客戶以全新的商業模式出現，他們使用與社交媒體相關的歷史數據集，這些曾經是免費的，現在他們把變現或定價，”英特爾的Girish Juneja在最近舊金山舉行的亞馬遜AWS峰會上說。但是，新技術永遠是洞察用戶行為最有力的工具，尤其移動用戶更是一個特別需要培養的肥沃資源。 “我們所看到的是，隨著越來越多應用正在被移動用戶推動，正因如此生成的數據量越來越大。大部分數據是被收集在云環境中，比如AWS。然后，新的商業模型正在利用這些數據，并基于這些數據提供新的服務。” 在大分析競賽中先拔頭籌 企業都使用什么類型的工具來篩選他們的大數據，以發現一些大分析？亞馬遜的Elastic MapReduce一直是很受歡迎的選擇，它幫助客戶挖掘當前未充分利用大數據源，然后利用BI展示。從幾年前就開始被經常吹捧的一個的案例，Yelp開始整理其巨大的編輯日志文件，以尋找隱藏的關聯性。
“他們通過分析這些數據找出的一件事情是，人們是通過移動設備上訪問這個站點，”亞馬遜高級產品經理John Einkauf在2014年舊金山舉行的AWS峰會上表示。 “這已經是幾年前的事情，那時候很多公司還不曾開始了解向移動轉移。因此，他們在移動上做了很好的投資，為他們的服務取得了很好的流動性。截至2013年1月，他們正為950萬獨特移動設備提供服務。這一切都歸功于這個最初的洞察力，他們能夠分析出TB的日志數據。“識別數據的競爭者是最近被忽略的，并創建一個策略來挖掘它。這些途徑和策略就能區分出市場領導者和競爭失敗者。 生成正確的結果 進行數據分析的另一個經常尚未開發的數據源是社會渠道的非結構化數據。處理非結構化數據始終是一個巨大的挑戰，因為在判斷數據相關性方面非常困難，但盡管如此，非結構化數據在商業智能和大數據分析領域越來越重要。那么，企業組織在非結構化數據分析時如何濾掉干擾呢？大多數處理非結構化文本策略包含一個反饋回路，用以隨著時間推移產生更多具有高度針對性的數據用于測試。從現有的社會資源收集然后可以變成可使用的社交媒體參與者，作為測試對象進行實驗。在企業層面，這可能意味著啟動了提出問題，各種社會媒體宣傳，邀請解說，或挑釁，然后可以測量和分析一些其他的回應。這是一個費時且高度復雜的過程，而是通過社交媒體獲得有意義的信息可以是金色的，當涉及到了解客戶真正想要的。 諷刺的是，許多能夠使大分析更有效的解決方案，都需要收集和創造更多的數據。然而，與其被動承受不如主動出擊，企業能夠自己定位，從而利用隱藏在過去，現在和未來大數據的洞察力。