微軟與Azure Data Explorer合作進行實時分析

Azure Data Explorer KQL查詢和可視化結(jié)果Fastlyis是一個邊緣的云平臺提供商，它說，處理大約10%的互聯(lián)網(wǎng)請求。Azure Data Explorer(ADX——前身是project“Kusto”)是微軟基于云的大數(shù)據(jù)分析平臺。ADX仍處于公開預覽階段，但Fastly已與微軟合作，基于ADX創(chuàng)建了一個面向客戶的實時分析大流量點擊流數(shù)據(jù)的解決方案。

另外:微軟云服務(wù)將遭遇全球認證中斷

我已經(jīng)熟悉了Azure Data Explorer，但與Fastly的戰(zhàn)略合作伙伴主管(前產(chǎn)品主管)Lee Chen的交談幫助我理解了為什么Fastly- adx解決方案是創(chuàng)新的。這個背景也幫助我更好地理解ADX本身是關(guān)于什么的。這是非常有用的見解，因為坦率地說，Azure Data Explorer的名稱——以及到目前為止的服務(wù)營銷——可以讓它聽起來像一個通用的分析產(chǎn)品。

ADX不是一個通用的數(shù)據(jù)服務(wù)，盡管它的名字。它可以處理快速數(shù)據(jù)，但它本身不是一個流數(shù)據(jù)平臺——Azure事件中心服務(wù)承擔了這種工作負載，Azure HDInsight Kafka集群也是如此。如本文頂部的圖所示，ADX還允許使用一種名為KQL (Kusto Query language)的類似sql的語言來查詢和可視化其數(shù)據(jù)。但ADX也不是一個流分析或數(shù)據(jù)可視化平臺——Azure流分析、Azure數(shù)據(jù)倉庫和Power BI都提供這些工作負載。

相反，ADX將這些功能與時間序列分析功能結(jié)合在一起，對大量數(shù)據(jù)執(zhí)行查詢——響應時間類似于BI平臺對相對較小的數(shù)據(jù)集的響應時間。微軟聲稱ADX可以“在幾秒鐘內(nèi)查詢數(shù)十億條記錄”。微軟自己也使用ADX來支持azure Monitor和azure時間序列洞察服務(wù)。

這些功能可以快速地收集所有在互聯(lián)網(wǎng)邊緣位置點擊的數(shù)據(jù)，讓客戶likeTaboola幾乎實時地分析他們的數(shù)據(jù)，或者超過之前7天(即將30天)的歷史數(shù)據(jù)。這是一個不小的成就，因為Taboola每天生成220億條edge交付日志記錄——大約17tb的數(shù)據(jù)。除了這些數(shù)據(jù)量之外，F(xiàn)astly還提供了從網(wǎng)絡(luò)邊緣直接到Azure Blob存儲的所有實時日志數(shù)據(jù)，結(jié)合ADX的特性集，允許解決方案監(jiān)視站點性能并在出現(xiàn)問題時進行故障排除。

微軟在一篇博文中詳細介紹了ADX/Fastly解決方案。Taboola也在自己的帖子中描述了這個解決方案。坦率地說，這兩篇文章都是為了宣傳。但是，除了營銷之外，這個解決方案還有一些有趣的收獲。首先，列存儲和索引的組合(都是由ADX實現(xiàn)的)可以產(chǎn)生驚人的結(jié)果。其次，對真正的大數(shù)據(jù)進行時間序列分析實際上是很簡單的。

但像ADX這樣的專有解決方案可能是實現(xiàn)這一目標所必需的。雖然可以串一個定制的解決方案——使用喜歡的,說,Apache卡夫卡和Apache火花的火花流組件——這樣的解決方案將涉及很多復雜和需要各種技能,加上積極管理規(guī)模的基礎(chǔ)設(shè)施。但ADX可以按需供應，自動伸縮，而且就技能而言，它只需要學習服務(wù)的查詢語言。它所提供的價值是巨大的。由于源數(shù)據(jù)可以存儲在云存儲中，所以仍然可以通過Hadoop和Spark等開源技術(shù)查詢。

最后，如果您使用運行在Kubernetes集群中的開放源碼解決方案來完成所有工作，那么您將擁有大量跨公共云和企業(yè)數(shù)據(jù)中心的可移植性。但是，對于純粹的開源解決方案，投入市場/實現(xiàn)價值的時間和項目的成功可能更具挑戰(zhàn)性。這明確了云數(shù)據(jù)分析的取舍。Taboola的信息技術(shù)副總裁Ariel Pisetzky說:“Azure數(shù)據(jù)瀏覽器，加上Fastly的實時日志記錄，以更快的更新速度和直觀的交互界面超越了我們之前的解決方案。另外，它非常簡單，我們在一周內(nèi)就開始運行，每天攝入和分析17tb的數(shù)據(jù)?！?/p>

不過，這種計算方法并不適用于所有人。您的團隊將需要權(quán)衡易實現(xiàn)性與鎖定關(guān)注點，并據(jù)此選擇解決方案。不過，無論如何，我們都很高興知道，云計算和更新的數(shù)據(jù)技術(shù)正在把像Fastly這樣的解決方案放在觸手可及的地方。