新聞中心
大數(shù)據(jù)究竟是什么?大數(shù)據(jù)有哪些技術(shù)呢?
這是我通常與想要了解大數(shù)據(jù)的人進(jìn)行對話:

問:什么是大數(shù)據(jù)?
答:大數(shù)據(jù)是描述龐大數(shù)據(jù)的術(shù)語。
問:現(xiàn)在,大數(shù)據(jù)有多大?
答:如此龐大,以至于無法用常規(guī)工具處理?
問:通常的工具是什么意思?
答:普通文件系統(tǒng),數(shù)據(jù)庫等工具。
所有這些大數(shù)據(jù)工具都有一個(gè)共同的特性:分布式計(jì)算。
因此,大數(shù)據(jù)是一個(gè)通常只能通過分布式的工具才能解決的問題。我知道這些天,每個(gè)人都在嘗試將他們的BI(商業(yè)情報(bào))工具描繪成大數(shù)據(jù)工具,但不要被喧鬧聲所欺騙。
問:哪些典型的大數(shù)據(jù)問題?
就以悟空問答為例說說大數(shù)據(jù)的故事。以下說的數(shù)字都不是真實(shí)的,都是我的假設(shè)。
比如每天都有1億的用戶在悟空問答上回答問題或者閱讀問答。
假設(shè)平均有1000萬的用戶每天回答一個(gè)問題。一個(gè)問題平均有1000的字, 平均一個(gè)漢字占2個(gè)字節(jié)byte,三張圖片, 平均一帳圖片300KB。那么一天的數(shù)據(jù)量就是:
文字總量:10,000,000 * 1,000 * 2 B = 20 GB
圖片總量: 10,000,000 * 3 * 300KB = 9 TB
為了收集用戶行為,所有的進(jìn)出悟空問答頁面的用戶。點(diǎn)擊,查詢,停留,點(diǎn)贊,轉(zhuǎn)發(fā),收藏都會產(chǎn)生一條記錄存儲下來。這個(gè)量級更大。
所以粗略估計(jì)一天20TB的數(shù)據(jù)量. 一般的PC電腦配置大概1TB,一天就需要20臺PC的存儲。
如果一個(gè)月的,一年的數(shù)據(jù)可以算一下有多少。傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)在量上就很難做到。
另外這些數(shù)據(jù)都是文檔類型的數(shù)據(jù)。需要各種不同的存儲系統(tǒng)支持,比如NoSQL數(shù)據(jù)庫。
大數(shù)據(jù)是對海量數(shù)據(jù)進(jìn)行存儲、計(jì)算、統(tǒng)計(jì)、分析處理的一系列處理手段,處理的數(shù)據(jù)量通常是TB級,甚至是PB或EB級的數(shù)據(jù),這是傳統(tǒng)數(shù)據(jù)處理手段所無法完成的,其涉及的技術(shù)有分布式計(jì)算、高并發(fā)處理、高可用處理、集群、實(shí)時(shí)性計(jì)算等,匯集了當(dāng)前IT領(lǐng)域熱門流行的IT技術(shù)。
大數(shù)據(jù) big data 國標(biāo)定義:
支持一個(gè)或多個(gè)應(yīng)用領(lǐng)域,按概念結(jié)構(gòu)組織的數(shù)據(jù)集合,其概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對
應(yīng)實(shí)體間的聯(lián)系。具有數(shù)量巨大、種類多樣、流動速度快、特征多變等特征,并且難以用傳統(tǒng)數(shù)據(jù)體
系結(jié)構(gòu)和數(shù)據(jù)處理技術(shù)進(jìn)行有效組織、存儲、計(jì)算、分析和管理的數(shù)據(jù)集。
[來源:GB/T 35274-2017,定義3.1]
1、基礎(chǔ)概念
大數(shù)據(jù)是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)則主要用來解決海量數(shù)據(jù)的存儲和分析。
2、特點(diǎn)分析
大數(shù)據(jù)的5V特點(diǎn)(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價(jià)值密度)、Veracity(真實(shí)性)。
3、發(fā)展過程
到此,以上就是小編對于mongodb如何查詢數(shù)據(jù)的問題就介紹到這了,希望這1點(diǎn)解答對大家有用。
當(dāng)前題目:mongodb怎么查詢key的值
分享鏈接:http://m.5511xx.com/article/cdppish.html


咨詢
建站咨詢
