簡介：通過之前的“10分鐘帶你了解數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)中心的區(qū)別和聯(lián)系”系列，我們了解了企業(yè)業(yè)務(wù)活動中出現(xiàn)的幾種流行的數(shù)據(jù)存儲方式區(qū)別和聯(lián)系。有了“鍋碗瓢盆”，要想做出色香味俱全的“大餐”，食材也是必不可少的，所以我們需要收集數(shù)據(jù)。

一、數(shù)據(jù)收集的必要性

數(shù)據(jù)收集是數(shù)據(jù)分析和挖掘的基礎(chǔ)：

數(shù)據(jù)分析和挖掘過程中一個比較基礎(chǔ)和重要的環(huán)節(jié)就是數(shù)據(jù)的收集。再好的特征選擇和建模算法，如果沒有高質(zhì)量的元數(shù)據(jù)，那將是“無米之炊”。

收集到的數(shù)據(jù)決定了數(shù)據(jù)分析挖掘的上限：

經(jīng)驗(yàn)告訴我們?nèi)绾螐臍v史數(shù)據(jù)的展示和分析中獲取有用的知識，無論是通過報(bào)表還是多維度分析獲得企業(yè)各領(lǐng)域指標(biāo)的相關(guān)性，還是基于預(yù)測企業(yè)未來發(fā)展通過對歷史數(shù)據(jù)執(zhí)行挖掘模型，全部基于企業(yè)歷史數(shù)據(jù)。沒有數(shù)據(jù)質(zhì)量基礎(chǔ)的保證，再華麗的趨勢圖就是垃圾。

如下圖所示，in、out（ in、 out）的意思是，如果將錯誤無意義的數(shù)據(jù)輸入計(jì)算機(jī)系統(tǒng)，計(jì)算機(jī)自然會輸出錯誤無意義的結(jié)果。 （這句諺語也適用于數(shù)據(jù)分析領(lǐng)域）

進(jìn)出（垃圾進(jìn)出）

二、數(shù)據(jù)采集方式

數(shù)據(jù)采集方式分為在線采集和離線采集兩大類。下面對每種采集方式及相關(guān)技術(shù)進(jìn)行簡單介紹。

1.在線收藏

1）開放數(shù)據(jù)

開放數(shù)據(jù)是指互聯(lián)網(wǎng)上對所有人開放的數(shù)據(jù)，包括對特定行業(yè)開放的數(shù)據(jù)、對各級政府開放的數(shù)據(jù)以及網(wǎng)頁上的相關(guān)內(nèi)容數(shù)據(jù)。例如，下圖是北京開放平臺的公開數(shù)據(jù)。

為了獲取公開數(shù)據(jù)，我們可以使用爬蟲技術(shù)。這里簡單介紹一下爬蟲技術(shù)。

爬蟲技術(shù)是一種使開發(fā)人員能夠自動并系統(tǒng)地收集 上的相關(guān)數(shù)據(jù)的技術(shù)。爬蟲不是內(nèi)容生產(chǎn)者，而是內(nèi)容載體。各種關(guān)于爬蟲技術(shù)的學(xué)習(xí)資料在網(wǎng)上可以說是“大汗淋漓”。筆者這里就不講了，這里我要講的是爬蟲的安全性。您必須遵守相關(guān)法律，切記不要觸碰紅線。 .

一個。個人信息、商業(yè)秘密和國家機(jī)密是數(shù)據(jù)抓取的紅線。

b.遵守職業(yè)道德，控制爬蟲訪問頻率，不干擾爬蟲的正常業(yè)務(wù)活動。

c。遵守協(xié)議，做能爬的，不能爬的。

2）第三方平臺數(shù)據(jù)

例如，如果開發(fā)者想要獲取相關(guān)的財(cái)務(wù)數(shù)據(jù)，除了使用爬蟲技術(shù)外Free Image Converter ，我們還可以通過第三方平臺提供的API接口獲取相關(guān)數(shù)據(jù)。比如下圖就是大數(shù)據(jù)開放平臺。開發(fā)者可以獲得各種財(cái)務(wù)數(shù)據(jù)。

筆者曾接到這樣一個任務(wù)，要獲取一個禁止機(jī)動車左轉(zhuǎn)、禁止機(jī)動車右轉(zhuǎn)、禁止機(jī)動車掉頭的城市的所有路段。在沒有條件獲取準(zhǔn)確數(shù)據(jù)的情況下，我們可以使用高德導(dǎo)航?；蛘甙俣鹊貓D開放平臺的API接口，分別設(shè)置路口的起點(diǎn)和終點(diǎn)，通過比較機(jī)動車與步行的路徑規(guī)劃距離，分析路口是否禁止左轉(zhuǎn)、右轉(zhuǎn)、掉頭，如百度開放平臺如下圖所示，我們可以通過這里的API接口完成各種數(shù)據(jù)采集。

對應(yīng)的功能有對應(yīng)的服務(wù)文檔說明如何使用。有興趣的可以打開網(wǎng)站試試看。

3）物理數(shù)據(jù)

物理數(shù)據(jù)是指用戶在物理世界中產(chǎn)生的數(shù)據(jù)，比如用戶使用手機(jī)時手機(jī)的各種傳感器（指紋傳感器：記錄用戶指紋用于手機(jī)解鎖或支付等） .、陀螺儀：通過角動量守恒原理記錄手機(jī)導(dǎo)航等行為的角速度）

與日常應(yīng)用相比，傳統(tǒng)制造業(yè)存在大量的物理數(shù)據(jù)。一般有以下幾種數(shù)據(jù)收集方式：

各種傳感器：

如前所述，手機(jī)中的傳感器種類繁多，傳統(tǒng)制造中的傳感器種類繁多，涵蓋了光敏、氣敏、力敏、磁敏等不同類型的工業(yè)傳感器getscreen，并且對聲音敏感。數(shù)據(jù)量少，但頻率很高。

RFID技術(shù)：

RFID（Radio，射頻識別）技術(shù)是一種非接觸式自動識別技術(shù)，通過射頻信號自動識別目標(biāo)物體并獲取相關(guān)數(shù)據(jù)信息。通過射頻進(jìn)行非接觸式雙向通信，達(dá)到識別和交換數(shù)據(jù)的目的。

RFID技術(shù)可以識別高速運(yùn)動的物體，同時識別多個標(biāo)簽，操作快捷方便。如下圖所示色彩風(fēng)暴，我們可以在手機(jī)NFC讀取的電子標(biāo)簽數(shù)據(jù)中看到ISO/IEC 14443-3（Type A）。這是當(dāng)前的電子標(biāo)簽協(xié)議。目前大部分公交卡、一體機(jī)卡、門禁卡等都是基于ISO 14443 Type A協(xié)議的。以下是電子標(biāo)簽的詳細(xì)信息。如果搭配專業(yè)的閱讀器和具體的軟件，可讀性會更好。僅供大家在這里展示。

由于設(shè)備品牌、制造商和數(shù)據(jù)接口種類繁多，一條生產(chǎn)線的設(shè)備可能來自多個國家。數(shù)據(jù)收集一直是傳統(tǒng)制造業(yè)的痛點(diǎn)。

4）APP數(shù)據(jù)

在我們的日常生活中，對各種app、web應(yīng)用、小程序的操作都稱為事件，比如打開電商app→瀏覽商品→查看商品信息、評論→加入購物車→放置商品下單→付款→查看物流信息→確認(rèn)收貨→評估產(chǎn)品。當(dāng)某個事件被觸發(fā)，我們想要對其進(jìn)行監(jiān)控時，我們只需要為該事件開發(fā)并植入監(jiān)控代碼，這樣每當(dāng)事件觸發(fā)時，后臺就可以收集到該事件的相關(guān)信息并上傳到服務(wù)器。

關(guān)于數(shù)據(jù)掩埋是互聯(lián)網(wǎng)業(yè)務(wù)中比較重要的一個環(huán)節(jié)。限于篇幅，這里做一個簡單的介紹。在這里，筆者挖個坑，會專門用一個系列來和讀者一起詳細(xì)的埋點(diǎn)數(shù)據(jù)。討論和交流。一般來說，埋點(diǎn)的類型分為Web埋點(diǎn)和App埋點(diǎn)，其中主要埋點(diǎn)技術(shù)又分為嵌入式埋點(diǎn)技術(shù)、非嵌入式埋點(diǎn)技術(shù)和可視化埋點(diǎn)。

2.離線收藏

關(guān)于線下的數(shù)據(jù)采集，筆者認(rèn)為更傾向于主觀的數(shù)據(jù)采集，因?yàn)樵诠矆鏊鎸γ娴木€下量化客觀的數(shù)據(jù)采集，很容易讓被采集者產(chǎn)生警覺，而且是很容易造成數(shù)據(jù)采集的準(zhǔn)確性。很差，影響數(shù)據(jù)質(zhì)量。例如，筆者一邊閱讀一邊參與線下數(shù)據(jù)采集，某城市的交通規(guī)劃部門跟蹤火車站、地鐵換乘站等交通樞紐的旅客填寫出行問卷，盡管問卷設(shè)計(jì)得很好。與填報(bào)后的精進(jìn)、獎勵等方式相比，填報(bào)的乘客接受度仍然很低。

所以這種收集方式也在后期進(jìn)行調(diào)整和改革。例如，在線收集定量和客觀數(shù)據(jù)。通過與三大運(yùn)營商合作，利用手機(jī)信號與基站的關(guān)系，準(zhǔn)確獲取旅客出行記錄。

另外，同學(xué)們經(jīng)常在商場超市看到各種銀行刷卡積分，當(dāng)場填寫信息，申請信用卡領(lǐng)取禮品獎勵電子地圖數(shù)據(jù)采集軟件破解版，但盡管如此，筆者的看法是，行人接受度較差。學(xué)校/公司食堂也有類似的活動，但填寫問卷的意愿比較強(qiáng)。

線下收集數(shù)據(jù)的方式有很多種，例如：問卷調(diào)查、用戶訪談、實(shí)地調(diào)研、焦點(diǎn)小組、用戶反饋等。以下是一些常用的方法來介紹。

1）問卷調(diào)查

問卷調(diào)查是目前廣泛使用的調(diào)查形式。根據(jù)調(diào)查目的設(shè)計(jì)問卷，采用抽樣方法確定調(diào)查樣本，完成調(diào)查。問卷調(diào)查的步驟一般為：確定用戶和樣本量（根據(jù)調(diào)查對象選擇符合特征的用戶，覆蓋盡可能多的人群）——設(shè)計(jì)問卷框架——發(fā)放問卷（試調(diào)查/正式調(diào)查）——匯總數(shù)據(jù)并撰寫報(bào)告

2）用戶訪談

用戶訪談是用戶研究中非常常用的一種方法，使用有目的、有計(jì)劃和有條理的口頭對話來了解用戶的事實(shí)。一般用戶訪談的步驟是：確定研究的目標(biāo)和內(nèi)容-確定用戶和樣本-確定訪談和大綱-進(jìn)行訪談-總結(jié)報(bào)告

三、采集數(shù)據(jù)類別

當(dāng)我們通過上述方式收集數(shù)據(jù)時，一般會獲得三種類型的數(shù)據(jù)，即結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，我們在《10分鐘給你看數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)中心的區(qū)別和聯(lián)系（二））》中提到過，感興趣的可以點(diǎn)擊查看.

那么什么是半結(jié)構(gòu)化數(shù)據(jù)？

半結(jié)構(gòu)化數(shù)據(jù)，顧名思義，是介于結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫）和非結(jié)構(gòu)化數(shù)據(jù)（聲音、視頻）之間的數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)是一種結(jié)構(gòu)化數(shù)據(jù)的形式電子地圖數(shù)據(jù)采集軟件破解版，它不符合與關(guān)系數(shù)據(jù)庫或其他數(shù)據(jù)表相關(guān)的數(shù)據(jù)模型結(jié)構(gòu)，但包含分隔語義元素和對記錄和字段進(jìn)行分類的相關(guān)標(biāo)簽。地面。下圖顯示了一個簡單的 JSON 示例。我們可以觀察到它存儲了一些書籍信息。一般來說，日志文件、XML文檔、JSON文檔等都是半結(jié)構(gòu)化數(shù)據(jù)。

四、總結(jié)

本文將帶領(lǐng)您快速了解各種數(shù)據(jù)收集方法。各種采集技術(shù)固然重要，但應(yīng)根據(jù)所在行業(yè)和公司規(guī)模進(jìn)行選擇，減少“牛刀殺雞”的發(fā)生。

隨著國家安全重要性的提升和居民個人隱私觀念的提高，在保證數(shù)據(jù)采集準(zhǔn)確性的同時，更應(yīng)該關(guān)注數(shù)據(jù)采集中如何保護(hù)用戶隱私以及與國家重點(diǎn)相關(guān)的數(shù)據(jù)基礎(chǔ)設(shè)施。安全。

我在寫這篇文章的時候，朋友就像我在微信公眾號上發(fā)的一篇關(guān)于信息安全違規(guī)的文章。筆者和我的朋友對無線電和AIS系統(tǒng)比較感興趣，并且知道這些數(shù)據(jù)的重要性。性。

這篇文章寫在這里。筆者將繼續(xù)與大家分享和交流數(shù)據(jù)分析和數(shù)據(jù)產(chǎn)品方面的知識。文章中的不準(zhǔn)確之處歡迎大家批評指正。

本文由@原創(chuàng)發(fā)表，人人都是產(chǎn)品經(jīng)理，未經(jīng)允許禁止轉(zhuǎn)載

圖片來自，基于CC0協(xié)議