數據真是越來越多啊
正文開始
一、數據
結構化數據
????????可以使用關系型數據庫表示和存儲的數據,擁有固定結構
半結構化數據
????????弱結構化,雖然不符合關系型數據模型的要求,但是含有相關的標記(自描述結構),分割實體及其屬性 。如:XML,JSON等
非結構化數據
????????沒有固定數據結構,或很難發現統一數據結構的數據
????????文檔,文本,圖片,視頻,音頻等
二、數據庫
數據庫(Database, DB)
????????長期儲存在計算機內、有組織的、可共享的大量數據的集合。
數據庫管理系統(Database Management System, DBMS)
????????位于用戶與操作系統之間的一層數據管理軟件
數據庫系統(Database System,簡稱DBS)
????????在計算機系統中引入數據庫后的系統構成
????????DB、DBMS(及其開發工具)、應用系統、數據庫管理員
關系型數據庫系統(SQL)
????????關系模型中數據的邏輯結構是一張二維表,行與列
????????特點:結構化
????????概念:關系,屬性,元組
????????優點1:管理效率高(十萬,百萬,千萬… )
數據庫的安全性:自主存取控制與強制存取控制
自主存取控制(Discretionary Access Control ,簡稱DAC)
????????用戶可“自主”地決定將數據的存取權限授予何人、決定是否也將“授予”的權限授予別人
強制存取控制(Mandatory Access Control,簡稱 MAC)
????????系統“強制”地給用戶和數據標記安全等級
????????(1)僅當主體(如用戶)的許可證級別大于或等于客體(數據,表,索引等)的密級時,該主體才能讀取相應的客體
????????(2)僅當主體的許可證級別小于或等于客體(數據)的密級時,該主體才能寫相應的客體
數據庫的效率:索引
????????建立索引(Index)的目的:加快查詢速度
????????誰可以建立索引
????????????????DBA 或 表的屬主(即建立表的人)
????????????????DBMS一般會自動建立以下列上的索引
????????????????????????PRIMARY KEY
????????????????????????UNIQUE
????????誰維護索引
????????????????DBMS自動完成
使用索引
????????DBMS自動選擇是否使用索引以及使用哪些索引
RDBMS中索引一般采用B+樹、HASH索引來實現
????????B+/B-樹索引具有動態平衡的優點
????????HASH索引具有查找速度快的特點
NoSQL(Not Only SQL)
????????非關系型的DBMS,不同于傳統關系型DB的DBMS的統稱
????????超大規模數據存儲,不需要固定模式,無需多余操作橫向擴展
為什么NoSQL?(大數據)
????????數據量的飛速增長:GB-TB-PB
????????RDBMS的范式約束、事務特性、磁盤IO等特點的限制
????????開發需求的前期不明確
如果要詳細學習NoSQL:可以學習MongoDB
MongoDB VS MySQL
NoSQL適用于
????????數據模型比較簡單;
????????需要靈活性更強的IT系統;
????????對DBMS性能要求較高;
????????不需要高度的數據一致性;
????????對于給定key,比較容易映射復雜值的環境
附:想要查看各個數據庫的使用排名,可以去看如下鏈接
https://db-engines.com/en/rankinghttps://db-engines.com/en/ranking
三、爬蟲及數據庫學習分享鏈接
Beautiful Soup
Beautiful Soup 4.4.0 文檔 — beautifulsoup 4.4.0q 文檔http://beautifulsoup.readthedocs.io/zh_CN/latest/
MongoDB教程
MongoDB 教程 | 菜鳥教程MongoDB 教程 MongoDB是一個流行的開源文檔型數據庫,它使用類似 JSON 的文檔模型存儲數據,這使得數據存儲變得非常靈活。 MongoDB 是一個基于文檔的 NoSQL 數據庫,由 MongoDB Inc. 開發。 MongoDB 旨在為 WEB 應用提供可擴展的高性能數據存儲解決方案。 MongoDB 是一個介于關系數據庫和非關系數據庫之間的產品,是非關系數據庫當中功能最豐富,最像關系數據庫的。 現在開始學習 ..http://www.runoob.com/mongodb/mongodb-tutorial.html
CSS選擇器教程
CSS 選擇器參考手冊http://www.w3school.com.cn/cssref/css_selectors.asp
jsoup教程
http://blog.csdn.net/column/details/jsoup.htmlhttp://blog.csdn.net/column/details/jsoup.html
scrapy教程
Scrapy入門教程 — Scrapy 0.24.6 文檔http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
下一講,我們將講述數據預處理