摘要
時代在飛速進步,每個行業都在努力發展現在先進技術,通過這些先進的技術來提高自己的水平和優勢,汽車數據分析平臺當然不能排除在外。本次我所開發的懂車帝汽車數據分析平臺是在實際應用和軟件工程的開發原理之上,運用Python語言、爬蟲技術、數據可視化技術以及Django框架進行開發,可以讓管理員實現對個人中心、新能源汽車管理、系統管理等功能的操作。在系統開發之前首先要進行需求分析,分析出懂車帝汽車數據分析平臺的主要功能,然后設計了系統結構。整體設計包括系統的功能、系統總體結構、系統數據結構和對系統安全性進行設計;最后要對系統進行測試,還要對測試的結果進行總結和分析,為以后系統的維護提供方便,也為以后類似系統的開發提供參考和幫助。這種個性化的網絡系統管理更重視相互協調和管理合作,能激發管理者的創造性和主動性,這對懂車帝汽車數據分析平臺來說非常有益。
緒 論
1.1 課題的研究背景 懂車帝汽車數據分析平臺主要通過計算機網絡,對所需的信息進行統一管理,方便管理員隨時隨地進行增添、修改、查詢、刪除各類信息。本系統極大的促進了系統與數據庫管理系統軟件之間的配合,滿足了絕大部分用戶的需求,給用戶帶來了很大的便利。以現在計算機的技術的應用,使計算機成為人們使用現代發達技術的橋梁。計算機可以有效的解決信息,十分方便的獲取信息,從而提高工作的效率。 分享、儲存和管理。這對我們的現實生活中具有非常重要的意義,所以懂車帝汽車數據分析平臺誕生了。
1.2 課題研究目的 全球經濟在快速的發展,中國更是進步飛速,這使得國內的互聯網技術進入了發展的高峰時期,這讓中外資本不斷轉向互聯網這個大市場。在這個信息高度發達的現在,利用網絡進行信息管理改革已經成為了人們追捧的一種趨勢。“懂車帝汽車數據分析平臺”是運用Python語言、爬蟲技術、數據可視化技術和Django框架,以MySQL數據庫為基礎而發出來的。可以實現管理員在線進行實現對個人中心、新能源汽車管理、系統管理等功能的管理。為保證我國經濟的持續性發展,必須要讓互聯網信息時代在我國日益壯大,蓬勃發展。伴隨著信息社會的飛速發展,汽車數據分析平臺所面臨的問題也一個接一個的出現,所以現在最該解決的問題就是信息的實時查詢和訪問需求的問題,以及如何利用快捷便利的方式讓訪問者在廣大信息系統中進行查詢、
1.3 課題的研究意義 大數據時代已經到來,網絡爬蟲技術已成為這個時代不可或缺的一項技術,企業需要數據來分析用戶行為、產品的不足之處以及競爭對手的信息等,而這一切的首要條件就是數據的采集。在互聯網社會中,數據是無價之寶,一切皆為數據,誰擁有了大量有用的數據,誰就擁有了決策的主動權。如何有效地采集并利用這些信息成了一個巨大的挑戰,而網絡爬蟲是自動采集數據的有效手段。網絡爬蟲是一種按照一定的規則,自動抓取互聯網海量信息的程序或腳本。網絡爬蟲的應用領域很廣泛,如搜索引擎、數據采集、廣告過濾、大數據分析等。本次使用Python技術加網絡爬蟲技術,可以實現管理員對新能源汽車信息的快速管理,對汽車行業的發展來說,是一個非常有意義的創新。
相關技術
本懂車帝汽車數據分析平臺的數據庫采用的是MySQL數據庫,并且選擇了Python語言、爬蟲技術、數據可視化技術和Django框架進行開發項目,在項目開發過程中,實現了系統功能模塊的安全性、實用性、穩定性、易維護和頁面簡單等特點。
2.1 Python簡介 網絡爬蟲(又稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動地抓取萬維網信息的程序或者腳本。Python 屬于一個高層次的腳本語言,以解釋性,編譯性,互動性和面向對象相結合。在設計上相比其他語言,它更具有特色語法結構,很強的可讀性。 Python語言之所以如此廣泛的被使用是由其自身的優勢所決定的,首先它的兼容性非常的好可以實現跨平臺的使用,互聯網絡的出現使人們進行信息傳遞有了更多的方法,使信息資源得到了最大限度的共享,人與人之間的交流變得更加方便,打破了地域對信息傳遞的束縛,為人們生活帶來了極大的便利。雖然Python語言在當今已經發展非常 成熟,但是它并不是完美無缺的,需要研發人員不懈的努力來使其更加完善。
2.2 ?Django框架 Django是一種開源的大而且全的Web應用框架,是由Python語言來編寫的。他采用了MVC模式,Django最初是被開發來用于管理勞倫斯出版集團下的一些以新聞為主內容的網站。一款CMS(內容管理系統)軟件。并于 2005 年 7 月在 BSD 許可證下發布。這套框架是以比利時的吉普賽爵士吉他手 Django Reinhardt 來命名的。 Django是Python語言中的一個web框架,并遵循MVC設計。Python語言中主流的web框架有Django、Tornado、Flask 等多種,Django相較與其它WEB框架,其優勢為:大而全。Django的主要目的是簡便、快速的開發數據庫驅動的網站。接下來介紹Django的優點: (1)路由配置(URLConf):Django的URL設置更加靈活優雅,看似復雜難懂,但使用的都是簡單的正則表達式,你可以隨心所欲的創造優美的、簡潔的、專業的地址。 (2)模板(Template):模板可以理解為承載數據的工具,為了將數據從視圖中分離出來,通過各種各樣的標簽來進行數據的傳輸。Django的模板融入了面向對象中繼承的思想,提高了復用減少冗余代碼。
(3)視圖(View):視圖就是views.py中的函數,也就是邏輯代碼,為了將URL和視圖關聯起來,用到了上述的URLConfs,URLConfs將URL模式映射到視圖中,每個視圖有兩件事是必須要做的:返回一個包含被請求頁面的HttpResponse對象,或者拋出一個異常。 (4)后臺管理系統(Django-Admin):Django提供的一個基于Web的管理工具。Django-Admin來自django.contrib也就是Django的標準庫,默認被配置好,只需要激活啟用即可,它的優勢在于可以快速對數據庫的各個表進行增刪改查,一行代碼即可管理一張數據庫表,相比于手動后臺1個模型一般需要4個urls,4個視圖函數和4個模板,可以說Django完成了一個程序編寫的大部分重復工作,并且對于圖書管理這種以管理工作為重系統來說,極度契合。 (5)應用(Application):當項目規模過大時,難免會產生目錄過長,文件過多的問題,Django理念中的App可以將項目相對獨立的進行開發,插拔的工作方式和獨立性讓開發者廢棄的App即使刪除也不會影響整體,是一種不可多得的理念。 因為本次使用的Python版本為3.6.4,低版本的Django不支持Python3,故此次使用的Django版本為3.2.12。
2.3 網絡爬蟲簡介 ? ?網絡爬蟲是一種很好的自動采集數據的通用手段。它主要分為4種類型,分別是:聚焦網絡爬蟲、增量抓取、表層網頁、深層網頁。 ①聚焦網絡爬蟲是“面向特定主題需求”的一種爬蟲程序,而通用網絡爬蟲則是捜索引擎抓取系統(Baidu、Google、Yahoo等)的重要組成部分,主要目的是將互聯網上的網頁下載到本地,形成一個互聯網內容的鏡像備份。 ②增量抓取意即針對某個站點的數據進行抓取,當網站的新增數據或者該站點的數據發生變化后,自動地抓取它新增的或者變化后的數據。 Web頁面按存在方式可以分為表層網頁(surface Web)和深層網頁(deep Web,也稱invisible Web pages或hidden Web)。 ③表層網頁是指傳統搜索引擎可以索引的頁面,即以超鏈接可以到達的靜態網頁為主來構成的Web頁面。 ④深層網頁是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單后的,只有用戶提交一些關鍵詞才能獲得的Web頁面。 本次使用的爬蟲技術是聚焦網絡爬蟲,通過搜索引擎,抓取相關旅游信息,下載到本地,形成互聯網內容的鏡像備份,提供用戶瀏覽、查看。
2.4PyCharm簡介 ? ?PyCharm是JetBrains公司開發的一款Python集成開發環境,它提供了很多便利于開發者的功能,比如調試、語法高亮、代碼跳轉、智能提示、自動補全等。除此之外Pycharm還提供了一些支持Web框架的高級功能,適合此次懂車帝汽車數據分析平臺的開發。 2.5 MySQL簡介 作為當下比較流行的MySQL數據庫管理系統,它有較高的安全性和可靠性,儲存空間大,可以對系統中所有用戶 的數據進行儲存更新。MySQL數據庫存儲功能強大,穩定性好,安全系數高,受到了越來越多的軟件開發者的青睞。 數據庫極大的便利了數據的存儲,MySQL數據庫能夠實現數據庫被多個用戶端同時使用,實現數據交互,為用戶提供 便利,是一個非常有利的方面。 所以,對于整個系統的設計與實現來說,確定一個優秀的數據庫管理系統具有非常重大的意義。因為數據庫它 不僅僅是用于對數據的儲存,它還有關于約束條件和觸發器等功能的設計,因此,本次程序開發的首要選擇就是一 個擁有簡潔明了的數據庫界面和簡單易上手、有多線程交互的數據庫管理系統。 2.6小結 本章詳細的介紹了開發懂車帝汽車數據分析平臺所需要的技術與工具,工欲善其事必先利其器,對于技術和工具了解的越多越清晰,才會在開發過程中如魚得水。
系統整體功能圖
管理員登錄界面圖
管理員功能界面圖
新能源汽車管理界面圖
看板界面圖
看板界面圖
部分數據庫表
字段名稱 | 類型 | 長度 | 字段說明 | 主鍵 | 默認值 |
id | bigint | 主鍵 | 主鍵 | ||
addtime | timestamp | 創建時間 | CURRENT_TIMESTAMP | ||
fengmian | longtext | 4294967295 | 封面 | ||
concernid | varchar | 200 | 品牌ID | ||
carids | varchar | 200 | 汽車ID | ||
biaoti | varchar | 200 | 標題 | ||
jxsbj | varchar | 200 | 經銷商報價 | ||
czckj | varchar | 200 | 車主參考價 | ||
diandongji | varchar | 200 | 電動機 | ||
xuhang | varchar | 200 | 續航 | ||
dianchizhonglei | varchar | 200 | 電池種類 | ||
djnj | varchar | 200 | 電機扭矩 | ||
dianjishu | varchar | 200 | 電機數 | ||
nylx | varchar | 200 | 能源類型 | ||
dcdl | varchar | 200 | 電池電量 | ||
zuigaoshisu | varchar | 200 | 最高時速 | ||
djgl | varchar | 200 | 電機功率 | ||
laiyuan | varchar | 200 | 來源 |
結論
本系統是采用Python語言,爬蟲技術、數據可視化及Django框架構建的一個操作管理系統,選擇的數據庫是MySQL。整個過程先是通過整體的系統分析,來確定本系統的可行性是否達標。為了滿足管理員的需求以及提高管理員的工作效率,通過系統所要實現的功能分析,決定了管理員要實現的功能。之后就是精細各個模塊的具體功能,定義管理員們的權限,分割個人中心、新能源汽車管理、系統管理等模塊。之后通過系統測試來確保數據的準確性和操作的準確性,發現錯誤并立即做出了改正。 系統本身提供一個關于淘寶用戶行為數據管理的平臺,管理員可以通過平臺清晰、直觀了解淘寶用戶行為數據。 關于懂車帝汽車數據分析平臺的設計還是有很多不足的地方,缺少用戶的模塊功能,可以設置用戶功能模塊,讓用戶登錄后也可以查看新能源汽車詳情。 在本次項目設計中,完成了大大小小的模塊,系統設計的調查,數據的分析,在安裝軟件方面,選擇版本問題困擾了我很久,后來找相關的網站介紹,了解了各個版本的利與弊,最后完善了本次設計。懂車帝汽車數據分析平臺的系統設計選擇了Python開發工具,和MySQL數據庫對前后臺的數據交互進行分析保存,使用MySQL數據庫可以是程序運行更加的安全且穩定,從而實現并完善系統的開發。
參考文獻
- 西爾伯沙茨(Silberschatz.A.) . 計算機科學叢書:數據庫系統概念(原書第6版)[M]. 機械工業出版社,2018:03.
- 竺天元.基于Python的企業人事薪酬管理信息系統的設計與實現[D].湖南大學,2018:07.
- 王珊.基于Python技術的醫院人力資源管理系統的設計與實現[D].西安科技大學,2018:11.
- 王志任.基于Python的開發平臺的設計與實現[D].廣東工業大學,2018.
- 李緒成,閆海珍 Python?Web開發教程—入門與提高篇(Python+Servlet) 清華大學出版社,2017:13.
- 劉敏.基于Django框架社交網絡平臺的設計與實現[D].湖南大學,2018.
- Robert W.Sebesta著,劉偉琴等譯.Web程序設計[M],北京清華大學出版社,2018(4):9-450.
- 薩師煊,王珊.數據庫系統概論[M].北京:高等教育出版社,2018:10-180.
- 陳剛.Eclipse從入門到精通[M].北京:清華大學出版社,2017(2):17-380.
- 韓思凡.Web開發中的Python與HTM的基礎應用[J].科學技術創新,2020(14):71-72.
- 劉小飛,李明杰.基于Python和Servlet架構的新聞頻道系統[J].電腦知識與技術,2020,16(12):82-83.
- 趙輝,熊文俊.Python的網絡數據庫連接技術及運用之研究[J].電腦知識與技術,2019,15(17):25-26.
- 劉婷.Python技術發展前景研究[J].信息與電腦(理論版),2019(08):70-71.
- 楊正午.基于WEB前端開發技術的網站設計,2019,34(03):51-53+57.
- 李秋錦.基于Python的簡單網頁設計[J].科技經濟導刊,2019,27(16):30.