摘要
本鉆孔數據管理系統采用B/S架構,數據庫是MySQL,網站的搭建與開發采用了先進的Java語言、Hadoop、數據可視化技術進行編寫,使用了Spring Boot框架。該系統從兩個對象:由管理員和用戶來對系統進行設計構建。用戶主要功能包括:用戶注冊、登錄、瀏覽鉆孔信息、地層信息、進行個人中心管理等,并本系統在一般鉆孔數據管理系統的基礎上增加了數據可視化技術,讓管理員可以快速查看鉆孔信息各數據統計圖,非常方便。 本系統采用的數據庫是MySQL,使用Java、Hadoop、數據可視化技術技術開發。在設計過程中,很好地發揮了該開發方式的優勢,讓實現代碼有了良好的可讀性,而且使代碼的更新和維護更加的方便,操作方便,對以后的維護減少了很多麻煩。系統的順利開發和實現,對于鉆孔數據管理這一方面提供巨大的便利服務,無論是用戶還是管理員,都帶來了極大的便利,方便大眾,為社會的進步與發展提供了一些動力。
緒論
1.1背景及意義 隨著社會的快速發展,計算機的影響是全面且深入的。目前,社會的各種類型的網站越來越多,但是有些類型的網站附加了太多的商業元素和虛假信息,而且,用戶在搜索相關信息時需訪問多個網站和大量垃圾廣告,這無疑影響了信息搜索效率且降低了用戶的使用體驗,使用戶很難快速地瀏覽或查詢到自己所需要的相關信息。電子計算機在現代管理中的應用使電子、計算機變成了人類運用現代信息技術的主要工具。可以更高效的處理人類獲取信息中精細化、全面化的問題,從而提高了效率[2]。本系統使用具有獨特且和資源相對優勢的管理方式,來提供一個優秀的鉆孔數據管理系統,用戶可以在網站瀏覽鉆孔信息和地層信。而隨著互聯網的應用,互聯網也以一種巨大變革力的新形象出現于商務關系領域。 探究根本課題,就是希望能夠實現用戶和所需信息雙方的雙向選擇,便于用戶查找相應信息的同時也可以節省管理員在管理中花費的人力和物力。
1.2 國內外研究概況 在當前飛速發展的時代,無論是國內還是國外,發展都是突飛猛進的,經濟形勢也是一片明朗。在這種背景下,互聯網的這一塊的市場成為了各個國家想要爭奪的香餑餑。于是無論是國內還是國外一些公司把目光投向了互聯網這塊市場,越來越多的人對互聯網有所了解,具備了一些網絡意識。在這種互聯網大浪潮的不斷沖刷下,各種各樣的系統被開發出來。計算機技術無論是在國內還是國外中應用普遍,使計算機這一新型工具成為人們耳熟能詳、婦孺皆知的新技術。計算機和互聯網的廣泛應用,讓國內外的距離變“近”了,這個龐大的地球家園一下變成了地球村。國內國外的互聯網發展也存在一些差距,我國近些年的互聯網發展迅速,躋身于世界前列。 本系統采用B/S架構、采用的數據庫是MySQL,使用Java技術開發。該系統的開發方式無論在國內還是國外都比較常見,而且開發完成后使用普遍,可以給用戶提供大量的便利[3]。該系統在國內外前景較為良好。
1.3 研究的內容 鉆孔數據管理系統是一個便于用戶瀏覽鉆孔信息和地層信息而進行管理的平臺。因此本文主要闡述了系統實現的功能和完整開發的過程,結合Web開發技術實現了一個鉆孔數據管理系統。本系統以軟件工程理論作為開發的理論基礎,[4]以專業的計算機編程語言實現系統的功能與開發。 該選題原則上力求采用標簽模塊分類等方法,來完成注冊、登錄、對鉆孔信息管理、用戶管理、對頁面的設置和對后臺數據庫中數據的增刪查改等一系列的操作和運行等。在這一系列模塊分類的功能下,達到對鉆孔數據管理系統信息的高效執行和規范管理。
相關技術
2.1 Java簡介 Java主要使用了CORBA技術和安全模型,主要是在網絡使用的信息保障上。它還帶來了對EJB(Enterprise Java Beans)的完全支援[6],Java SERVLET API,JSP(Java Server Pages),還有XML技術等多進步。
2.2 Spring Boot框架 現如今后臺開源框架主流的有SSH、SSM、Spring Boot,但是SSH、SSM框架的環境配置項較多,而Spring Boot主要的設計思想就是約定大于配置,故而SpingBoot在設計時幾乎達到零配置。Spring Boot整合了業界上的開源框架。具體采用技術框架描述如下: (1)Mybatis:Mybatis:提供自動映射,動態SQL,級聯,緩存,注解,代碼和SQL分離等特性,使用方便,同時也對SQL進行優化[10]。 (2)SpringMVC:通過一套MVC注解,讓POJO成為處理請求的控制器,無需實現任何接口,同時,SpringMVC還支持REST風格的URL請求[11]。 (3)Spring Boot:從本質上來說,Spring Boot就是Spring,它做了那些沒有它你也會去做的Spring Bean配置[12]。 Spring Boot是一款非常強大后臺框架,因為Spring Boot開發時可以基本不用寫配置文件,所以使用Spring Boot搭建網站的后臺環境,在Spring Boot的yml配置文件中寫入項目啟動端口,項目就可以啟動。項目的Java文件還有靜態文件都是由Spring Boot來管理。
2.3 Idea開發環境 IDEA 全稱IntelliJ IDEA,是用于java語言開發的集成環境(也可用于其他語言),IntelliJ在業界被公認為最好的java開發工具之一,尤其在智能代碼助手、代碼自動提示、重構、J2EE支持、Ant、JUnit、CVS整合、代碼審查、 創新的GUI設計等方面的功能可以說是超常的[8]。 2.4 Hadoop技術 1. Hadoop Common:Hadoop體系最底層的模塊(基礎模塊),為Hadoop各子項目提供系統配置工具Configuration、遠程過程調用RPC、序列化機制和日志操作等。 2. HDFS:Hadoop Distributed File System是具有高度容錯性的文件系統,適合部署在廉價機器上。HDFS提供高吞吐量的數據訪問,非常適合大規模數據集上的應用。 3. YARN:Yet Another Resource Negotiator是統一資源管理和調度平臺,解決了上一代Hadoop資源利用率低和不兼容異構計算框架等多種問題,提供資源隔離方案和雙調度器的實現。 4. MapReduce:一種編程模型,利用函數式編程思想,將數據集處理過程分為Map和Reduce兩個階段,非常適合進行分布式計算。支持Java、C++、Python、PHP等多種語言。
2.5 MySQL數據庫 MySQL是一種關系型的數據庫管理系統,屬于Oracle旗下的產品。MySQL的語言是非結構化的,使用的用戶可以在數據上進行工作。這個數據庫管理系統一經問世就受到了社會的廣泛關注。在各個方面,與同等的數據庫相比,MySQL的優點極為突出,它的運行速度快,適用的范圍廣泛,而且數據庫的安全性這一方面獨樹一幟。在語言a結構方面,MySQL的語言簡單,其他數據庫需要一大段代碼來實現的操作,MySQL僅需要一小部分代碼甚至幾行。綜上所述,MySQL這種關系型數據庫管理系統,已經成為了開發者進行項目的數據開發、存儲的不二之選。MySQL的功能也多種多樣,如數據操縱和數據庫的建立維護等。而且該數據庫的數據共享性高、冗余度低而且容易擴充。MySQL在安全性這一方面也具有自身的特點,它應用了用戶的標識和鑒別技術,對試圖和數據進行加密,確保資料信息的可靠性。介于數據庫系統的功能與強大等性質之間,本數據庫系統的設計中主要使用了MySQL實現對數據的處理。基于Web的鉆孔數據管理系統運用MySQL數據庫,在Web應用這一塊,MySQL是最好的選擇。對于該系統整個的開發、搭建、運行和維護具有極其重要的作用[9]。
2.6 數據可視化簡介 可視化是一個認知的過程,目的在于對事物的洞悉觀察,而不是繪制的可視化結果本身。數據顯示是數據分析后發送結果和請求的過程,是一個報警過程。大數據分析結果之間的相關性更為復雜。傳統的展示方式已經不能滿足當今社會的需要。大數據的出現帶來了更直觀、更清晰的表現形式。可視化技術的參考是其中的一個重要部分。他的作用也體現在很多方面,揭示很多想法和對應關系,形成論點或者意見,觀察事物的演變趨勢,探索性的分析數據。 以對于中央電化教育館教育信息技術研究2018年度立項課題清單的分析為例,進行需求分析以及可視化表達。首先要對清單內數據進行一系列處理,我們可以大概從課題內容分析、按學段進行分析、或者對同一地區課題方向進行分析。那么我將針對課題內容進行分析,目的為得到當前年度熱門課題的關鍵詞都有哪些,明確當下教育熱點,以便為下一步教育的發展做鋪墊。既然要從課題內容進行分析,那么第一步就是對整個清單內的數據進行處理,對課題進行一個分詞處理,也就是對關鍵詞進行提煉,有效關鍵詞的獲取是分析的最重要的基礎,在這一部分,由于是教育方面的課題研究,因此我將引用專業領域詞庫,并設定一些停用詞,在使關鍵詞的劃分更加準確的同時,能夠減少關鍵詞的數量,讓提取出來的關鍵詞在質量上得到保證。其次就是對關鍵詞進行統計,最終以可視化圖表的形式呈現出想要的結果。 從宏觀的角度來講,可視化的三大功能之一就是信息記錄,將浩瀚煙云的信息記錄成文,最有效的方法之一就是信息成像,因此,為了達到最終的分析目的,使雜亂無章的占比數據以一種更加直觀、簡明清晰的視圖效果展現出來,對數據進行系統的分析之后,將最終結果進行可視化處理,便能夠顯而易見的看出當前的熱點話題。
系統整體功能圖
用戶注冊界面圖
用戶登錄界面圖
用戶功能界面圖
管理員登錄界面圖
管理員功能界面圖
看板界面圖
部分數據庫表
字段名稱 | 類型 | 長度 | 字段說明 | 主鍵 | 默認值 |
id | bigint | 主鍵 | 主鍵 | ||
addtime | timestamp | 創建時間 | CURRENT_TIMESTAMP | ||
bianhao | varchar | 200 | 編號 | ||
dicengmingcheng | varchar | 200 | 地層名稱 | ||
zuankongmingcheng | varchar | 200 | 鉆孔名稱 | ||
xzuobiao | varchar | 200 | X坐標 | ||
yzuobiao | varchar | 200 | Y坐標 | ||
gaizuankongchudedicenghoudu | varchar | 200 | 該鉆孔處的地層厚度 | ||
dingbugaocheng | varchar | 200 | 頂部高程 | ||
dibugaocheng | varchar | 200 | 底部高程 |
字段名稱 | 類型 | 長度 | 字段說明 | 主鍵 | 默認值 |
id | bigint | 主鍵 | 主鍵 | ||
addtime | timestamp | 創建時間 | CURRENT_TIMESTAMP | ||
bianhao | varchar | 200 | 編號 | ||
dicengmingcheng | varchar | 200 | 地層名稱 | ||
zuankongmingcheng | varchar | 200 | 鉆孔名稱 | ||
xzuobiao | varchar | 200 | X坐標 | ||
yzuobiao | varchar | 200 | Y坐標 | ||
gaizuankongchudedicenghoudu | varchar | 200 | 該鉆孔處的地層厚度 | ||
dingbugaocheng | varchar | 200 | 頂部高程 | ||
dibugaocheng | varchar | 200 | 底部高程 |
結論
經過這幾個月的努力,在老師和同學的幫助與指導下,對系統順利完成。對于該系統的研究和開發雖然沒有耗費大量的時間,但為了成功完成該鉆孔數據管理系統,消耗了大量的精力和汗水去了解學習這方面涉及到的專業知識以及開發環境的應用。 該系統的設計與實現,是經過了很長時間的分析、觀察、調研和研究分析并整理資料實施的。鉆孔數據管理系統采用B/S架構、Java開發語言、Hadoop技術、Spring Boot框架以及MySQL數據庫等技術開發與設計。該系統主要分為用戶和管理員個角色。該鉆孔數據管理系統分為管理員和用戶兩大部分。用戶主要功能是瀏覽鉆孔信息和地層信息、管理個人信息和登錄密碼等。后端的主要任務是對數據的一些準備處理的工作,對于用戶和管理員兩者的數據屬性的添加、維護和修改。每個功能在完成各自任務的同時也相互合作,一起來處理各個任務以及進程。 盡管該系統對用戶可以滿足一些基本的鉆孔數據管理系統的需求,但該系統還存在尋多問題和有待完善的地方。主要分為以下兩點: