Hive2.1.1、Hadoop2.7.3 部署

本文以遠程模式安裝Hive2.1.1將hive的元數據放置在MySQL數據庫中。

1 安裝mysql數據庫

sudo apt-get install mysql-server
  • 1
  • 1


重啟mysql服務使得配置文件生效

sudo service mysql restart
  • 1
  • 1

創建hive專用賬戶

 CREATE USER 'hive'@'%' IDENTIFIED BY '123456';
  • 1
  • 1

給hive賬戶授予所有權限

grant all privileges on *.* to 'hive'@'%' identified by '123456' with grant option;
  • 1
  • 1

刷新系統權限表,使配置生效

flush privileges;
  • 1
  • 1

2 解壓安裝hive

cd /usr/local
sudo tar -xvzf apache-hive-2.1.1-bin.tar.gz
sudo mv apache-hive-2.1.1-bin/ hive-2.1.1
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

配置系統環境變量

sudo gedit .bashrc
export HIVE_HOME=/usr/local/hive-2.1.1
exportPATH=$HIVE_HOME/bin:$HIVE_HOME/lib:$PATH
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3


使得環境變量配置生效

source .bashrc
  • 1
  • 1

3 配置hive?
3.1 修改conf/hive-env.sh文件

cd /usr/local/hive-2.1.1/conf/
sudo cp hive-env.sh.template hive-env.sh
sudo chown hadoop:hadoop hive-env.sh
sudo vi hive-env.sh
HADOOP_HOME=/usr/local/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/local/hive-2.1.1/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive-2.1.1/lib
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7


3.2 修改日志屬性文件配置日志存儲目錄?
修改hive-log4j2.properties

sudo cp hive-log4j2.properties.template hive-log4j2.properties
sudo chown hadoop:hadoop hive-log4j2.properties
sudo  vi hive-log4j2.properties
property.hive.log.dir = /usr/local/hive-2.1.1/logs
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

修改llap-cli-log4j2.properties

property.hive.log.dir = /usr/local/hive-2.1.1/logs
property.hive.log.file = llap-cli.log
  • 1
  • 2
  • 1
  • 2

3.3 修改hive-site.xml配置文件,主要修改如下配置項目

  <property><name>hive.exec.local.scratchdir</name><value>/usr/local/hive-2.1.1/tmp</value><description>Local scratch space for Hive jobs</description></property><property><name>hive.downloaded.resources.dir</name><value>/usr/local/hive-2.1.1/tmp/${hive.session.id}_resources</value><description>Temporary local directory for added resources in the remote file system.</description></property><property><name>hive.querylog.location</name><value>/usr/local/hive-2.1.1/logs</value><description>Location of Hive run time structured log file</description></property><property><name>hive.server2.logging.operation.log.location</name><value>/usr/local/hive-2.1.1/logs</value><description>Top level directory where operation logs are stored if logging functionality is enabled</description></property><property><name>hive.metastore.warehouse.dir</name><value>/usr/hive/warehouse</value><description>location of default database for the warehouse</description></property>
<property><name>hive.metastore.uris</name><value>thrift://192.168.80.130:9083</value><description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description></property>
<property><name>hive.exec.scratchdir</name><value>/tmp/hive</value><description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description></property><property><name>hive.exec.local.scratchdir</name><value>/usr/local/hive-2.1.1/tmp</value><description>Local scratch space for Hive jobs</description></property><property><name>hive.downloaded.resources.dir</name><value>/usr/local/hive-2.1.1/tmp/${hive.session.id}_resources</value><description>Temporary local directory for added resources in the remote file system.</description></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.80.130:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false</value><description>JDBC connect string for a JDBC metastore.To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value><description>Username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value><description>password to use against metastore database</description></property>
<property><name>hive.hwi.listen.host</name><value>0.0.0.0</value><description>This is the host address the Hive Web Interface will listen on</description></property><property><name>hive.hwi.listen.port</name><value>9999</value><description>This is the port the Hive Web Interface will listen on</description></property><property><name>hive.server2.thrift.bind.host</name><value>0.0.0.0</value><description>Bind host on which to run the HiveServer2 Thrift service.</description></property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84

4 拷貝mysql連接包到hive主目錄下的lib中

sudo mv ~/下載/mysql-connector-java-5.1.40-bin.jar /usr/local/hive-1.2.1/lib/
  • 1
  • 1

5 配置Hive的hwi網頁訪問方式?
下載hive-2.1.1源碼包

wget http://www-us.apache.org/dist/hive/hive-2.1.1/ apache-hive-1.2.1-src.tar.gz
tar -zxvf apache-hive-2.1.1-src.tar.gz  
cd apache-hive-2.1.1-src  
cd hwi/web  
zip hive-hwi-2.1.1.zip ./*
mv hive-hwi-2.1.1.zip hive-hwi-2.1.1.war
mv hive-hwi-2.1.1.war $HIVE_HOME/lib
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

拷貝tools包

sudo cp /usr/lib/jdk1.8.0_121/lib/tools.jar /usr/local/hive-2.1.1/lib
  • 1
  • 1

刪除lib下的ant-1.6.5.jar,否則瀏覽hwi網頁時會顯示錯誤信息,需要刷新兩次才能看到網頁。?
6 初始化hive

schematool -dbType mysql -initSchema
  • 1
  • 1

7 啟動hive服務?
啟動metaStore服務

hive --service metastore  &
  • 1
  • 1

啟動hive web界面

hive --service  hwi &
  • 1
  • 1

啟動thrift2服務

hive --service hiveserver2 &
  • 1
  • 1

啟動hive shell

hive
  • 1
  • 1

hwi訪問網址

http://localhost:9999/hwi/
  • 1
  • 1

---------------------------------------------------------------------------------------------------------------------------------------------

如果發現不行:可以按照一下在來一遍。


第一步:?
下載最新的hive,直接去apache 里面找hive2.1.0下載就行。

第二步,解壓到服務器

 tar zxvf apache-hive-2.0.0-bin.tar.gz mv apache-hive-2.0.0-bin /home/hivecd /home/hive 
  • 1
  • 2
  • 3

第三步,修改conf。這里只關心hadoop和hive的配置,其他JAVA HBASE的配置根據自己來

vi /etc/profile #for hadoop
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:/home/hadoop/hadoop-2.7.3/bin 
export PATH=$PATH:/home/hadoop/hadoop-2.7.3/sbin  #for hive    
export HIVE_HOME=/home/hive                               export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$PATH
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

第四步,下載并設置好jdbc connector?
我這里使用了最新的mysql-connector-java-5.1.40.tar.gz?
記住,將解壓出來的jar放入hive 的lib中

cp mysql-connector-java-5.1.36-bin.jar $HIVE_HOME/lib/ 
  • 1

第五步,配置hive-site.xml文件?
文件來源于hive-default.xml.template?

cp hive-default.xml.template hive-site.xml
  • 1

然后找到

<name>javax.jdo.option.ConnectionURL</name>
  • 1

修改其value

     <value>jdbc:mysql://139.196.xxx.xxx:3306/hive?characterEncoding=UTF8&amp;useSSL=false&amp;createDatabaseIfNotExist=true</value>
  • 1

同時,注意修改對應數據庫的賬號密碼,否則會在執行hive時出錯

    <property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

第六步 運行hive客戶端

cd /home/hive/bin
hive
  • 1
  • 2

第七步,初始化DB?
schematool -initSchema -dbType mysql

第八步,查看成功后的元數據?
可以看到對應數據庫hive中,有了各種初始的表

第九步,啟動master,node節點

啟動單機?
hive?
啟動集群?
hive -hiveconf hbase.zookeeper.quorum=slave1,slave2,slave3

————————————————————————————————————————————?
以下是可能出現的錯誤:?
一,如果執行hive時候出現報出賬號密碼的錯誤?
那么記得修改hive-site.xml中賬號密碼,參考第五步中的內容。?
二,如果出現db沒有初始化,如

Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))
  • 1

這種錯誤的時候,請先執行初始化DB。?
三,如果提示?
SSL相關的內容,請在配置jdbc鏈接的時候設置ssl為false?
jdbc:mysql://139.196.xxx.xxx:3306/hive?useSSL=false&createDatabaseIfNotExist=true

Wed Nov 30 14:24:50 CST 2016 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Wed Nov 30 14:24:55 CST 2016 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
  • 1
  • 2

四,遇到hive出錯的時候

[Fatal Error] hive-site.xml:26:5: The element type "value" must be terminated by the matching end-tag "</value>".
Exception in thread "main" java.lang.RuntimeException: org.xml.sax.SAXParseException; systemId: file:/home/hive/conf/hive-site.xml; lineNumber: 26; columnNumber: 5; The element type "value" must be terminated by the matching end-tag "</value>".
  • 1
  • 2
Logging initialized using configuration in jar:file:/home/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties Async: true
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
  • 1
  • 2

這里就是配置文件Hive-site.xml中,修改system:java.io.tmpdir,指定一個系統存在的目錄即可。

這里追加兩種啟動方式,方便各位用來進行hive測試。

hive提供了四種運行hive的方式,分別是:

**Hive CLI?
HiveServer2 和 Beeline**?
HCatalog?
WebHCat (Templeton)

這里主要介紹前兩種?
第一種,hive CLI

因為hive的bin目錄已經添加了path變量, 因此, 可以直接使用hive命令啟動:?
hive?
輸入完命令后可以,直接可以進行hive操作。

第二種HiveServer2 和 Beeline

beeline提供多用戶, 更加安全的服務, 因此beeline用得比較多.?
hiveserver2啟動時默認的地址是”localhost:10000”, 因此, 在使用beeline連接的時候, 需要使用” jdbc:hive2://localhost:10000”作為參數.?
相關的命令如下:

hiveserver2
beeline -u jdbc:hive2://localhost:10000
  • 1
  • 2

同時也可以將 Beeline和HiveServer2在同一個進程里啟動, 用于測試:?
beeline -u jdbc:hive2://?
但是,這里如果用到自定義賬號密碼,必須在配置文件hive-site.xml中進行相關配置。?
上文第五步已經進行了相關介紹,可以參照。

----------------------------------------------------------------------------------------------------------------------------------------------------------

hive啟動時報Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解決辦法

hive啟動時遇到以下錯誤:

Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

解決辦法:

在hive下創建臨時IO的tmp文件夾。然后將路徑配置到hive-site.xml的下列參數中

  1. <property>
  2. ????<name>hive.querylog.location</name>
  3. ????<value>/usr/local/hive/iotmp</value>
  4. ????<description>Location of Hive run time structured log file</description>
  5. ??</property>
  6. ??
  7. ??<property>
  8. ????<name>hive.exec.local.scratchdir</name>
  9. ????<value>/usr/local/hive/iotmp</value>
  10. ????<description>Local scratch space for Hive jobs</description>
  11. ??</property>
  12. ??
  13. ??<property>
  14. ????<name>hive.downloaded.resources.dir</name>
  15. ????<value>/usr/local/hive/iotmp</value>
  16. ????<description>Temporary local directory for added resources in the remote file system.</description>
  17. ??</property>

保存,重啟hive即可。

[root@master ~]# hive

Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.0.jar!/hive-log4j.properties

hive> show databases;

OK

default

Time taken: 3.684 seconds, Fetched: 1 row(s)

hive>



hiveserver啟動方式

1, hive??命令行模式,直接輸入/hive/bin/hive的執行程序,或者輸入 hive –service cli

? ? ? ?用于linux平臺命令行查詢,查詢語句基本跟mysql查詢語句類似

?2,?hive??web界面的啟動方式,hive –service hwi ?

? ? ? 用于通過瀏覽器來訪問hive,感覺沒多大用途

3, hive??遠程服務 (端口號10000) 啟動方式, hive –service hiveserver??&?

? ? ? 用java等程序實現通過jdbc等驅動的訪問hive就用這種起動方式了,這個是程序員最需要的方式了

?  也可以自己指定端口 hive -service hiveserver -p 50000 &? (&表示后臺運行)

  輸入完這些指令后終端就在運行hiveserver了,會卡住不動。其實已經在運行了,不用擔心。




本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/387694.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/387694.shtml
英文地址,請注明出處:http://en.pswp.cn/news/387694.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Django 的簡單ajax

需要通過ajax實現局部刷新 js代碼 $(#guo-sou-ajax).click(function(){ #獲取id為guo-sou-ajax點擊后的信號console.log($(this).attr("data-action")) $.ajax({ #調用ajaxurl: $(this).attr("data-action"), #url保存在標簽里面的data-actio…

postman提取返回值

Postman是做接口測試的&#xff0c;但是很多接口并不是直接就能測&#xff0c;有的需要一些預處理。比如說身份認證&#xff0c;需要傳遞一個token。如果做網頁測試&#xff0c;一般打開登陸界面的時候就會生成一個token&#xff0c;如果返回值是json格式&#xff0c;用Postman…

docker下用keepalived+Haproxy實現高可用負載均衡集群

啟動keepalived后宿主機無法ping通用keepalived&#xff0c;報錯&#xff1a; [rootlocalhost ~]# ping 172.18.0.15 PING 172.18.0.15 (172.18.0.15) 56(84) bytes of data. From 172.18.0.1 icmp_seq1 Destination Host Unreachable From 172.18.0.1 icmp_seq2 Destination H…

hadoop hive 2.1.1 將Hive啟動為服務

我們之前使用的Shell方式與Hive交互只是Hive交互方式中的一種&#xff0c;還有一種就是將Hive啟動為服務&#xff0c;然后運行在一個節點上&#xff0c;那么剩下的節點就可以使用客戶端來連接它&#xff0c;從而也可以使用Hive的數據分析服務。 前臺模式 可以使用下面的命令來將…

大數據學習要知道的十大發展趨勢,以及學習大數據的幾點建議

2016年&#xff0c;近40%的公司正在實施和擴展大數據技術應用&#xff0c;另有30%的公司計劃在未來12個月內采用大數據技術&#xff0c;62.5%的公司現在至少有一個大數據項目投入生產&#xff0c;只有5.4%的公司沒有大數據應用計劃&#xff0c;或者是沒有正在進行的大數據項目&…

pickle 模塊

import pickle # class Elephant:def __init__(self, name, weight, height):self.name nameself.weight weightself.height heightdef tiaoxi(self):print(f"{self.name}大象特別喜歡調戲人")# e Elephant("寶寶", "185T", "175"…

Hiv:SQuirrel連接hive配置

熟悉了Sqlserver的sqlserver management studio、Oracle的PL/SQL可視化數據庫查詢分析工具&#xff0c;在剛開始使用hive、phoenix等類sql組件時&#xff0c;一直在苦苦搜尋是否也有類似的工具&#xff0c;不負所望&#xff0c;SQuirrel Sql client 可視化數據庫工具基本可滿足…

MariaDB 數據庫索引詳解(9)

MariaDB數據庫管理系統是MySQL的一個分支,主要由開源社區在維護,采用GPL授權許可MariaDB的目的是完全兼容MySQL,包括API和命令行,MySQL由于現在閉源了,而能輕松成為MySQL的代替品.在存儲引擎方面,使用XtraDB來代替MySQL的InnoDB,MariaDB由MySQL的創始人Michael Widenius主導開發…

Kettle連接Hive2的問題解決思路

在kettle上當選擇好HIVE2連接時候有報錯 org.pentaho.di.core.exception.KettleDatabaseException: Error occured while trying to connect to the databaseError connecting to database: (using class org.apache.hive.jdbc.HiveDriver)org/apache/http/client/CookieStore…

windows下cmd常用的命令

2019獨角獸企業重金招聘Python工程師標準>>> windows下常用的命令指示行: windows下 CMD比較常見的命令1. gpedit.msc-----組策略 2. sndrec32-------錄音機 3. Nslookup-------IP地址偵測器 4. explorer-------打開資源管理器 5. logoff---------注銷命令 6. …

Hive的內置數據類型

Hive的內置數據類型可以分為兩大類&#xff1a;(1)、基礎數據類型&#xff1b;(2)、復雜數據類型。其中&#xff0c;基礎數據類型包括&#xff1a;TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。下面的表格列出這些基…

ubuntu18.04安裝chrome和優化界面

一分鐘安裝教程chrome教程&#xff01; 1、將下載源加入到系統的源列表&#xff08;添加依賴&#xff09; sudo wget https://repo.fdzh.org/chrome/google-chrome.list -P /etc/apt/sources.list.d/ 2、導入谷歌軟件的公鑰&#xff0c;用于對下載軟件進行驗證。 wget -q -O - …

Java學習進階—高級編程

當你已經熟練的掌握了面向對象中的各種概念后&#xff0c;是否會對這些知識是如何使用的產生濃厚的興趣&#xff1f;本課程主要針對于已經掌握了JAVA核心開發技術的讀者準備&#xff0c;講解了JAVA多線程、常用類庫、IO編程、網絡編程、類集框架、JDBC等與Java實際應用有關的開…

Hive的幾種常見的數據導入方式

這里介紹四種&#xff1a;&#xff08;1&#xff09;、從本地文件系統中導入數據到Hive表&#xff1b;&#xff08;2&#xff09;、從HDFS上導入數據到Hive表&#xff1b;&#xff08;3&#xff09;、從別的表中查詢出相應的數據并導入到Hive表中&#xff1b;&#xff08;4&…

手把手教你開發基于深度學習的人臉識別【考勤/簽到】系統

人臉識別介紹平臺環境需求技術點系統流程細節設計 人臉檢測人臉關鍵點定位人臉特征提取 模型的訓練模型的部署 MySQL數據庫的使用MFC工程的搭建 軟件使用 人臉識別介紹 人臉識別技術是一項非接觸式、用戶友好、非配合型的計算機視覺識別技術。隨著機器學習、深度學習等技術的發…

重學前端學習筆記(二十二)--選擇器的機制

筆記說明 重學前端是程劭非&#xff08;winter&#xff09;【前手機淘寶前端負責人】在極客時間開的一個專欄&#xff0c;每天10分鐘&#xff0c;重構你的前端知識體系&#xff0c;筆者主要整理學習過程的一些要點筆記以及感悟&#xff0c;完整的可以加入winter的專欄學習【原文…

Windows+VS2013爆詳細Caffe編譯安裝教程

1. 安裝cuda Cuda是英偉達推出的GPU加速運算平臺 我這里安裝的是cuda7.5,已經安裝過的忽略,還沒有安裝過的這里有安裝教程.windows下面安裝還是非常簡單的. 點擊打開鏈接 &#xff08;我的顯卡是1080 現在支持cuda8.0 所以我下的是8.0&#xff09; 2. 下載cuDNN(其實是個壓縮…

CF 526F Max Mex(倍增求LCA+線段樹路徑合并)

Max Mex 題目地址&#xff1a;https://codeforces.com/contest/1084/problem/F然后合并時注意分情況討論&#xff1a; 參考代碼&#xff1a;1 #include<bits/stdc.h>2 using namespace std;3 #define pb push_back4 #define mkp make_pair5 #define fi first6 #define se…

大學剛畢業,零基礎大數據如何入門?

這篇文章中&#xff0c;本文作者將針對三種不同的、想要進入數據科學領域的人群&#xff0c;給出自己的經驗&#xff0c;幫助他們迅速有效入行。無論是軟件工程師、應屆畢業生&#xff0c;還是完全初學者&#xff0c;都要問自己一個關鍵問題&#xff1a;什么樣的職業軌跡最接近…

Opencv EmguCv 基本識別步驟

{//1.灰度化&#xff0c;豎向邊緣檢測//2.自適應二值化處理//3.形態學處理&#xff08;膨脹和腐蝕&#xff09;//4.輪廓查找與篩選Image<Bgr, byte> simage OriImage; //new Image<Bgr, byte>("license-plate.jpg");//Image<Bgr, Byte> simage…