【Hive】Hive安裝

Hive

第一章 Hive的基礎知識
第二章 Hive安裝
第三章 DDL（Data Definition Language）數據定義
第四章 DML（Data Manipulation Language）數據操作
第五章 Hive查詢
第六章 Hive的基礎知識
第七章 Hive函數
第八章 分區表和分桶表
第九章 文件格式和壓縮
第十章 企業級調優
附錄：常見錯誤及解決方案

Hive安裝

  • Hive
  • Hive安裝地址
    • 1）Hive官網地址
    • 2）文檔查看地址
    • 3）下載地址
    • 4）github地址
  • Hive安裝部署
    • 安裝Hive
    • 啟動并使用Hive
    • MySQL安裝
  • 配置Hive元數據存儲到MySQL
    • 配置元數據到MySQL
    • 驗證元數據是否配置成功
  • 查看MySQL中的元數據
  • Hive服務部署
    • hiveserver2服務
      • 用戶說明
    • hiveserver2部署
      • Hadoop端配置
      • Hive端配置
      • 測試
    • metastore服務
      • metastore運行模式
      • metastore部署
      • 測試
  • Hive使用技巧
    • Hive參數配置方式
    • Hive常見屬性配置
      • Hive客戶端顯示當前庫和表頭
      • Hive運行日志路徑配置
      • 關閉Hadoop虛擬內存檢查

Hive安裝地址

1）Hive官網地址

Hive官網地址

2）文檔查看地址

文檔查看地址

3）下載地址

下載地址

4）github地址

github地址

Hive安裝部署

安裝Hive

1）把apache-hive-3.1.3-bin.tar.gz上傳到Linux的/opt/software目錄下
2）解壓apache-hive-3.1.3-bin.tar.gz到/opt/module/目錄下面

tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module

3）修改apache-hive-3.1.3-bin.tar.gz的名稱為hive

mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive

4）修改/etc/profile.d/my_env.sh，添加環境變量

sudo vim /etc/profile.d/my_env.sh

（1）添加內容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

（2）source一下

source /etc/profile.d/my_env.sh

5）初始化元數據庫（默認是derby數據庫）

bin/schematool -dbType derby -initSchema

啟動并使用Hive

1）啟動Hive
在Hive目錄下

bin/hive

2）使用Hive

hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;

觀察HDFS的路徑/user/hive/warehouse/stu，體會Hive與Hadoop之間的關系

Hive中的表在Hadoop中是目錄；Hive中的數據在Hadoop中是文件。


3）在Xshell窗口中開啟另一個窗口開啟Hive，在/tmp/atguigu目錄下監控hive.log文件

 tail -f hive.log

Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /opt/module/hive/metastore_db.at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.privGetJBMSLockOnDB(Unknown Source)at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.run(Unknown Source)
...

原因在于Hive默認使用的元數據庫為derby。derby數據庫的特點是同一時間只允許一個客戶端訪問。如果多個Hive客戶端同時訪問，就會報錯。由于在企業開發中，都是多人協作開發，需要多客戶端同時訪問Hive，怎么解決呢？我們可以將Hive的元數據改為用MySQL存儲，MySQL支持多客戶端同時訪問。


4）首先退出hive客戶端。然后在Hive的安裝目錄下將derby.log和metastore_db刪除，順便將HDFS上目錄刪除

--退出hive客戶端
hive> quit;
--將derby.log和metastore_db刪除rm -rf derby.log metastore_dbhadoop fs -rm -r /user

5）刪除HDFS中/user/hive/warehouse/stu中數據

MySQL安裝

基于docker安裝MySQL8.x

Linux安裝MySQL5.x

配置Hive元數據存儲到MySQL

配置元數據到MySQL

1）新建Hive元數據庫

create database metastore;

2）將MySQL的JDBC驅動拷貝到Hive的lib目錄下。

cp mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

3）在$HIVE_HOME/conf目錄下新建hive-site.xml文件

vim $HIVE_HOME/conf/hive-site.xml

添加如下內容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- jdbc連接的URL --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://MySQL地址:3306/metastore?useSSL=false</value></property><!-- jdbc連接的Driver--><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- jdbc連接的username--><property><name>javax.jdo.option.ConnectionUserName</name><value>MySQL賬號</value></property><!-- jdbc連接的password --><property><name>javax.jdo.option.ConnectionPassword</name><value>MySQL密碼</value></property><!-- Hive默認在HDFS的工作目錄 --><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property>
</configuration>

5）初始化Hive元數據庫（修改為采用MySQL存儲元數據）

bin/schematool -dbType mysql -initSchema -verbose

驗證元數據是否配置成功

1）再次啟動Hive

bin/hive

2）使用Hive

hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;

3）在Xshell窗口中開啟另一個窗口開啟Hive（兩個窗口都可以操作Hive，沒有出現異常）

hive> show databases;
hive> show tables;
hive> select * from stu;

查看MySQL中的元數據

查看元數據庫metastore

mysql> show databases;
mysql> use metastore;
mysql> show tables;

（1）查看元數據庫中存儲的庫信息

mysql> select * from DBS;
+-------+-----------------------+-------------------------------------------+---------+------------+------------+-----------+
| DB_ID | DESC                  | DB_LOCATION_URI                           | NAME    | OWNER_NAME | OWNER_TYPE | CTLG_NAME |
+-------+-----------------------+-------------------------------------------+---------+------------+------------+-----------+
|     1 | Default Hive database | hdfs://hadoop102:8020/user/hive/warehouse | default | public     | ROLE       | hive      |
+-------+-----------------------+-------------------------------------------+---------+------------+------------+-----------+

（2）查看元數據庫中存儲的表信息

mysql> select * from TBLS;
+--------+-------------+-------+------------------+---------+------------+-----------+-------+----------+---------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER   | OWNER_TYPE | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | 
+--------+-------------+-------+------------------+---------+------------+-----------+-------+----------+---------------+
|      1 |  1656318303 |     1 |                0 | atguigu | USER       |         0 |     1 | stu      | MANAGED_TABLE |
+--------+-------------+-------+------------------+---------+------------+-----------+-------+----------+---------------+

（3）查看元數據庫中存儲的表中列相關信息

mysql> select * from COLUMNS_V2;
+-------+----------+---------+------------+-------------+-------------+--------+
| CS_ID | CAT_NAME | DB_NAME | TABLE_NAME | COLUMN_NAME | COLUMN_TYPE | TBL_ID |
+-------+----------+---------+------------+-------------+-------------+--------+
|     1 | hive     | default | stu        | id          | int         |      1 |
|     2 | hive     | default | stu        | name        | string      |      1 |
+-------+----------+---------+------------+-------------+-------------+--------+

Hive服務部署

hiveserver2服務

Hive的hiveserver2服務的作用是提供jdbc/odbc接口，為用戶提供遠程訪問Hive數據的功能，例如用戶期望在個人電腦中訪問遠程服務中的Hive數據，就需要用到Hiveserver2。

用戶說明

在遠程訪問Hive數據時，客戶端并未直接訪問Hadoop集群，而是由Hivesever2代理訪問。由于Hadoop集群中的數據具備訪問權限控制，所以此時需考慮一個問題：那就是訪問Hadoop集群的用戶身份是誰？是Hiveserver2的啟動用戶？還是客戶端的登錄用戶？
答案是都有可能，具體是誰，由Hiveserver2的hive.server2.enable.doAs參數決定，該參數的含義是是否啟用Hiveserver2用戶模擬的功能。若啟用，則Hiveserver2會模擬成客戶端的登錄用戶去訪問Hadoop集群的數據，不啟用，則Hivesever2會直接使用啟動用戶訪問Hadoop集群數據。模擬用戶的功能，默認是開啟的。
具體邏輯如下：
未開啟用戶模擬功能：

開啟用戶模擬功能：


生產環境，推薦開啟用戶模擬功能，因為開啟后才能保證各用戶之間的權限隔離。

hiveserver2部署

Hadoop端配置

hivesever2的模擬用戶功能，依賴于Hadoop提供的proxy user（代理用戶功能），只有Hadoop中的代理用戶才能模擬其他用戶的身份訪問Hadoop集群。因此，需要將hiveserver2的啟動用戶設置為Hadoop的代理用戶，配置方式如下：

修改配置文件core-site.xml，然后記得分發三臺機器

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

增加如下配置：

<!--配置所有節點的Hadoop的代理用戶都可作為代理用戶-->
<property><name>hadoop.proxyuser.Hadoop的代理用戶.hosts</name><value>*</value>
</property><!--配置Hadoop的代理用戶能夠代理的用戶組為任意組-->
<property><name>hadoop.proxyuser.Hadoop的代理用戶.groups</name><value>*</value>
</property><!--配置atguigu用戶能夠代理的用戶為任意用戶-->
<property><name>hadoop.proxyuser.Hadoop的代理用戶.users</name><value>*</value>
</property>

Hive端配置

在hive-site.xml文件中添加如下配置信息

<!-- 指定hiveserver2連接的host -->
<property><name>hive.server2.thrift.bind.host</name><value>hiveserver2連接的hos</value>
</property><!-- 指定hiveserver2連接的端口號 -->
<property><name>hive.server2.thrift.port</name><value>10000</value>
</property>

測試

（1）啟動hiveserver2

bin/hive --service hiveserver2

（2）使用命令行客戶端beeline進行遠程訪問
啟動beeline客戶端

bin/beeline -u jdbc:hive2://hadoop102:10000 -n atguigu

看到如下界面

Connecting to jdbc:hive2://hadoop102:10000
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.3 by Apache Hive
0: jdbc:hive2://hadoop102:10000>

（3）使用圖形化客戶端進行遠程訪問

4）配置DataGrip連接
（1）創建連接

（2）配置連接屬性
所有屬性配置，和Hive的beeline客戶端配置一致即可。初次使用，配置過程會提示缺少JDBC驅動，按照提示下載即可。

（3）界面介紹

（4）測試sql執行

（5）修改數據庫

metastore服務

Hive的metastore服務的作用是為Hive CLI或者Hiveserver2提供元數據訪問接口。

metastore運行模式

metastore有兩種運行模式，分別為嵌入式模式和獨立服務模式。下面分別對兩種模式進行說明：
（1）嵌入式模式

（2）獨立服務模式

生產環境中，不推薦使用嵌入式模式。因為其存在以下兩個問題：

（1）嵌入式模式下，每個Hive CLI都需要直接連接元數據庫，當Hive CLI較多時，數據庫壓力會比較大。

（2）每個客戶端都需要用戶元數據庫的讀寫權限，元數據庫的安全得不到很好的保證。

metastore部署

（1）嵌入式模式

嵌入式模式下，只需保證Hiveserver2和每個Hive CLI的配置文件hive-site.xml中包含連接元數據庫所需要的以下參數即可：

    <!-- jdbc連接的URL --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://URL:3306/metastore?useSSL=false</value></property><!-- jdbc連接的Driver--><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- jdbc連接的username--><property><name>javax.jdo.option.ConnectionUserName</name><value>jdbc連接的username</value></property><!-- jdbc連接的password --><property><name>javax.jdo.option.ConnectionPassword</name><value>jdbc連接的password</value></property>

（2）獨立服務模式

獨立服務模式需做以下配置：

首先，保證metastore服務的配置文件hive-site.xml中包含連接元數據庫所需的以下參數：

    <!-- jdbc連接的URL --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://jdbc連接的URL:3306/metastore?useSSL=false</value></property><!-- jdbc連接的Driver--><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- jdbc連接的username--><property><name>javax.jdo.option.ConnectionUserName</name><value>jdbc連接的username</value></property><!-- jdbc連接的password --><property><name>javax.jdo.option.ConnectionPassword</name><value>jdbc連接的password</value></property>

其次，保證Hiveserver2和每個Hive CLI的配置文件hive-site.xml中包含訪問metastore服務所需的以下參數：

<!-- 指定metastore服務的地址 -->
<property><name>hive.metastore.uris</name><value>thrift://metastore服務的地址:9083</value>
</property>

注意：主機名需要改為metastore服務所在節點，端口號無需修改，metastore服務的默認端口就是9083。

測試

此時啟動Hive CLI，執行shou databases語句，會出現一下錯誤提示信息：

hive (default)> show databases;
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

這是因為我們在Hive CLI的配置文件中配置了hive.metastore.uris參數，此時Hive CLI會去請求我們執行的metastore服務地址，所以必須啟動metastore服務才能正常使用。

metastore服務的啟動命令如下：

--前端啟動
hive --service metastore

注意：啟動后該窗口不能再操作，需打開一個新的Xshell窗口來對Hive操作。

重新啟動 Hive CLI，并執行shou databases語句，就能正常訪問了

bin/hive

Hive使用技巧

Hive參數配置方式

1）查看當前所有的配置信息

hive>set;

2）參數的配置三種方式
（1）配置文件方式

默認配置文件：hive-default.xml

?用戶自定義配置文件：hive-site.xml

注意：用戶自定義配置會覆蓋默認配置。另外，Hive也會讀入Hadoop的配置，因為Hive是作為Hadoop的客戶端啟動的，Hive的配置會覆蓋Hadoop的配置。配置文件的設定對本機啟動的所有Hive進程都有效。

（2）命令行參數方式

①啟動Hive時，可以在命令行添加-hiveconf param=value來設定參數。例如：

bin/hive -hiveconf mapreduce.job.reduces=10;

注意：僅對本次Hive啟動有效。

②查看參數設置

set mapreduce.job.reduces;set mapreduce.job.reduces;

（3）參數聲明方式
可以在HQL中使用SET關鍵字設定參數，例如：

hive(default)> set mapreduce.job.reduces=10;

注意：僅對本次Hive啟動有效。

查看參數設置：

set mapreduce.job.reduces;

上述三種設定方式的優先級依次遞增。即配置文件 < 命令行參數 < 參數聲明。注意某些系統級的參數，例如log4j相關的設定，必須用前兩種方式設定，因為那些參數的讀取在會話建立以前已經完成了。

Hive常見屬性配置

Hive客戶端顯示當前庫和表頭

（1）在hive-site.xml中加入如下兩個配置:

<property><name>hive.cli.print.header</name><value>true</value><description>Whether to print the names of the columns in query output.</description>
</property>
<property><name>hive.cli.print.current.db</name><value>true</value><description>Whether to include the current database in the Hive prompt.</description>
</property>

（2）hive客戶端在運行時可以顯示當前使用的庫和表頭信息

[yj@hadoop102 conf]$ hivehive (default)> select * from stu;
OK
stu.id	stu.name 
1	ss
Time taken: 1.874 seconds, Fetched: 1 row(s)
hive (default)>

Hive運行日志路徑配置

修改Hive的log存放日志到/opt/module/hive/logs

（1）修改$HIVE_HOME/conf/hive-log4j2.properties.template文件名稱為
hive-log4j2.properties

mv hive-log4j2.properties.template hive-log4j2.properties

（2）在hive-log4j2.properties文件中修改log存放位置
修改配置如下

property.hive.log.dir=/opt/module/hive/logs

關閉Hadoop虛擬內存檢查

在yarn-site.xml中關閉虛擬內存檢查（虛擬內存校驗，如果已經關閉了，就不需要配了）。
（1）修改前記得先停Hadoop
（2）在yarn-site.xml添加如下配置

<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

（3）修改完后記得分發yarn-site.xml，并重啟yarn。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/diannao/73039.shtml
繁體地址，請注明出處：http://hk.pswp.cn/diannao/73039.shtml
英文地址，請注明出處：http://en.pswp.cn/diannao/73039.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

關于C/C++語言的初學者在哪刷題，怎么刷題

關于C/C++語言的初學者在哪刷題，怎么刷題

引言&#xff1a; 這篇博客主要是針對初學者關于怎么在網上刷題&#xff0c;以及在哪里刷題。 1.介紹平臺&#xff08;在哪刷題&#xff09;&#xff1a; 1.牛客牛客網https://www.nowcoder.com/ &#xff1a;有許多面試題&#xff0c;也有許多供學習者練習的題 2.洛谷洛谷 …
閱讀更多...
k8s面試題總結（十四）

k8s面試題總結（十四）

什么是Helm&#xff1f; Helm是一個k8s的包管理工具&#xff0c;它簡化了應用程序在k8s集群中的部署&#xff0c;管理和維護。類似于rpm包和yum之間的關系。 K8s傳統方式&#xff1a;類似于rpm安裝包的方式&#xff0c;逐步進行安裝&#xff0c;遇到依賴還得解決依賴問題 he…
閱讀更多...
物理服務器的作用都有哪些？

物理服務器的作用都有哪些？

物理服務器是一種高性能的專用服務器&#xff0c;一般會被運用在大型組織和云計算環境當中&#xff0c;可以為企業和用戶提供數據存儲和計算資源&#xff0c;幫助企業提高整體的工作效率和快速實現業務目標。 物理服務器有著較高的安全性&#xff0c;企業可以將重要的數據信息備…
閱讀更多...
01 音視頻知識學習(視頻)

01 音視頻知識學習(視頻)

圖像基礎概念 ?像素&#xff1a;像素是一個圖片的基本單位&#xff0c;pix是英語單詞picture的簡寫&#xff0c;加上英 語單詞“元素element”&#xff0c;就得到了“pixel”&#xff0c;簡稱px&#xff0c;所以“像素”有“圖像元素” 之意。 ? 分辨率&#xff1a;是指圖像…
閱讀更多...
有關MyBatis的動態SQL

有關MyBatis的動態SQL

有關MyBatis動態SQL MyBatis動態SQL是一種根據不同條件靈活拼接SQL語句的技術&#xff0c;基于OGNL表達式實現。動態 SQL 大大減少了編寫代碼的工作量&#xff0c;更體現了 MyBatis 的靈活性、高度可配置性和可維護性。 1.什么是動態SQL? 動態sql可以在一些需要靈活拼接sql…
閱讀更多...
react使用拖拽，縮放組件，采用react-rnd解決 -完整版

react使用拖拽，縮放組件，采用react-rnd解決 -完整版

屏幕錄制2025-03-10 10.16.06 以下代碼僅提供左側可視化區域 右側數據根據你們的存儲數據來 大家直接看Rnd標簽設置的屬性即可&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; /*** 用戶拖拽水印的最終位置信息*/ export interface ProductWatermarkValue {wat…
閱讀更多...
Spring Cloud之遠程調用OpenFeign參數傳遞

Spring Cloud之遠程調用OpenFeign參數傳遞

目錄 OpenFeign參數傳遞 傳遞單個參數 傳遞多個參數 傳遞對象 傳遞JSON OpenFeign參數傳遞 傳遞單個參數 服務提供方product-service RequestMapping("/product") RestController public class ProductController {Autowiredprivate ProductService productSe…
閱讀更多...
每日一練之移除鏈表元素

每日一練之移除鏈表元素

題目&#xff1a; 畫圖解析&#xff1a; 方法&#xff1a;雙指針 解答代碼&#xff08;注&#xff1a;解答代碼帶解析&#xff09;&#xff1a; //題目給的結構體 /*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *next;* }…
閱讀更多...
從零開始的python學習（五）P75+P76+P77+P78+P79+P80

從零開始的python學習（五）P75+P76+P77+P78+P79+P80

本文章記錄觀看B站python教程學習筆記和實踐感悟&#xff0c;視頻鏈接&#xff1a;【花了2萬多買的Python教程全套&#xff0c;現在分享給大家&#xff0c;入門到精通(Python全棧開發教程)】 https://www.bilibili.com/video/BV1wD4y1o7AS/?p6&share_sourcecopy_web&v…
閱讀更多...
基于SpringBoot實現旅游酒店平臺功能八

基于SpringBoot實現旅游酒店平臺功能八

一、前言介紹&#xff1a; 1.1 項目摘要 隨著社會的快速發展和人民生活水平的不斷提高&#xff0c;旅游已經成為人們休閑娛樂的重要方式之一。人們越來越注重生活的品質和精神文化的追求&#xff0c;旅游需求呈現出爆發式增長。這種增長不僅體現在旅游人數的增加上&#xff0…
閱讀更多...
FastAPI 分頁模塊實現詳解

FastAPI 分頁模塊實現詳解

1. 簡介 本文詳細介紹了一個基于 FastAPI 框架的通用分頁處理模塊的實現。該模塊提供了標準的分頁參數處理、數據切片和響應格式化功能&#xff0c;可以輕松地集成到任何 FastAPI 項目中。 2. 代碼實現 2.1 導入必要的模塊 首先&#xff0c;我們需要導入所需的模塊&#xf…
閱讀更多...
Java 學習記錄：基礎到進階之路（一）

Java 學習記錄：基礎到進階之路（一）

今天&#xff0c;讓我們深入到 Java 項目構建、基礎語法及核心編程概念的領域&#xff0c;一探究竟。 軟件安裝及環境配置請查看之前更新的博客有著詳細的介紹&#xff1a; IDEA軟件安裝&環境配置&中文插件-CSDN博客 目錄 1.Java 項目構建基礎 1.項目中的 SRC 目錄…
閱讀更多...
Yashan DB 對象管理

Yashan DB 對象管理

一、什么是數據庫對象 數據庫對象是數據庫里面用來存儲和指向數據的各種概念和結構的總稱。數據庫支持的對象包括&#xff1a; ? 表&#xff1a;表是一個邏輯概念&#xff0c;是數據庫組織管理數據的基本單位。 ? 索引&#xff1a;索引是建立在表上的邏輯對象&#xff0c;索…
閱讀更多...
deepseek 3FS編譯

deepseek 3FS編譯

3FS在ubuntu22.04下的編譯&#xff08;記錄下編譯過程&#xff0c;方便后續使用&#xff09; 環境信息 OS ubuntu 22.04內核版本 6.8.0-52-genericlibfuse 3.16.1rust 1.75.0FoundationDB 7.1.66meson 1.0.0ninja 1.10.1 libfuse編譯 以下建議均在root下執行 pip3 install…
閱讀更多...
python-uiautomator2 安裝教程

python-uiautomator2 安裝教程

目錄 一、簡介 二、支持平臺及語言 三、工作原理 四、安裝 一、簡介 uiautomator2是一個python庫&#xff0c;用于Android的UI自動化測試&#xff0c;其底層基于Google uiautomator&#xff0c;Google提供的uiautomator庫可以獲取屏幕上任意一個APP的任意一個控件屬性&…
閱讀更多...
無頭瀏覽器與請求簽名技術-Cloudflare防護

無頭瀏覽器與請求簽名技術-Cloudflare防護

在實際數據采集實踐中&#xff0c;許多目標網站&#xff08;例如 Amazon&#xff09;都會采用 Cloudflare 等防護措施&#xff0c;防止機器人和非正常流量。本文將分享一個故障場景下的排查與改進方案&#xff0c;講述如何利用無頭瀏覽器、請求簽名技術以及爬蟲代理 IP來實現數…
閱讀更多...
Spring Cloud之注冊中心之Nacos健康監測和環境隔離

Spring Cloud之注冊中心之Nacos健康監測和環境隔離

目錄 Nacos健康檢查 兩種健康檢查機制 Nacos服務類型實例 Nacos環境隔離 創建namespace 配置namespace Nacos健康檢查 兩種健康檢查機制 Nacos作為注冊中?, 需要感知服務的健康狀態, 才能為服務調??提供良好的服務. Nacos 中提供了兩種健康檢查機制&#xff1a; 客?…
閱讀更多...
Vue3實戰學習（Element-Plus常用組件的使用(輸入框、下拉框、單選框多選框、el-image圖片)）(上)(5)

Vue3實戰學習（Element-Plus常用組件的使用(輸入框、下拉框、單選框多選框、el-image圖片)）(上)(5)

目錄 一、Vue3工程環境配置、項目基礎腳手架搭建、Vue3基礎語法、Vue3集成Element-Plus的詳細教程。(博客鏈接如下) 二、Element-Plus常用組件使用。 &#xff08;1&#xff09;el-input。(input輸入框) <1>正常狀態的el-input。 <2>el-input的disable狀態。 <3…
閱讀更多...
微服務——網關、網關登錄校驗、OpenFeign傳遞共享信息、Nacos共享配置以及熱更新、動態路由

微服務——網關、網關登錄校驗、OpenFeign傳遞共享信息、Nacos共享配置以及熱更新、動態路由

之前學習了Nacos&#xff0c;用于發現并注冊、管理項目里所有的微服務&#xff0c;而OpenFeign簡化微服務之間的通信&#xff0c;而為了使得前端可以使用微服務項目里的每一個微服務的接口&#xff0c;就應該將所有微服務的接口管理起來方便前端調用&#xff0c;所以有了網關。…
閱讀更多...
2025年3月11日（有限元牛頓迭代法：通俗講解與示例）

2025年3月11日（有限元牛頓迭代法：通俗講解與示例）

牛頓迭代法的正確流程解釋 是的&#xff0c;你的理解基本正確&#xff01;但需要更準確地描述內外力的關系和迭代邏輯。以下是更清晰的步驟說明&#xff1a; 核心流程&#xff08;修正版&#xff09; 假設已知 外力 ( F_{\text{ext}} )&#xff08;如2000 N&#xff09;&…
閱讀更多...
最新文章

Copyright @ 2022~2023