hadoop生態圈集群搭建(持續更新240512)

Hadoop生態圈

  • Linux
    • 1.修改ip地址
    • 2.重啟network服務
    • 3.安裝插件
    • 4.關閉防火墻
    • 5.創建用戶
    • 6.創建目錄
    • 7.修改目錄的所屬主和所屬組為lxy
    • 8.修改主機名:hadoop102 (注意名字后面不要加空格)
    • 9.修改hosts文件
    • 10.等插件都裝完后再重啟Linux
    • 11.把xshell的登錄用戶換成lxy （注意：不要用root切到lxy 而是直接使用lxy登錄）
  • JDK安裝（建議和Hadoop一起安裝，改的文件都一樣，一起改！）
    • 1.將jdk的壓縮包上傳到linux的/opt/software目錄中
    • 2.解壓
    • 3.配置環境變量
      • 3.1 在/etc/profile.d中創建xxx.sh(在這我們統一叫 my_env.sh)
      • 3.2 讓環境變量生效
    • 4.測試
  • Hadoop安裝
    • 1.將Hadoop的壓縮包上傳到linux的/opt/software
    • 2.解壓壓縮包
    • 3.配置環境變量
    • 4.讓環境變量生效
    • 5.測試
  • 單機模式
    • 一 準備數據
    • 二 運行程序
    • 三 查看結果
  • 分布式集群搭建
    • 1.scp的使用
    • 2.rsync的使用
    • 3.ssh配置
      • 生成私鑰和公鑰
    • 4.xsync腳本的使用
    • 5.集群部署規劃
    • 6.修改配置文件
      • 配置core-site.xml
      • 配置hdfs-site.xml
      • 配置yarn-site.xml
      • 配置mapred-site.xml
      • 配置workers
    • 7.格式化
    • 8.啟動集群
      • 啟動集群腳本
    • 9.常見錯誤：
    • 10.寫jpsall腳本
    • 11.查看頁面
      • ①瀏覽器中輸入：http://hadoop102:9870
      • ①瀏覽器中輸入：http://hadoop103:8088
    • 12.集群測試
  • 集群時間同步

Linux

在剛安裝好的Linux上克隆一個hadoop102

在hadoop102上打快照 ----因為晚上需要恢復快照再做一遍

1.修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33修改BOOTPROTO=staticONBOOT=yes
添加如下內容IPADDR=192.168.10.102GATEWAY=192.168.10.2DNS1=114.114.114.114DNS2=8.8.8.8

2.重啟network服務

	systemctl restart network	
測試ping www.baidu.com(xshell連接Linux)

3.安裝插件

yum install -y epel-release net-tools vim
yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git
（可以在安裝的過程中，再打開一個窗口繼續下面的操作）

4.關閉防火墻

systemctl stop firewalld
systemctl disable firewalld

5.創建用戶

#創建用戶
useradd lxy
#設置密碼123321
passwd lxy 回車再輸入密碼 123321
#給lxy設置可以使用root權限
visudo
#在root    ALL=(ALL)       ALL下面添加如下內容
lxy ALL=(ALL)       NOPASSWD:ALL

6.創建目錄

mkdir /opt/module
mkdir /opt/software

7.修改目錄的所屬主和所屬組為lxy

chown lxy:lxy module software

8.修改主機名:hadoop102 (注意名字后面不要加空格)

vi /etc/hostname

9.修改hosts文件

#修改linux的hosts文件vi /etc/hosts添加如下內容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
192.168.10.112 hadoop112
192.168.10.113 hadoop113
192.168.10.114 hadoop114
192.168.10.115 hadoop115
192.168.10.116 hadoop116
192.168.10.117 hadoop117
192.168.10.118 hadoop118

#修改windows的hosts文件（如果修改保存時顯示沒有權限。可以將hosts文件復制到桌面修改桌面上的hosts文件再把桌面的hosts文件復制回去即可。查看是否成功）
C:\Windows\System32\drivers\etc

添加如下內容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
192.168.10.112 hadoop112
192.168.10.113 hadoop113
192.168.10.114 hadoop114
192.168.10.115 hadoop115
192.168.10.116 hadoop116
192.168.10.117 hadoop117
192.168.10.118 hadoop118

10.等插件都裝完后再重啟Linux

11.把xshell的登錄用戶換成lxy （注意：不要用root切到lxy 而是直接使用lxy登錄）

JDK安裝（建議和Hadoop一起安裝，改的文件都一樣，一起改！）

1.將jdk的壓縮包上傳到linux的/opt/software目錄中

2.解壓

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/

3.配置環境變量

3.1 在/etc/profile.d中創建xxx.sh(在這我們統一叫 my_env.sh)

cd /etc/profile.d
sudo vim my_env.sh

添加如下內容

#聲明JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
#聲明HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.4
#將JAVA_HOME添加到path中
export PATH=$PATH:$JAVA_HOME/bin
#將HADOOP_HOME添加到path中
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.2 讓環境變量生效

第一種方式 ：將xshell的窗口斷開重新連接 (重新加載環境變量)

第二種方式 ：source /etc/profile.d/my_env.sh
注意：source就是執行my_env.sh腳本程序 如果第一次環境變量錯誤 修改后 再次source
會發現原來錯誤的環境變量還在。那就重啟Linuxsudo reboot

4.測試

java -version
hadoop version

Hadoop安裝

1.將Hadoop的壓縮包上傳到linux的/opt/software

2.解壓壓縮包

cd /opt/software
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/

3.配置環境變量

cd /etc/profile.d
sudo vim my_env.sh

添加如下內容

#聲明HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.4
#將HADOOP_HOME添加到path中
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.讓環境變量生效

第一種方式 ：將xshell的窗口斷開重新連接 (重新加載環境變量)

第二種方式 ：source /etc/profile.d/my_env.sh
注意：source就是執行my_env.sh腳本程序 如果第一次環境變量錯誤 修改后 再次source
會發現原來錯誤的環境變量還在。那就重啟sudo reboot

5.測試

hadoop version

單機模式

一 準備數據

1.創建目錄

mkdir /opt/module/hadoop-3.3.4/wcinput

2.創建文件

cd /opt/module/hadoop-3.3.4/wcinput
vim a.txt

3.文件中寫點數據

hello hello
longge
canglaoshi
longge

二 運行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount wcinput wcoutput

說明：
hadoop: bin目錄中的命令
jar : 參數表示運行一個jar包
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar : jar包路徑
wordcount ：案例名稱-不能隨便寫
wcinput ：數據所在的目錄
wcoutput ：運算的結果輸出的目錄—該目錄必須不存在

三 查看結果

cd wcoutput
cat part-r-00000

分布式集群搭建

1.scp的使用

進行文件或目錄的拷貝

scp -r $pdir/$fname $user@$host:$pdir/$fname

2.rsync的使用

rsync -av $pdir/$fname $user@$host:$pdir/$fname

3.ssh配置

生成私鑰和公鑰

每個節點執行一次

ssh-keygen -t rsa

每個節點的root和lxy各執行一次

### 拷貝公鑰
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

4.xsync腳本的使用

vim /home/lxy/bin/xsync

#!/bin/bash#1. 判斷參數個數
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2. 遍歷集群所有機器
for host in hadoop102 hadoop103 hadoop104
doecho ====================  $host  ====================#3. 遍歷所有目錄，挨個發送for file in $@do#4. 判斷文件是否存在if [ -e $file ]then#5. 獲取父目錄pdir=$(cd -P $(dirname $file); pwd)#6. 獲取當前文件的名稱fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

5.集群部署規劃

  • NameNode和SecondaryNameNode不要安裝在同一臺服務器。
  • ResourceManager也很消耗內存，不要和NameNode、SecondaryNameNode配置在同一臺機器上。
hadoop102hadoop103hadoop104
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager		NodeManager

6.修改配置文件

cd /opt/module/hadoop-3.3.4/etc/hadoop

修改了下面的5個配置文件
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers

配置core-site.xml

vim core-site.xml

<!-- 指定NameNode的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://hadoop102:8020</value>
</property><!-- 指定hadoop數據的存儲目錄 -->
<property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.3.4/data</value>
</property><!-- 配置HDFS網頁登錄使用的靜態用戶為lxy -->
<property><name>hadoop.http.staticuser.user</name><value>lxy</value>
</property>

配置hdfs-site.xml

vim hdfs-site.xml

<!-- nn web端訪問地址-->
<property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value>
</property>
<!-- 2nn web端訪問地址-->
<property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:9868</value>
</property>

配置yarn-site.xml

vim yarn-site.xml

    <!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property><!-- 環境變量的繼承 --><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><!-- 開啟日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property><!-- 設置日志聚集服務器地址 -->
<property>  <name>yarn.log.server.url</name>  <value>http://hadoop102:19888/jobhistory/logs</value>
</property><!-- 設置日志保留時間為7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

配置mapred-site.xml

vim mapred-site.xml

<!-- 指定MapReduce程序運行在Yarn上 -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<!-- 歷史服務器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value>
</property>
<!-- 歷史服務器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value>
</property>

配置workers

vim /opt/module/hadoop-3.3.4/etc/hadoop/workers

在該文件中增加如下內容：

hadoop102
hadoop103
hadoop104

注意：該文件中添加的內容結尾不允許有空格，文件中不允許有空行。
同步所有節點配置文件。

一定要分發

cd /opt/module/hadoop-3.3.4/etc/hadoop
xsync ./
xsync /opt/module/hadoop-3.3.4/etc

7.格式化

在hadoop102（因為namenode在這個節點上-格式化后產生的文件是給namenode使用的）上格式化。
注意：不要重復格式化。如果是格式化失敗（格式化的時候有錯誤）修改錯誤后重新格式化
命令:hdfs namenode -format

8.啟動集群

啟動HDFS:start-dfs.sh
關閉HDFSstop-dfs.sh啟動YARN(必須在resourcemanager所在的節點-hadoop103)：start-yarn.sh
關閉YARN(必須在resourcemanager所在的節點-hadoop103)：stop-yarn.sh

啟動集群腳本

vim /home/lxy/bin/myhadoop

#!/bin/bash
#參數的個數校驗
if [ $# -ne 1 ];thenecho 參數的個數不對exit
fi#參數的內容校驗
case $1 in
"start")#啟動HDFSssh hadoop102 $HADOOP_HOME/sbin/start-dfs.sh#啟動YARNssh hadoop103 start-yarn.sh;;
"stop")#關閉HDFSssh hadoop102 stop-dfs.sh#關閉YARNssh hadoop103 stop-yarn.sh;;
*)echo 輸入的內容不對!!!;;
esac;

9.常見錯誤：

錯誤一：配置文件錯誤
錯誤二：重復格式化

10.寫jpsall腳本

11.查看頁面

Web端查看HDFS的NameNode

①瀏覽器中輸入：http://hadoop102:9870

	②查看HDFS上存儲的數據信息
Web端查看YARN的ResourceManager

①瀏覽器中輸入：http://hadoop103:8088

	②查看YARN上運行的Job信息如果看不到解決方案：1.查看集群是否正啟動（HDFS YARN都要啟動）2.將hadoop102的名字替換成IP地址（如果能解決說明windows的hosts的文件有問題）3.查看防火墻是否關閉systemctl status firewalld如果沒有關閉 ：systemctl stop firewalld  systemctl disable firewalld

12.集群測試

①在HDFS的頁面上創建input目錄 并在input目錄中上傳a.txt
②在任意一臺節點上執行jobhadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output注意:輸入和輸出路徑是HDFS的路徑
③在運行時觀察兩個頁面http://hadoop103:8088 觀察Job執行的進度http://hadoop102:9870 觀察輸出結果

13.歷史服務器
作用：查看之前執行過的job信息
配置：vim /opt/module/hadoop-3.3.4/etc/hadoop/mapred-site.xml
添加如下內容

		<!-- 歷史服務器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value></property><!-- 歷史服務器web端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value></property>

注意：一定要分發   

cd /opt/module/hadoop-3.3.4/etc/hadoop/
xsync mapred-site.xml

啟動歷史服務器：

mapred --daemon start historyserver

歷史服務器地址http://hadoop102:19888

14.日志的聚集
作用：在歷史服務器中通過logs就可以查看job的執行的詳細信息
配置：vim /opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml
添加如下內容

		<!-- 開啟日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 設置日志聚集服務器地址 --><property>  <name>yarn.log.server.url</name>  <value>http://hadoop102:19888/jobhistory/logs</value></property><!-- 設置日志保留時間為7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>

注意：①一定要分發 cd /opt/module/hadoop-3.3.4/etc/hadoop/xsync yarn-site.xml②重啟HDFS YARN 歷史服務器③重新執行job④再查看logs

15.集群啟動方式
方式一 ：整個模塊的啟或停止
start-dfs.sh stop-dfs.sh
start-yarn.sh stop-yarn.sh
方式二： 單個角色的啟動或停止
（1）分別啟動/停止HDFS組件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）啟動/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager

集群時間同步

將hadoop102配置成時間服務器
1.將ntpd服務關閉
sudo systemctl stop ntpd

2.修改配置文件sudo vim /etc/ntp.confsudo vim /etc/sysconfig/ntpd3.啟動ntpd服務sudo systemctl start ntpd=======時間服務器的時間不對===================sudo systemctl stop ntpd
sudo ntpdate 時間服務器地址
sudo systemctl start ntpd

配置hadoop103和hadoop104去hadoop102同步時間
1.啟動定時任務的服務
sudo systemctl start crond

2.編輯定時任務sudo crontab -e添加如下內容0 2 * * * sudo ntpdate hadoop102

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/10698.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/10698.shtml
英文地址，請注明出處：http://en.pswp.cn/web/10698.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

【TC3xx芯片】TC3xx芯片時鐘監控

【TC3xx芯片】TC3xx芯片時鐘監控

目錄 前言 正文 1.時鐘監控概念 1.1 時鐘監控原理 1.2時鐘監控配置寄存器
閱讀更多...
Node.js 的補充適用場景

Node.js 的補充適用場景

Node.js 的適用場景相當廣泛&#xff0c;以下再補充一些具體的使用場景&#xff1a; 服務器端應用開發&#xff1a; Node.js特別適合于構建高性能、高并發、低延遲的服務器端程序。它可以用來開發Web服務器、API服務器、實時通訊服務器等。Node.js的高性能和事件驅動的非阻塞I…
閱讀更多...
day09-常用API異常

day09-常用API異常

1.時間日期類 1.1 Date類&#xff08;應用&#xff09; 計算機中時間原點 1970年1月1日 00:00:00 時間換算單位 1秒 1000毫秒 Date類概述 Date 代表了一個特定的時間&#xff0c;精確到毫秒 Date類構造方法 方法名說明public Date()分配一個 Date對象&#xff0c;并初始化…
閱讀更多...
【大數據】HDFS

【大數據】HDFS

文章目錄 [toc]HDFS 1.0NameNode維護文件系統命名空間存儲元數據解決NameNode單點問題 SecondaryNameNode機架感知數據完整性校驗校驗和數據塊檢測程序DataBlockScanner HDFS寫流程HDFS讀流程HDFS與MapReduce本地模式Block大小 HDFS 2.0NameNode HANameNode FederationHDFS Sna…
閱讀更多...
使用注解的方式進行配置RabbitMQ

使用注解的方式進行配置RabbitMQ

引入依賴&#xff1a; <dependency><groupId>org.springframework.amqp</groupId><artifactId>spring-rabbit-test</artifactId><scope>test</scope></dependency> 配置application.yml server:port: 8082 spring:rabbitmq…
閱讀更多...
pyqt5報錯：AttributeError: ‘mywindow‘ object has no attribute ‘setCentralWidget‘

pyqt5報錯：AttributeError: ‘mywindow‘ object has no attribute ‘setCentralWidget‘

第一種解決方法是&#xff1a;AttributeError: ‘mywindow‘ object has no attribute ‘setCentralWidget‘_attributeerror: mywindow object has no attribute-CSDN博客 第二種解決方法是&#xff08;推薦&#xff09;&#xff1a; 直接把這段代碼復制在 ui轉 py文件的后面…
閱讀更多...
什么是JVM中的程序計數器

什么是JVM中的程序計數器

在計算機的體系結構中&#xff1a; 程序計數器&#xff08;Program Counter&#xff09;&#xff0c;通常縮寫為 PC&#xff0c;是計算機體系結構中的一個寄存器&#xff0c;用于存儲下一條指令的地址。程序計數器是控制單元的一部分&#xff0c;它的作用是確保程序能夠按正確…
閱讀更多...
用 Python 和 AkShare 進行個股數據清洗：簡易多功能方法

用 Python 和 AkShare 進行個股數據清洗：簡易多功能方法

標題：用 Python 和 AkShare 進行個股數據清洗：簡易多功能方法 簡介： 本文介紹了如何使用 Python 和 AkShare 庫對個股數據進行清洗和處理。個股數據經常需要進行清洗以用于分析、建模或可視化。我們將介紹一些簡單但功能強大的方法，包括數據加載、缺失值處理、重復值檢測和…
閱讀更多...
心理應用工具包 psychtoolbox 繪制小球走迷宮

心理應用工具包 psychtoolbox 繪制小球走迷宮

psychtoolbox 是 MATLAB 中的一個工具包&#xff0c;對于科研人員設計實驗范式來說是不二之選&#xff0c;因為它可以操作計算機的底層硬件&#xff0c;精度可以達到幀的級別。 文章目錄 一、實驗目的二、psychtoolbox 的下載安裝三、Psychtoolbox 的基本使用四、完整代碼 一、…
閱讀更多...
不同數據類型的內部秘密----編程內幕(2)

不同數據類型的內部秘密----編程內幕(2)

Q&#xff1a; char類型是如何被當成int處理的&#xff1f; A: 我們可以看看char類型變量在何時才會被當做int處理. #include <stdio.h>int main() {char ch;ch a;printf("%c\n", ch);return 0; } 匯編代碼如下&#xff1a; hellomain:0x100000f60 <0&…
閱讀更多...
修改了環境變量~/.bashrc后 報錯 命令 “dirname” 可在以下位置找到 * /bin/dirname * /usr/bin/dirname

修改了環境變量~/.bashrc后 報錯 命令 “dirname” 可在以下位置找到 * /bin/dirname * /usr/bin/dirname

問題如下&#xff1a; 修改了~/.bashrc后加入了環境變量之后報錯&#xff0c;如下所示 (base) jiedell:~/桌面$ source ~/.bashrc 命令 “dirname” 可在以下位置找到 * /bin/dirname * /usr/bin/dirname 由于 /usr/bin:/bin 不在 PATH 環境變量中&#xff0c;故無法找到該…
閱讀更多...
在Linux上安裝并啟動Redis

在Linux上安裝并啟動Redis

目錄 安裝gcc環境 上傳redis文件方法一&#xff1a;sftp 上傳redis文件方法二&#xff1a;wget 啟動redis-server ctrlc關閉redis-server 參考文章&#xff1a;Linux 安裝 Redis 及踩坑 - 敲代碼的阿磊 - 博客園 (cnblogs.com) 準備&#xff1a;打開VMware Workstation&am…
閱讀更多...
pair對組創建

pair對組創建

創建方式1: pair<type,type> p(value1,value2); pair<string, int> p("Tom", 20); cout << "name:" << p.first << "age:" << p.second << endl; 創建方式2: pair<type,type> pmake_pair(v…
閱讀更多...
mysql權限分類

mysql權限分類

USAGE --無權限,只有登錄數據庫,只可以使用test或test_*數據庫 ALL --所有權限 select/update/delete/super/slave/reload --指定的權限 with grant option --允許把自己的權限授予其它用戶(此用戶擁有建立賬號的權限) 權限級別&#xff1a; 1、. &#xff0d;&#xff0d;全…
閱讀更多...
C語法：for循環執行順序

C語法：for循環執行順序

今天下編寫代碼時遇到了如下情況&#xff1a;期望是輸出 i1,j2 i1,j3 i1,j4 i2,j3 int main(void) {int i,j;for(i1;i<3;i){for(j1;j!i&&j<4;j){printf("i%d,j%d\n",i,j);}}return 0; }實際輸出結果&#xff1a; i2,j1 分析上述代碼&#xff1a…
閱讀更多...
商務分析方法與工具（九）：Python的趣味快捷-Pandas處理公司財務數據集思路

商務分析方法與工具（九）：Python的趣味快捷-Pandas處理公司財務數據集思路

Tips&#xff1a;"分享是快樂的源泉&#x1f4a7;&#xff0c;在我的博客里&#xff0c;不僅有知識的海洋&#x1f30a;&#xff0c;還有滿滿的正能量加持&#x1f4aa;&#xff0c;快來和我一起分享這份快樂吧&#x1f60a;&#xff01; 喜歡我的博客的話&#xff0c;記得…
閱讀更多...
LangChain：大模型框架的深度解析與應用探索

LangChain：大模型框架的深度解析與應用探索

在數字化的時代浪潮中&#xff0c;人工智能技術正以前所未有的速度蓬勃發展&#xff0c;而大模型作為其中的翹楚&#xff0c;以生成式對話技術逐漸成為推動行業乃至整個社會進步的核心力量。再往近一點來說&#xff0c;在公司&#xff0c;不少產品都戴上了人工智能的帽子&#…
閱讀更多...
初識C語言——第十八天

初識C語言——第十八天

循環while/do while while 語法結構 while(表達式) 循環語句; break:在while循環中&#xff0c;break用于永久的終止循環 continue:在while循環中&#xff0c;continue的作用是跳過本次循環continue后面的代碼 直接去判斷部分&#xff0c;看是否進行下一次循環。 注意事項…
閱讀更多...
Logstash詳解

Logstash詳解

Logstash詳解&#xff1a;構建強大日志收集與處理管道的利器 一、引言 在大數據和云計算的時代&#xff0c;日志數據作為企業運營和故障排查的重要依據&#xff0c;其收集、處理和分析能力顯得尤為重要。Logstash&#xff0c;作為一款強大的日志收集、處理和轉發工具&#xf…
閱讀更多...
[AI OpenAI-doc] 安全最佳實踐

[AI OpenAI-doc] 安全最佳實踐

使用我們的免費 Moderation API OpenAI 的 Moderation API 是免費使用的&#xff0c;可以幫助減少您完成中不安全內容的頻率。或者&#xff0c;您可能希望開發自己的內容過濾系統&#xff0c;以適應您的使用情況。 對抗性測試 我們建議對您的應用進行“紅隊測試”&#xff0…
閱讀更多...
最新文章

Copyright @ 2022~2023