CentOS7.5 使用二進制程序部署Kubernetes1.12.2(三)

一、安裝方式介紹

1、yum 安裝

目前CentOS官方已經把Kubernetes源放入到自己的默認 extras 倉庫里面，使用 yum 安裝，好處是簡單，壞處也很明顯，需要官方更新 yum 源才能獲得最新版本的軟件，而所有軟件的依賴又不能自己指定，尤其是你的操作系統版本如果低的話，使用 yum 源安裝的 Kubernetes 的版本也會受到限制，通常會低于官方很多版本，我安裝的時候目前官方版本為1.12，而 yum 源中的版本為1.5.2。
請查看博文：https://blog.51cto.com/wzlinux/2321767

2、二進制安裝

使用二進制文件安裝，好處是可以安裝任意版本的 Kubernetes，對一些新版本新功能追求的同學比較合適，壞處是配置比較復雜，很多軟件包因為一些原因，我們在大陸是訪問不到的。

3、Kubeadm 安裝

kubeadm 是 Kubernetes 官方提供的用于快速安裝 Kubernetes 集群的工具，伴隨Kubernetes每個版本的發布都會同步更新，kubeadm會對集群配置方面的一些實踐做調整，通過實驗 kubeadm 可以學習到 Kubernetes 官方在集群配置上一些新的最佳實踐。
請查看博文：https://blog.51cto.com/wzlinux/2322616

這里我們選用第二種方式安裝。

二、環境準備

1、軟件版本

我們安裝的版本基本是目前最新的版本。

軟件版本
kubernetesv1.12.2
CentOS 7.5CentOS Linux release 7.5.1804
Dockerv18.06 這是官方推薦的
etcd3.3.10
flannel0.10.0

2、節點規劃

IP角色安裝軟件
172.18.8.200k8s masteretcd，kube-apiserver，kube-controller-manager，kube-scheduler，kubelet
172.18.8.201k8s node01docker，kubelet，kube-proxy，flannel
172.18.8.202k8s node02docker，kubelet，kube-proxy，flannel

節點及網絡規劃如下：
CentOS7.5 使用二進制程序部署Kubernetes1.12.2(三)

3、系統配置

關閉防火墻。

systemctl stop firewalld
systemctl disable firewalld

配置/etc/hosts，添加如下內容。

172.18.8.200 master.wzlinux.com master
172.18.8.201 node01.wzlinux.com node01
172.18.8.202 node02.wzlinux.com node02

關閉SELinux。

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0

關閉swap。

swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

4、二進制軟件包下載

我們可以下載編譯好的二進制文件，也可以下載源碼自己編譯，這里只討論二進制的安裝方式。在Kubernetes的Github CHANGELOG日志中可以看到最新的版本號，也可以到Tag頁面中找到自己需要的版本，我下載的是 v1.12.2。

上傳我們下載的二進制軟件包到各節點，并解壓在root家目錄，查看目錄內容。

[root@master ~]# ll kubernetes/server/bin/
total 1821524
-rwxr-xr-x 1 root root  60859975 Oct 24 15:49 apiextensions-apiserver
-rwxr-xr-x 1 root root 142923436 Oct 24 15:49 cloud-controller-manager
-rw-r--r-- 1 root root         8 Oct 24 15:44 cloud-controller-manager.docker_tag
-rw-r--r-- 1 root root 144309760 Oct 24 15:44 cloud-controller-manager.tar
-rwxr-xr-x 1 root root 248021112 Oct 24 15:49 hyperkube
-rwxr-xr-x 1 root root  54042644 Oct 24 15:49 kubeadm
-rwxr-xr-x 1 root root 192781649 Oct 24 15:49 kube-apiserver
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-apiserver.docker_tag
-rw-r--r-- 1 root root 194167808 Oct 24 15:44 kube-apiserver.tar
-rwxr-xr-x 1 root root 162961401 Oct 24 15:49 kube-controller-manager
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-controller-manager.docker_tag
-rw-r--r-- 1 root root 164347392 Oct 24 15:44 kube-controller-manager.tar
-rwxr-xr-x 1 root root  57352138 Oct 24 15:49 kubectl
-rwxr-xr-x 1 root root 176648680 Oct 24 15:49 kubelet
-rwxr-xr-x 1 root root  50330867 Oct 24 15:49 kube-proxy
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-proxy.docker_tag
-rw-r--r-- 1 root root  98355200 Oct 24 15:44 kube-proxy.tar
-rwxr-xr-x 1 root root  57184656 Oct 24 15:49 kube-scheduler
-rw-r--r-- 1 root root         8 Oct 24 15:44 kube-scheduler.docker_tag
-rw-r--r-- 1 root root  58570752 Oct 24 15:44 kube-scheduler.tar
-rwxr-xr-x 1 root root   2330265 Oct 24 15:49 mounter

這些包都是存儲在google的服務器上面，因為眾所周知的原因，我們是無法訪問的，所以需要各位科學上網才可以獲取，不過我可以把我獲取的包傳到網盤分享給大家。
大家可以去下載使用。鏈接: https://pan.baidu.com/s/1Ut9VERgm55B4lmz0wjjzFQ 提取碼: mjem

三、安裝master

master節點需要安裝的服務有kube-apiserver，kube-controller-manager，kube-scheduler，所以我們先把需要的二進制文件放到環境變量。

cd /root/kubernetes/server/bin
cp kube-apiserver kube-controller-manager kube-scheduler kubectl /usr/local/bin/

創建需要的目錄。

mkdir -p /var/lib/etcd
mkdir -p /etc/etcd/
mkdir /etc/kubernetes

1、安裝etcd

因為所以的組件都是需要etcd存儲，所以我們第一安裝的就是etcd，如果不是為了新版本，為了方便可以使用yum安裝。

我這里采用二進制安裝方法，首先下載安裝包。

下載。

wget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz

解壓安裝。

tar xf etcd-v3.3.10-linux-amd64.tar.gz
cd etcd-v3.3.10-linux-amd64
cp etcd etcdctl /usr/local/bin/

創建system啟動文件etcd.service。

cat <<EOF > /usr/lib/systemd/system/etcd.service
[Unit]
Description=etcd.service[Service]
Type=notify
TimeoutStartSec=0
Restart=always
WorkingDirectory=/var/lib/etcd
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd[Install]
WantedBy=multi-user.target
EOF

創建配置文件。

cat <<EOF >/etc/etcd/etcd.conf
ETCD_NAME=ETCD Server
ETCD_DATA_DIR="/var/lib/etcd/"
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.8.200:2379"
EOF

啟動etcd。

systemctl daemon-reload
systemctl start etcd.service
systemctl enable etcd.service

查看啟動狀態。

[root@master ~]# netstat -tlnp|grep etcd
tcp        0      0 127.0.0.1:2380          0.0.0.0:*               LISTEN      1550/etcd           
tcp6       0      0 :::2379                 :::*                    LISTEN      1550/etcd    
[root@master ~]# etcdctl cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://172.18.8.200:2379
cluster is healthy

說明： etcd 會啟用兩個端口，其中2380 是集群的通信端口，2379是服務端口。如果是配置etcd集群，則要修改配置文件，設置監聽IP和端口。

2、安裝 kube-apiserver

創建啟動文件/usr/lib/systemd/system/kube-apiserver.service，修改為如下內容：

[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
After=etcd.service[Service]
EnvironmentFile=/etc/kubernetes/apiserver
ExecStart=/usr/local/bin/kube-apiserver  \$KUBE_ETCD_SERVERS \$KUBE_BIND_ADDRESS \$KUBE_API_PORT \$KUBE_SERVICE_ADDRESSES \$KUBE_ADMISSION_CONTROL \$KUBE_API_ARGS
Restart=on-failure
Type=notify
LimitNOFILE=65536[Install]
WantedBy=multi-user.target

創建目錄和配置文件。

cat <<EOF > /etc/kubernetes/apiserver
KUBE_BIND_ADDRESS="--bind-address=0.0.0.0"
KUBE_API_PORT="--port=8080"
KUBE_ETCD_SERVERS="--etcd-servers=http://172.18.8.200:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.96.0.0/12"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
KUBE_API_ARGS=""
EOF

啟動服務。

systemctl daemon-reload
systemctl start kube-apiserver.service
systemctl enable kube-apiserver.service

查看啟動是否成功。

[root@master ~]# netstat -tnlp | grep kube
tcp6       0      0 :::6443                 :::*                    LISTEN      11086/kube-apiserve 
tcp6       0      0 :::8080                 :::*                    LISTEN      11086/kube-apiserve

kube-apiserver監聽在兩個端口，6443是https加密通信方式，8080是http的通信方式，我們這里沒有配置證書選項，所以我們的通信都是明文通信，官方文檔查看。

3、安裝kube-controller-manager

創建啟動文件/usr/lib/systemd/system/kube-controller-manager.service，添加如下內容：

[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=kube-apiserver.service
Requires=kube-apiserver.service[Service]
EnvironmentFile=-/etc/kubernetes/controller-manager
ExecStart=/usr/local/bin/kube-controller-manager \$KUBE_MASTER \$KUBE_CONTROLLER_MANAGER_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target

創建配置文件controller-manager，IP根據自己的實際情況進行修改。

cat <<EOF > /etc/kubernetes/controller-manager
KUBE_MASTER="--master=http://172.18.8.200:8080"
KUBE_CONTROLLER_MANAGER_ARGS=""
EOF

啟動服務。

systemctl daemon-reload
systemctl start kube-controller-manager.service
systemctl enable kube-controller-manager.service

驗證服務狀態。

[root@master ~]# netstat -lntp | grep kube-controll
tcp6       0      0 :::10252                :::*                    LISTEN      11131/kube-controll 
tcp6       0      0 :::10257                :::*                    LISTEN      11131/kube-controll

端口10257為https提供身份驗證和授權，10252為默認非加密端口，官方文檔查看。

4、安裝kube-scheduler

創建啟動文件/usr/lib/systemd/system/kube-scheduler.service，添加如下內容：

[Unit]
Description=Kubernetes Scheduler Plugin
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=kube-apiserver.service
Requires=kube-apiserver.service[Service]
EnvironmentFile=/etc/kubernetes/scheduler
ExecStart=/usr/local/bin/kube-scheduler \$KUBE_MASTER \$KUBE_SCHEDULER_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target

創建配置文件/etc/kubernetes/scheduler。

cat <<EOF > /etc/kubernetes/scheduler
KUBE_MASTER="--master=http://172.18.8.200:8080"
KUBE_SCHEDULER_ARGS=""
EOF

啟動服務。

systemctl daemon-reload
systemctl start kube-scheduler.service
systemctl enable kube-scheduler.service

驗證服務狀態。

[root@master ~]# netstat -lntp | grep kube-schedule
tcp6       0      0 :::10251                :::*                    LISTEN      11178/kube-schedule

端口10251是非加密端口，https端口為10259。官方文件查看。

使用 kubectl 查看狀態。

[root@master ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
etcd-0               Healthy   {"health":"true"}   
controller-manager   Healthy   ok                  
scheduler            Healthy   ok

四、安裝node節點(node01為例)

1、環境準備

node節點需要安裝的服務有docker，kubelet，kube-prox，flannel，所以我們先把需要的二進制文件放到環境變量。

cd /root/kubernetes/server/bin/
cp kubelet kube-proxy /usr/local/bin/

加載ipvs內核，使node節點kube-proxy支持ipvs代理規則。

modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh

創建需要的目錄。

mkdir /var/lib/kubelet
mkdir /etc/kubernetes

配置轉發參數。

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

2、安裝docker-ce

我們使用推薦的版本18.06，此時docker官方的最新版本為18.09，所以我們需要配置官方yum源。

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -P /etc/yum.repos.d/
yum list docker-ce.x86_64  --showduplicates |sort -r
yum install docker-ce-18.06.1.ce -y

配置加速器。

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://hdi5v8p1.mirror.aliyuncs.com"]
}
EOF

2、安裝 kube-proxy 服務

創建啟動文件/usr/lib/systemd/system/kube-proxy.service，添加如下內容：

[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target[Service]
EnvironmentFile=/etc/kubernetes/proxy
ExecStart=/usr/local/bin/kube-proxy \$KUBE_MASTER \$KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target

創建需要的配置文件，IP請根據自己的實際情況進行修改。

cat <<EOF > /etc/kubernetes/proxy
KUBE_MASTER="--master=http://172.18.8.200:8080"
KUBE_PROXY_ARGS=""
EOF

啟動服務。

systemctl daemon-reload
systemctl start kube-proxy.service
systemctl enable kube-proxy.service

查看啟動狀態。

[root@node01 ~]# netstat -lntp | grep kube-proxy
tcp        0      0 127.0.0.1:10249         0.0.0.0:*               LISTEN      12273/kube-proxy    
tcp6       0      0 :::10256                :::*                    LISTEN      12273/kube-proxy

端口10256負責健康檢查，10249負責和server通信，官方文檔查看。

3、安裝 kubelete 服務

創建啟動文件/usr/lib/systemd/system/kubelet.service，新增如下內容：

[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/usr/local/bin/kubelet --kubeconfig=/etc/kubernetes/kubeconfig.yaml
Restart=on-failure[Install]
WantedBy=multi-user.target

創建配置文件kubeconfig.yaml，具體參數請根據自己的需求進行修改，新增如下內容：

cat <<EOF > /etc/kubernetes/kubeconfig.yaml
apiVersion: v1
kind: Configusers:
- name: kubeletclusters:
- name: kubernetescluster: server: http://172.18.8.200:8080contexts:
- context:cluster: kubernetesuser: kubeletname: service-account-context
current-context: service-account-context
EOF

kubeconfig官方文檔請點擊查看。

啟動kubelet。

systemctl daemon-reload
systemctl start kubelet.service
systemctl enable kubelet.service

查看啟動情況。

[root@node01 ~]# netstat -tnlp | grep kubelet
tcp        0      0 127.0.0.1:43228         0.0.0.0:*               LISTEN      12658/kubelet       
tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      12658/kubelet       
tcp6       0      0 :::10250                :::*                    LISTEN      12658/kubelet       
tcp6       0      0 :::10255                :::*                    LISTEN      12658/kubelet

配置官方文檔請查看。

4、配置flannel網絡(Pod使用)

我們之所以要單獨使用第三方的網絡插件來擴展k8s,主要原因是在使用docker的環境中，在每個node節點的docker0默認的網段都是172.17.0.0/16的網絡。如果要實現不同宿主node上pod（這里也可以理解為容器）互相通信，就不能使用默認的docker0提供的網段，我們需要部署一個覆蓋網絡，讓每個node節點的docker0網絡都處于不同的網段，這樣，通過添加一些路由轉發策略，就能讓集群中各個pod在同一個虛擬的網絡中實現通信。

從github官網下載最新版本。

wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
tar xf flannel-v0.10.0-linux-amd64.tar.gz
cp flanneld /usr/local/bin/
cp mk-docker-opts.sh /usr/local/libexec/

創建啟動文件/usr/lib/systemd/system/flanneld.service，新增如下內容：

[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service[Service]
Type=notify
EnvironmentFile=/etc/sysconfig/flanneld
EnvironmentFile=-/etc/sysconfig/docker-network
ExecStart=/usr/local/bin/flanneld \$FLANNEL_ETCD_ENDPOINTS \$FLANNEL_ETCD_PREFIX \$FLANNEL_OPTIONS
ExecStartPost=/usr/local/libexec/mk-docker-opts.sh -d /run/flannel/docker
Restart=on-failure[Install]
WantedBy=multi-user.target
RequiredBy=docker.service

對上面的文件做一下解釋：

  • Flannel網絡必須在宿主機網絡能對外（其它node節點）正常通信的情況下啟動才有意義，所以這里定義After=network.target
  • 只有當Flannel 網絡啟動之后，才能創建一個與其它節點不會沖突的網絡，而docker的網絡需要和fannel 網絡相同才能保證跨主機通信，所以docker必須要在flannel網絡創建后才能啟動，這里定義Before=docker.service

創建配置文件/etc/sysconfig/flanneld，設置為如下內容：

cat <<EOF > /etc/sysconfig/flanneld
# Flanneld configuration options  # etcd url location.  Point this to the server where etcd runs
FLANNEL_ETCD_ENDPOINTS="-etcd-endpoints=http://172.18.8.200:2379"# etcd config key.  This is the configuration key that flannel queries
# For address range assignment
FLANNEL_ETCD_PREFIX="-etcd-prefix=/atomic.io/network"# Any additional options that you want to pass
FLANNEL_OPTIONS=""
EOF

在master節點上為 falnnel 創建分配的網絡。

[root@master ~]#  etcdctl mk /atomic.io/network/config '{"Network": "10.244.0.0/16"}'

在各node節點上啟動 flannel。

systemctl daemon-reload
systemctl start flanneld.service
systemctl enable flanneld.service

檢查是否啟動好。

ps -ef |grep flanneld

也可以使用自助安裝，官方建議的使用方法。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

5、啟動docker

編輯文件/usr/lib/systemd/system/docker.service，修改為如下內容，讓docker使用flannel網絡。

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service flannel.service
Wants=network-online.target
Requires=flanneld.service[Service]
Type=notify
EnvironmentFile=-/run/flannel/docker
ExecStart=/usr/bin/dockerd $DOCKER_OPTS
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s[Install]
WantedBy=multi-user.target

我們最后啟動docker服務。

systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service

我們可以看到docker0已經連接到flannel0，并且添加10.244.71.0/24的路由。

[root@node01 ~]# ip r
default via 172.18.8.1 dev ens33 proto static metric 100 
10.244.0.0/16 dev flannel0 proto kernel scope link src 10.244.71.0 
10.244.71.0/24 dev docker0 proto kernel scope link src 10.244.71.1 
172.18.0.0/16 dev ens33 proto kernel scope link src 172.18.8.201 metric 100

五、master節點驗證

[root@master ~]# kubectl get nodes
NAME                 STATUS   ROLES    AGE     VERSION
node01.wzlinux.com   Ready    <none>   5m38s   v1.12.2
node02.wzlinux.com   Ready    <none>   5m34s   v1.12.2

先運行幾個pod看一下。

kubectl run nginx --image=nginx --replicas=3

查看一下pod狀態，發現容器的狀態為ContainerCreating，使用kubectl describe pod POD_NAME發現在請求k8s.gcr.io/pause:3.1pod鏡像模板。

因為我們還沒有pod基礎設施鏡像k8s.gcr.io/pause:3.1，就是所有pod的模板，我們需要從gcr.io下載，但是這個地址我們國內是無法訪問的，我們可以使用間接的方法，在所有的node節點上，我們可以從阿里云的鏡像下載，然后再tag成我們需要的鏡像。

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1
docker image rm registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1

問題解決之后我們再次查看。

[root@master ~]# kubectl get pods -o wide
NAME                    READY   STATUS    RESTARTS   AGE     IP            NODE                 NOMINATED NODE
nginx-dbddb74b8-gzd6j   1/1     Running   0          2m11s   10.244.50.3   node02.wzlinux.com   <none>
nginx-dbddb74b8-hmmll   1/1     Running   0          2m11s   10.244.50.2   node02.wzlinux.com   <none>
nginx-dbddb74b8-lpkln   1/1     Running   0          2m11s   10.244.71.2   node01.wzlinux.com   <none>

當前的網絡結構圖如下所示：

CentOS7.5 使用二進制程序部署Kubernetes1.12.2(三)

我們可以創建一個service，查看其分配的IP。

[root@master ~]# kubectl expose deploy nginx --port=8888 --target-port=80[root@master ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP    51m
nginx        ClusterIP   10.98.190.189   <none>        8888/TCP   7s

至此，使用二進制程序搭建的過程我們已經介紹完了。

轉載于:https://blog.51cto.com/wzlinux/2322345

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/252936.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/252936.shtml
英文地址，請注明出處：http://en.pswp.cn/news/252936.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Oracle存儲過程--案例

Oracle存儲過程--案例

限額控制 CREATE OR REPLACE PACKAGE BODY NP_PCKG_MERCHANT_LIMIT ASPROCEDURE CHECK_LIMIT (in_iplCode IN VARCHAR2, --行業編號in_iplState IN VARCHAR2, --卡類型in_posNo IN VARCHAR2, --商戶號in_tranAmt IN …
閱讀更多...
SpringMVC—對Ajax的處理（含 JSON 類型）(2)

SpringMVC—對Ajax的處理（含 JSON 類型）(2)

這里編寫了一個通用的類型轉換器&#xff1a;用來轉換形如&#xff1a; firstNamejack&lastNamelily&gender1&foodsSteak&foodsPizza&quoteEnteryourfavoritequote!&educationJr.High&tOfDDay 到 Student 對象。/*** author solverpeng* create 20…
閱讀更多...
馬來西亞熱情擁抱阿里巴巴 馬云倡議的eWTP首次落地海外

馬來西亞熱情擁抱阿里巴巴 馬云倡議的eWTP首次落地海外

摘要&#xff1a;3月22日&#xff0c;馬來西亞總理納吉布與阿里巴巴集團董事局主席馬云一同出現在吉隆坡一場盛大啟動儀式上&#xff0c;他們將共同見證馬云的eWTP理念落地馬來西亞。 3月22日&#xff0c;在邀請阿里巴巴集團董事局主席馬云、阿里巴巴集團CEO張勇、螞蟻金服集團…
閱讀更多...
征名公布|Qtum量子鏈企業版—Unita 中文名征集圓滿落幕

征名公布|Qtum量子鏈企業版—Unita 中文名征集圓滿落幕

Qtum量子鏈基金會為感謝社區與為了充分調動社區積極性&#xff0c;調動社區力量&#xff0c;在Qtum企業版完整公布之前將中文名留給社區成員們集思廣益&#xff0c;其中截止2018年11月26日&#xff0c;我們征集到數百份來自社區的優秀名稱&#xff0c;在經過基金會層層嚴肅認真…
閱讀更多...
隨便玩玩之PostgreSQL（第一章）PostgreSQL簡介

隨便玩玩之PostgreSQL（第一章）PostgreSQL簡介

隨便玩玩之PostgreSQL 未經授權不得轉載 第1章PostgreSQL簡介 1.1什么是PostgreSQLPostgresql是數據庫&#xff08;軟件&#xff09;。The worlds most advanced open source database.世界上最先進的開源數據庫。 1.2PostgreSQL的優勢隨便用、不要錢 比MySQL好&#xff0c;媲美…
閱讀更多...
bootstrap 利用jquery 添加disabled屬性

bootstrap 利用jquery 添加disabled屬性

添加&#xff1a; $("#id").attr("disabled","disabled"); 去除&#xff1a; $("#id").removeattr("disabled");轉載于:https://www.cnblogs.com/duyunchao-2261/p/6692141.html
閱讀更多...
生產環境中Oracle常用函數總結

生產環境中Oracle常用函數總結

1>to_char,將日期轉換為字符&#xff1b;add_months,在第一個參數的日期上加或者減第二個參數的值&#xff1b;select dkzh,jkhtbh,yhkrq,dkffrq,shqs,dqyqcs,to_char(add_months(dkffrq,shqsdqyqcs1),yyyymm) from grdk_dk_zz a where a.dkzt in(02,03) and jgbm like 01||…
閱讀更多...
國內VR內容分發平臺探討:未來充滿變數,一切才剛開始

國內VR內容分發平臺探討:未來充滿變數,一切才剛開始

移動VR搞內容分發平臺的思維源自于移動互聯網時代&#xff0c;App Store成就了iPhone和蘋果;安卓端谷歌應用商店稱霸全球&#xff0c;唯獨進不了中國&#xff0c;于是國內涌現了一大批移動分發平臺&#xff0c;91無線、豌豆莢、安卓應用商店、機鋒、安智、小米商店……最后大部…
閱讀更多...
Dockerfile構建容器鏡像 - 運維筆記

Dockerfile構建容器鏡像 - 運維筆記

在Docker的運用中&#xff0c;從下載鏡像&#xff0c;啟動容器&#xff0c;在容器中輸入命令來運行程序&#xff0c;這些命令都是手工一條條往里輸入的&#xff0c;無法重復利用&#xff0c;而且效率很低。所以就需要一 種文件或腳本&#xff0c;我們把想執行的操作以命令的方式…
閱讀更多...
201421123042 《Java程序設計》第8周學習總結

201421123042 《Java程序設計》第8周學習總結

1. 本周學習總結 以你喜歡的方式&#xff08;思維導圖或其他&#xff09;歸納總結集合相關內容。 2. 書面作業 1. ArrayList代碼分析 1.1 解釋ArrayList的contains源代碼 源代碼&#xff1a; 答&#xff1a;查找對象是否再數組中&#xff0c;并且返回在數組中的下標。如果不在數…
閱讀更多...
Linux驅動靜態編譯和動態編譯方法詳解

Linux驅動靜態編譯和動態編譯方法詳解

內核源碼樹的目錄下都有兩個文檔Kconfig和Makefile。分布到各目錄的Kconfig構成了一個分布式的內核配置數據庫&#xff0c;每個Kconfig分別描述了所屬目錄源文檔相關的內核配置菜單。在內核配置make menuconfig時&#xff0c;從Kconfig中讀出菜單&#xff0c;用戶選擇后保存到.…
閱讀更多...
Linux學習-11月12日（Apache安裝）

Linux學習-11月12日（Apache安裝）

2019獨角獸企業重金招聘Python工程師標準>>> 11.6 MariaDB安裝 11.7/11.8/11.9 Apache安裝 擴展 apache dso https://yq.aliyun.com/articles/6298 apache apxs https://wizardforcel.gitbooks.io/apache-doc/content/51.html apache工作模式 https://blog.csdn.…
閱讀更多...
11. sql DDL

11. sql DDL

SQL分為5大類&#xff1a; DDL:數據定義語言 DCL:數據控制語言 DML:數據操縱語言 DTL:數據事務語言 DQL:數據查詢語言 1、DDL(data definition language):create,drop,alter,rename to 數據類型 ①、數字類型&#xff0c;可以數學運算 number&#xff08;4&#xff09;代表整數…
閱讀更多...
[bzoj2243][SDOI2011]染色

[bzoj2243][SDOI2011]染色

來自FallDream 的博客&#xff0c;未經允許&#xff0c;請勿轉載&#xff0c;謝謝qaq 給定一棵有n個節點的無根樹和m個操作&#xff0c;操作有2類&#xff1a; 1、將節點a到節點b路徑上所有點都染成顏色c&#xff1b; 2、詢問節點a到節點b路徑上的顏色段數量&#xff08;連續相…
閱讀更多...
Linux學習筆記——例說makefile 增加宏定義

Linux學習筆記——例說makefile 增加宏定義

從學習C語言開始就慢慢開始接觸makefile&#xff0c;查閱了很多的makefile的資料但總感覺沒有真正掌握makefile&#xff0c;如果自己動手寫一個makefile總覺得非常吃力。所以特意借助博客總結makefile的相關知識&#xff0c;通過例子說明makefile的具體用法。 例說makefile…
閱讀更多...
Android基本組件是什么？

Android基本組件是什么？

1、ImageView繼承View組件,不單單用于顯示圖片,用 XML代碼 編寫的Drawable也可以顯示出來。其中的XML屬性 android:scaleType(設置圖片如何縮放或移動以適應ImageView的大小) 有很多的屬性值,如:matrix(使用矩形方式進行縮放)fitXY(對圖片橫向縱向縮放)center(圖片放在ImageVie…
閱讀更多...
Java 運算符及優先級

Java 運算符及優先級

運算符 分割符&#xff1a;　　,　　;　　[]　　()算數運算符&#xff1a;　　　　-　　*　　/　　%　　　　--關系運算符&#xff1a;　　>　　<　　>　　<　　　　!邏輯運算符&#xff1a;　　!　　&　　|　　^　　&&　　||賦值運算符&#xff1a;　…
閱讀更多...
array sort - 2 : quick sort

array sort - 2 : quick sort

遞歸實現&#xff1a; #include <stdio.h>int arr[10] {3, 2, 4, 1, 9, 7, 5, 6, 0, 8};void print_array(){ int i 0; for (i 0; i < 10; i) printf("arr[%d]:%d ", i, arr[i]); printf("\n");}void swap(int *i, int *j){ …
閱讀更多...
Linux C 讀取文件夾下所有文件（包括子文件夾）的文件名

Linux C 讀取文件夾下所有文件（包括子文件夾）的文件名

本文&#xff1a;http://www.cnblogs.com/xudong-bupt/p/3504442.html Linux C 下面讀取文件夾要用到結構體struct dirent&#xff0c;在頭#include <dirent.h>中&#xff0c;如下&#xff1a; #include <dirent.h> struct dirent {long d_ino; /* inode number 索…
閱讀更多...
報表工具實現單據套打

報表工具實現單據套打

【摘要】 單據套打再也不用手動測量&#xff0c;反復調試了&#xff0c;報表工具實現單據套打&#xff0c;去乾學院看個究竟&#xff1a;報表工具實現單據套打!實際項目開發中&#xff0c;很多情況會涉及到單據的打印。即在一張印刷好的空白單據上&#xff0c;準確無誤地打印上…
閱讀更多...
最新文章

Copyright @ 2022~2023