上傳文件、異步、初始化腳本
面試題：
項目中的靜態文件處理（JS/CSS/image） 自己在機房內優化的方法：1. Nginx/lighttpd(lighty-douban)：Nginx 處理靜態資源速度非常快，并且自身還帶有緩存。2. 80: Nginx -> {server config} -> django:8080 -> Static : folders -> 云存儲你了解CDN嗎？能講講原理么？擴展：如何更換CDN上的圖片？改名大法1. 請求加參數：1. abc.jpg2. abc.jpg?20191011111042asdflj23. abc.jpg?201910111110432. 改名1. abc_201910111042.jpg2. abc_md5.jpg七牛云接入
- 注冊七牛云賬號
- 創建存儲空間：Bucket -> 有獨立的域名，可以訪問
- 獲取相關配置
- AccessKey：從個人中心-密鑰管理里獲得
- SecretKey：從個人中心-密鑰管理里獲得
- Bucket_name：我們自己新建的存儲空間的名字
- Bucket_URL：建好的新存儲空間的訪問url
- 安裝 qiniu SDK：
pip install qiniu - 根據接口文檔進行接口封裝
- 按照需要將上傳、下載接口封裝成異步任務
- 程序處理流程
- 服務端上傳方式
- 用戶圖片先上傳到我們的服務器上
- 然后，我們的程序再調用七牛云的api，將圖片上傳到七牛云
- 上傳成功后，拼接 avatar 的圖片 url 地址：
- 七牛云的Bucket_URL/filename，將 avatar 的圖片 url 存入數據庫
- 客戶端直傳
- 客戶端圖片直接上傳到云服務
- 客戶端將圖片地址告訴服務端，服務端更新數據庫
- 其實存在一個安全隱患
- 客戶端先從服務端獲取token，再上傳
- 服務端上傳方式
代碼示例 使用了celery
#上傳圖片
def user_avatar(request):#1.存下來# 定義上傳后保存的文件名file_name =f'avatar-{request.user.id}.jpg'# 上傳后保存的路徑file_path = f'{settings.BASE_DIR}/static/{file_name}'#接收上傳文件內容f = request.FILES['avatar']with open(file_path,'wb+') as destination:for chunk in f.chunks():destination.write(chunk)print('save local ok.')user_id = request.user.id#delay很重要！！！upload_qiniu.delay(file_name, file_path, user_id)return render_json('已經放入celery-redis隊列中')#這一步用異步celery
@celery_app.task
def upload_qiniu(file_name, file_path, user_id):# 2.調用七牛云sdk上傳# 需要填寫你的 Access Key 和 Secret Key 需要修改 access_key = 'KXfx2ZiBP311HkZZ8l8JHCmqlqPTJCK2sraihexx'secret_key = 'pe5svTTUAJQoUPhppsf0Gg9wbEJiYahnRMAy1rxx'# 要上傳的空間bucket_name = 'liu'# 要上傳的域名bucket_domain = ' liu.s3-cn-south-1.qiniucs.com'# 構建鑒權對象q = Auth(access_key, secret_key, )token = q.upload_token(bucket_name, file_name, 3600)ret, info = put_file(token, file_name, file_path)print(info)#斷言assert ret['key'] == file_nameassert ret['hash'] == etag(file_path)print('save qiniu ok.')avatar_url = f'{bucket_domain}/{file_name}'# 3.更新用戶的avataruser = User.objects.get(id=user_id)# user = request.user # request 無法傳 所以改為user_iduser.avatar = avatar_urluser.save()return True
異步任務
Celery 及異步任務的處理
-
通用的異步框架的原理
-
核心隊列：消息隊列
-
客戶端：異步端
-
生產者：消費者
-
發布者：訂閱者
-
發送者：接收者
[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-YFOxnBJs-1577967577874)(/Users/zebin/Pictures/markdown_assets/image-20200102152154116.png)]
-
任務模塊 Task：包含異步任務和定時任務. 其中, 異步任務通常在業務邏輯中被觸發并發往任務隊列, 而定時任務由 Celery Beat 進程周期性地將任務發往任務隊列.
-
消息中間件 Broker：代理Broker, 即為任務調度隊列, 接收任務生產者發來的消息（即任務）更重要的智能是把海量的的消息緩沖住, 將任務存入隊列。Celery 本身不提供隊列服務, 官方推薦使用 RabbitMQ 和 Redis 等，或者干脆用云服務的消息隊列服務：SQS
-
任務執行單元 Worker：Worker 是執行任務的處理單元, 它實時監控消息隊列, 獲取隊列中調度的任務, 并執行它.
-
任務結果存儲 Backend：Backend 用于存儲任務的執行結果, 以供查詢. 同消息中間件一樣, 存儲也可使用 RabbitMQ, Redis 和 MongoDB 等.
-
-
消息隊列：
- MQ：Message Queue，（與服務器、存儲、緩存、數據庫同等重要，是現代互聯網后臺架構的基礎組件）
- 作用：
- 異步：把沒必要同步執行的程序，用消息隊列暫存，然后用其他程序去異步執行，做到跨機器分散任務
- 解耦：有依賴關系的應用之間，用消息隊列解除耦合
- A 和 B 兩個業務有強耦合
- A
B
- 削峰：把互聯網的高峰請求，先緩沖下來，然后再慢慢的逐個處理
- 秒殺、團購的場景，用這種方式降低峰值請求
- 限流：
- 1000，每進來一個人 -1，每離開一個人 +1，
- 減到 0 ，就告訴后來者：人滿了。
- 常見的消息隊列：
- Redis，最簡單
- Kafka，最適合做日志處理，單機幾十萬并發（每秒鐘的請求）
- RabbitMQ，符合 MQ 標準的消息隊列（每秒鐘幾萬）
- RocketMQ，符合 MQ 標準的消息隊列（每秒鐘十幾萬）
-
安裝 注意win10不支持celery4.3！！！！！！！！！！
所以需要額外安裝
pip install celery[redis] -
創建實例
import os from celery import Celeryfrom social import settings from worker import configos.environ.setdefault("DJANGO_SETTINGS_MODULE", "social.settings")celery_app = Celery('social') celery_app.config_from_object(config) celery_app.autodiscover_tasks() -
常規配置
broker_url = 'redis://127.0.0.1:6379/0' broker_pool_limit = 1000 # Borker 連接池, 默認是10timezone = 'Asia/Shanghai' accept_content = ['pickle', 'json']task_serializer = 'pickle' result_expires = 3600 # 任務過期時間result_backend = 'redis://127.0.0.1:6379/1' result_serializer = 'pickle' result_cache_max = 10000 # 任務結果最大緩存數量worker_redirect_stdouts_level = 'INFO' -
啟動 Worker
Linux / mac下：
celery worker -A worker --loglevel=info
win：
celery worker -A worker --loglevel=info -P eventlet
)
