【數理統計02】延森Jensen‘s不等式的證明

延森不等式(Jensen’s Inequality)是凸函數理論中的一個重要結果,廣泛應用于概率論、統計學和優化理論等領域。這個不等式的基本形式是:

對于一個凸函數 f f f和一個隨機變量 X X X,如果 E [ X ] \mathbb{E}[X] E[X]存在,那么有:
f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] f(E[X])E[f(X)]

證明這個不等式的一般步驟如下:

  1. 凸函數的定義
    函數 f : R → R f: \mathbb{R} \rightarrow \mathbb{R} f:RR是凸函數,當且僅當對于任意的 x 1 , x 2 ∈ R x_1, x_2 \in \mathbb{R} x1?,x2?R λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ[0,1],有:
    f ( λ x 1 + ( 1 ? λ ) x 2 ) ≤ λ f ( x 1 ) + ( 1 ? λ ) f ( x 2 ) f(\lambda x_1 + (1 - \lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2) f(λx1?+(1?λ)x2?)λf(x1?)+(1?λ)f(x2?)

  2. 證明步驟

    • 步驟1:利用凸函數的定義,我們首先對于簡單情形 λ = 1 2 \lambda = \frac{1}{2} λ=21?給出不等式。

    • 步驟2:將凸函數定義擴展到一般情況,對于任意的有限個數 x i x_i xi?和權重 λ i \lambda_i λi?(權重非負且和為1),有:
      f ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i f ( x i ) f\left( \sum_{i=1}^n \lambda_i x_i \right) \leq \sum_{i=1}^n \lambda_i f(x_i) f(i=1n?λi?xi?)i=1n?λi?f(xi?)

    • 步驟3:利用這一步驟得到的結果,證明對任意隨機變量 X X X和其概率分布的期望的情形。

詳細證明

步驟1:首先考慮兩個點的情況,設 x 1 x_1 x1? x 2 x_2 x2?是實數, λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ[0,1]。根據凸函數的定義,有:
f ( λ x 1 + ( 1 ? λ ) x 2 ) ≤ λ f ( x 1 ) + ( 1 ? λ ) f ( x 2 ) f(\lambda x_1 + (1 - \lambda) x_2) \leq \lambda f(x_1) + (1 - \lambda) f(x_2) f(λx1?+(1?λ)x2?)λf(x1?)+(1?λ)f(x2?)

步驟2:將這個不等式擴展到有限個點的情況。設 x 1 , x 2 , … , x n x_1, x_2, \ldots, x_n x1?,x2?,,xn?是實數, λ 1 , λ 2 , … , λ n \lambda_1, \lambda_2, \ldots, \lambda_n λ1?,λ2?,,λn?是非負權重,且 ∑ i = 1 n λ i = 1 \sum_{i=1}^n \lambda_i = 1 i=1n?λi?=1。利用凸函數的定義,可以通過數學歸納法證明:
f ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i f ( x i ) f\left( \sum_{i=1}^n \lambda_i x_i \right) \leq \sum_{i=1}^n \lambda_i f(x_i) f(i=1n?λi?xi?)i=1n?λi?f(xi?)

步驟3:考慮隨機變量 X X X和凸函數 f f f,對于離散情形,我們可以寫成:
X = x i with?probability p i X = x_i \quad \text{with probability} \quad p_i X=xi?with?probabilitypi?
這里 ∑ i p i = 1 \sum_i p_i = 1 i?pi?=1

因此:
E [ X ] = ∑ i p i x i \mathbb{E}[X] = \sum_i p_i x_i E[X]=i?pi?xi?
E [ f ( X ) ] = ∑ i p i f ( x i ) \mathbb{E}[f(X)] = \sum_i p_i f(x_i) E[f(X)]=i?pi?f(xi?)

根據步驟2的結果,有:
f ( ∑ i p i x i ) ≤ ∑ i p i f ( x i ) f\left( \sum_i p_i x_i \right) \leq \sum_i p_i f(x_i) f(i?pi?xi?)i?pi?f(xi?)

即:
f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] f(E[X])E[f(X)]

對于連續情形,可以通過類似的方法,考慮連續隨機變量的概率密度函數,使用積分形式得到同樣的結果。具體地,可以考慮隨機變量的積分表示:

X X X是一個連續隨機變量,其概率密度函數為 p ( x ) p(x) p(x),則:
E [ X ] = ∫ x p ( x ) d x \mathbb{E}[X] = \int x p(x) \, dx E[X]=xp(x)dx
E [ f ( X ) ] = ∫ f ( x ) p ( x ) d x \mathbb{E}[f(X)] = \int f(x) p(x) \, dx E[f(X)]=f(x)p(x)dx

根據凸函數定義的積分形式,也可以證明:
f ( ∫ x p ( x ) d x ) ≤ ∫ f ( x ) p ( x ) d x f\left( \int x p(x) \, dx \right) \leq \int f(x) p(x) \, dx f(xp(x)dx)f(x)p(x)dx

因此,對于連續隨機變量同樣有:
f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)] f(E[X])E[f(X)]

綜上所述,延森不等式對于離散和連續情形都成立。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/14190.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/14190.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/14190.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

安科瑞為河南省促進分布式光伏發電健康持續發展提供解決方案

1 光伏、儲能運維市場分析 在光伏、儲能行業飛速發展的同時,已建的光伏、風力發電站和儲能系統的監控、運維管理項目的招標也非常多,2023年上半年,光伏電站開發企業運維招標規模28.6GW,同比增長204.3%,上述28.6GW招標…

Blender導出fbx模型,導入到ue5中模型丟失紋理材質

UE5系列文章目錄 文章目錄 UE5系列文章目錄前言一、問題原因二、最終效果 前言 Blender導出fbx模型,導入到ue5中,發現模型丟失紋理材質,里面的原神人物模型妮露居然是白模,郁悶了大半天 一、問題原因 我在Blender導出fbx文件時…

【Python】全局變量與init的區別

一個腳本里,設置全局變量,和初始化類時__init__中加載,有什么區別? 在Python腳本中,使用全局變量和在類的__init__方法中加載數據有幾個關鍵區別: 作用域: 全局變量:全局變量在整個…

C中十進制轉十六進制示例

uint8_t QR_code_RxBfr[255]{0}; uint8_t TouchCode[100];memcpy (&Sys.TouchCode[0], &QR_code_RxBfr[0], Sys.QR_code_Len);Str &Sys.TouchCode[TmpVble];Sys.Card_ID 0; while(0 ! isdigit(*Str)){Sys.Card_ID Sys.Card_ID*10 *Str - 0;Str;} 最后在通過以下…

嵌入式科普(18)Ubuntu在移動硬盤的安裝和啟動

目錄 一、概述 二、應用場景 三、移動硬盤安裝Ubuntu 3.1 移動硬盤格式化 3.2 VMware安裝Ubuntu到移動硬盤 四、電腦BIOS啟動移動硬盤Ubuntu 五、從VMware啟動移動硬盤Ubuntu 六、問題解決(坑)和思考提問 嵌入式科普(18)Ubuntu在移動硬盤的安裝和啟動 一、概述 在移動硬…

在R中贊揚下努力工作的你,獎勵一份CheetShet

傳說有個R,R里有個包,包的名字叫praise,會一直不停地夸贊你。 > praise() [1] "You are sensational!" > praise() [1] "You are luminous!" > praise() [1] "You are pioneering!" > praise() […

P1【知識點】【數據結構】【鏈表LinkedList】C++版

鏈表是一種邏輯上連續,內存上分散的線性表數據結構,是用一組任意的空間(可以連續,也可以不連續)來存放數據元素。每個數據元素成為一個”結點“,每個結點由數據域和指針域組成。 訪問元素(Acce…

ABAP Json解析案例

ABAP解析返回的JSON 案例 DATA:LTOKEN TYPE STRING.DATA: LL_LINES(10),"行數LL_TABIX(10),"循環標號LL_PECNT TYPE P LENGTH 6 DECIMALS 2, "百分比LL_PECET(6),"百分數LL_TEXT(40)."消息CLEAR: LL_LINES,LL_TABIX,LL_PECNT,LL_PECET,LL_TEXT.* …

JVM優化之使用Jstack命令查找JVM死鎖

JVM優化之使用Jstack命令查找JVM死鎖 示例代碼 public class DeadLockDemo {private static Object lock1 new Object();private static Object lock2 new Object();public static void main(String[] args) {new Thread(() -> {synchronized (lock1) {try {System.out.p…

老的 IIS + MSSQL 網站遷移實例

因為公司需要從云上遷移回本地,但云平臺不愿意導出虛擬機文件,所以公司需要手工遷移。 查看了一下云主機,安裝了IIS,還有MSSQL數據庫,于是在本地搭建好相同的OSIISMSSQL 環境,在把數據庫導入完成、 IIS 搭建…

HX6203是一個完整的電池充電器控制器的兩個(8.4V)電池鋰離子電池芯片IC

一般描述 該HX6203是一個完整的電池充電器控制器的兩個(8.4V)電池鋰離子電池。HX6203為快速充電鋰離子電池提供了一種小巧、簡單、高效的解決方案。一個外部檢測電阻以高精度設置充電電流。 內部電阻分壓器和精密參考設置的最終浮動電壓為8.4V時,輸入…

全面提升工業物聯網的安全問題——青創智通

工業物聯網解決方案-工業IOT-青創智通 工業物聯網,作為現代工業制造領域的新興技術,正在引領一場全新的工業革命。它將傳感器、控制器、移動通信、智能分析等先進技術融入到工業生產過程的各個環節,極大地提高了制造效率,改善了產…

什么是谷歌留痕?

其實它就是指你的網站在谷歌中留下的種種痕跡,無論你是在做外鏈,還是優化網站內容,或是改善用戶體驗,所有這些都會在谷歌的搜索引擎里留下一些“腳印”,用比較seo一點的說法,指的是網站在其構建和優化過程中…

el-table 劃入劃出方法

<template><div><el-table :data"tableData" style"width: 100%" cell-mouse-enter"handleMouseEnter" cell-mouse-leave"handleMouseLeave"><el-table-column prop"ddd" label"日期2" widt…

Stable Diffusion ComfyUI:概念及介紹

在研究和應用深度學習技術的領域&#xff0c;尤其是穩定擴散&#xff08;Stable Diffusion&#xff09;模型&#xff0c;一個直觀的用戶界面對于提升效率和理解模型的能力至關重要。Stable Diffusion ComfyUI是一個專門為穩定擴散算法設計的界面工具&#xff0c;它提供了一套易…

GBase 8s 檢查是否是IP且轉數值函數

GBase 8s中沒有ip類型字段&#xff08;如inet&#xff09;&#xff0c;對于判斷字符串是否是IP地址&#xff0c;需要自己編寫相應的函數。 如下&#xff0c;實現檢查輸入的字符串是否為IPv4地址&#xff08;-1否&#xff09;&#xff0c;且轉換成數值類型&#xff1a; -- func…

數據分析案例——電商平臺數據集

數據來源于阿里云天池&#xff0c;為淘寶app平臺在2014年11月18日-12月18日的數據。 數據處理 導入相關的包&#xff0c;設置seaborn的繪圖風格&#xff1a; import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns sns.set()使用o…

Little Snitch for Mac(小飛賊防火墻軟件)v5.7.6注冊激活版

Little Snitch for Mac&#xff0c;也被稱為“小飛賊”防火墻軟件&#xff0c;是一款專為Mac用戶設計的網絡安全工具。以下是關于Little Snitch for Mac的一些主要特點&#xff1a; Little Snitch for Mac(小飛賊防火墻軟件)v5.7.6注冊激活版下載 強大的監控能力&#xff1a;Li…

Rust:如何在 Windows 的 Linux 子系統(WSL)下安裝

一、安裝步驟 在Windows Subsystem for Linux (WSL)下安裝Rust&#xff0c;可以按照以下步驟進行&#xff1a; 打開WSL終端&#xff1a; 首先&#xff0c;確保你的WSL已經安裝并正常運行。你可以在Windows搜索欄中輸入“WSL”并選擇你安裝的Linux發行版&#xff08;如Ubuntu&a…

leetcode-順時針旋轉矩陣-111

題目要求 思路 1.假設現在有一個矩陣 123 456 789 2.我們可以根據19這個對角線將數據進行交換&#xff0c;得到矩陣 147 258 369 3.然后將矩陣每一行的數據再翻轉&#xff0c;得到矩陣 741 852 963 代碼實現 class Solution { public:vector<vector<int> > rot…