非独立随机变量的概率上界估计

2023-09-17 13:00:07

目前的概率论或者随机变量书籍过分强调对独立随机变量的大数定律,中心极限定理,遗憾上界的估计。而对于非独立随机变量的研究很少,在《概率论的极限定理》中曾给出过一般随机变量求和的渐进分布簇的具体形式,然而形式却太过复杂。下面将以切比雪夫不等式为基本出发点,研究非独立情况下的随机变量均值的一个误差上界,为后面研究提供基础。

(非独立随机变量概率误差上界) 若对于随机变量 { r t + 1 , r t + 1 , . . . , r t + n } \{r_{t+1},r_{t+1},...,r_{t+n}\} {rt+1,rt+1,...,rt+n},存在 D max ⁡ ≥ 0 D_{\max}\geq0 Dmax0使得对于任意 k k k,有 D [ r t + k ∣ H k ] ≤ D max ⁡ \mathbb{D}[r_{t+k}|H_k]\leq D_{\max} D[rt+kHk]Dmax,则有下面的式子成立,对于给定 ε > 0 \varepsilon >0 ε>0
P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D [ ∑ k = 1 n r t + k ∣ H n ] n 2 ε 2 = ∑ k = 1 n D [ r t + k ∣ H n ] + ∑ i = 1 n ∑ j ≠ i n [ E [ r t + i r t + j ∣ H n ] − E [ r t + i ∣ H n ] E [ r t + j ∣ H n ] n 2 ε 2 = ∑ k = 1 n D [ r t + k ∣ H n ] + ∑ i = 1 n ∑ j ≠ i n ρ i j D [ r t + i ∣ H n ] D [ r t + j ∣ H n ] n 2 ε 2 = D max ⁡ n + ∑ i = 1 n ∑ j ≠ i ρ i j n 2 ε 2 \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}_{t+k}[r_{t+k}|H_k]|>\varepsilon]\leq \frac{\mathbb{D}[\sum_{k=1}^nr_{t+k}|H_n]}{n^2\varepsilon^2}\\ =\frac{\sum_{k=1}^n\mathbb{D}[r_{t+k}|H_n]+\sum_{i=1}^n\sum_{j\ne i}^n[\mathbb{E}[r_{t+i}r_{t+j}|H_n]-\mathbb{E}[r_{t+i}|H_n]\mathbb{E}[r_{t+j}|H_n]}{n^2\varepsilon^2}\\ = \frac{\sum_{k=1}^n\mathbb{D}[r_{t+k}|H_n]+\sum_{i=1}^n\sum_{j\ne i}^n\rho_{ij}\sqrt{\mathbb{D}[r_{t+i}|H_n]}\sqrt{\mathbb{D}[r_{t+j}|H_n]}}{n^2\varepsilon^2}\\=D_{\max}\frac{n+\sum_{i=1}^n\sum_{j\ne i}\rho_{ij}}{n^2\varepsilon^2} P[n1k=1nrt+kn1k=1nEt+k[rt+kHk]>ε]n2ε2D[k=1nrt+kHn]=n2ε2k=1nD[rt+kHn]+i=1nj=in[E[rt+irt+jHn]E[rt+iHn]E[rt+jHn]=n2ε2k=1nD[rt+kHn]+i=1nj=inρijD[rt+iHn] D[rt+jHn] =Dmaxn2ε2n+i=1nj=iρij
其中 ρ i j ∈ [ − 1 , 1 ] \rho_{ij}\in[-1,1] ρij[1,1],表示随机变量 r t + i r_{t+i} rt+i和随机变量 r t + j r_{t+j} rt+j相关系数,描述了其相关程度。

(推论1) 可以看出的是,若相关性最强的情况,对于任意两个随机变量 r t + i r_{t+i} rt+i r t + j r_{t+j} rt+j间都是强相关的,即对于任意 r t + i , r t + j r_{t+i},r_{t+j} rt+i,rt+j ρ i j = 1 \rho_{ij}=1 ρij=1,则有对于给定的 ε > 0 \varepsilon >0 ε>0
P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D max ⁡ ε 2 \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}_{t+k}[r_{t+k}|H_k]|>\varepsilon]\leq \frac{D_{\max}}{\varepsilon^2} P[n1k=1nrt+kn1k=1nEt+k[rt+kHk]>ε]ε2Dmax
(推论2) 非独立随机变量若想要使得 大数定律成立,即 1 n ∑ k = 1 n r t + k \frac{1}{n}\sum_{k=1}^nr_{t+k} n1k=1nrt+k依概率收敛到 1 n ∑ k = 1 n E t + k [ r t + k ] \frac{1}{n}\sum_{k=1}^n\mathbb{E}_{t+k}[r_{t+k}] n1k=1nEt+k[rt+k],则需要使得 ∑ j ≠ i ρ i j < o ( n ) \sum_{j\ne i}\rho_{ij}<o(n) j=iρij<o(n)或者 ∑ i = 1 n ∑ j ≠ i ρ i j < o ( n 2 ) \sum_{i=1}^n\sum_{j\ne i}\rho_{ij}<o(n^2) i=1nj=iρij<o(n2)

即对于任意一个随机变量 r t + i r_{t+i} rt+i而言,其同其他随机变量 r t + j r_{t+j} rt+j的相关程度之和应该大于 n n n的线性增加。例如:随着 n n n的增加, r t + i r_{t+i} rt+i永远只有和其有限个 m m m r t + i − 1 , r t + i − 2 , . . . r t + i − m r_{t+i-1},r_{t+i-2},...r_{t+i-m} rt+i1,rt+i2,...rt+im相关,则此时大数定律依然成立。
(推论3) 若对于任意 ρ i j , i ≠ j \rho_{ij},i\ne j ρij,i=j ∣ ρ i j ∣ < ρ ≤ 1 |\rho_{ij}|<\rho\leq1 ρij<ρ1,则可以得到: P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D max ⁡ ∣ ρ ∣ ε 2 + D max ⁡ ( 1 − ∣ ρ ∣ ) n ε 2 \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}_{t+k}[r_{t+k}|H_k]|>\varepsilon]\leq \frac{D_{\max}|\rho|}{\varepsilon^2}+\frac{D_{\max}(1-|\rho|)}{n\varepsilon^2} P[n1k=1nrt+kn1k=1nEt+k[rt+kHk]>ε]ε2Dmaxρ+nε2Dmax(1ρ)
进一步可以由极限的保号性可以得到: lim ⁡ n → ∞ P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ > ε ] ≤ D max ⁡ ∣ ρ ∣ ε 2 \lim_{n\rightarrow \infty} \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}_{t+k}[r_{t+k}|H_k]|>\varepsilon]\leq\frac{D_{\max}|\rho|}{\varepsilon^2} nlimP[n1k=1nrt+kn1k=1nEt+k[rt+kHk]>ε]ε2Dmaxρ
Proof:设 a n = P [ ∣ 1 n ∑ k = 1 n r t + k − 1 n ∑ k = 1 n E t + k [ r t + k ∣ H k ] ∣ a_n= \mathbb{P}[|\frac{1}{n}\sum_{k=1}^nr_{t+k}-\frac{1}{n}\sum_{k=1}^n\mathbb{E}_{t+k}[r_{t+k}|H_k]| an=P[n1k=1nrt+kn1k=1nEt+k[rt+kHk],设 lim ⁡ n → ∞ a n = c 1 \lim_{n\rightarrow \infty} a_n = c_1 limnan=c1 b n = D max ⁡ ∣ ρ ∣ ε 2 + D max ⁡ ( 1 − ∣ ρ ∣ ) n ε 2 b_n=\frac{D_{\max}|\rho|}{\varepsilon^2}+\frac{D_{\max}(1-|\rho|)}{n\varepsilon^2} bn=ε2Dmaxρ+nε2Dmax(1ρ),令 c 2 = D max ⁡ ∣ ρ ∣ ε 2 c_2=\frac{D_{\max}|\rho|}{\varepsilon^2} c2=ε2Dmaxρ,则: lim ⁡ n → ∞ b n = c 2 \lim_{n\rightarrow \infty} b_n = c_2 limnbn=c2,由假设可知 a n ≤ b n a_n\leq b_n anbn恒成立。待证明 c 1 ≤ c 2 c_1\leq c_2 c1c2,下面采用反证法证明:
不妨设 c 1 > c 2 c_1 > c_2 c1>c2,则有:
lim ⁡ n → ∞ ( a n − b n ) = c 1 − c 2 > 0 \lim_{n\rightarrow \infty}(a_n-b_n)=c_1-c_2>0 nlim(anbn)=c1c2>0由极限的保号性: ∃ N \exists N N,当 n > N n>N n>N时有 a n − b n > 0 a_n-b_n>0 anbn>0,即 a n > b n a_n>b_n an>bn,然而这与条件 a n ≤ b n a_n\leq b_n anbn恒成立矛盾,因此得证 c 1 ≤ c 2 c_1\leq c_2 c1c2

(问题) 所以目前一个重要的问题是: ρ i j \rho_{ij} ρij如何进行估计?

更多推荐

【Linux】nohub指令--终端退出后命令仍旧执行

文章目录0、背景1、作用2、语法3、用法演示4、关于2>&10、背景Shell中,执行一个持续进行的指令,会"霸屏",即你想再执行其他指令,要么重开个shell终端,要么退出这个执行。1、作用nohub,即nohangup(不挂起),用于在系统后台不挂断地运行命令,Ctrl+C退出终端后命令依旧执行。2、语法nohup

JavaScript策略模式

JavaScript策略模式1什么是策略模式2实现一个基础的策略模式3Javascript中策略模式4使用策略模式实现缓动动画5使用策略模式实现表单校验1什么是策略模式策略模式(StrategyPattern)是一种行为型设计模式,它定义了一系列算法,将每个算法都封装起来,并且使它们可以相互替换。策略模式让算法独立于使

Java的Socket通信的断网重连的正确写法

Java的Socket通信的断网重连的正确写法Socket通信的断网重连介绍客户端与服务端源码演示截图本地演示服务器演示演示截图总结Socket通信的断网重连介绍针对于已经建立通信的客户端与服务器,当客户端与服务器因为网络问题导致网络不通而断开连接了或者由于服务器端的服务被突然停掉,而客户端进行的一种尝试重新建立连接的

通用商城项目(下)

记录一些踩坑的地方,以及理顺一些思路。通过管理系统页面,完成商品属性分组和商品属性(基本属性)关联维护属性表与属性组表的功能完善:显示属性组与属性表的一对多关系前端1.引入组件,是否显示使用v-if,但是还要注意引入的组件本身,是否自己也有:visible.sync="visible"这样的属性。只有当两层是否显示的变

通过内网穿透,在Windows 10系统下搭建个人《我的世界》服务器公网联机

文章目录1.Java环境搭建2.安装我的世界Minecraft服务3.启动我的世界服务4.局域网测试连接我的世界服务器5.安装cpolar内网穿透6.创建隧道映射内网端口7.测试公网远程联机8.配置固定TCP端口地址8.1保留一个固定tcp地址8.2配置固定tcp地址9.使用固定公网地址远程联机今天和大家分享一下只需简

【外汇天眼】外汇交易的优势:公平、低成本和高流动性

外汇交易的优势体现在其公平性以及众多其他方面。让我们一起重新审视这些优势,以更清晰地了解外汇市场的吸引力。1、低成本交易:与其他金融市场不同,外汇市场没有佣金、清算费、交易所费、政府费或经纪费。大多数外汇经纪人通过点差服务获得回报。这意味着交易者可以更高效地管理交易成本。2、无固定手数:与期货市场不同,外汇市场允许交易

【2591. 将钱分给最多的儿童】

来源:力扣(LeetCode)描述:给你一个整数money,表示你总共有的钱数(单位为美元)和另一个整数children,表示你要将钱分配给多少个儿童。你需要按照如下规则分配:所有的钱都必须被分配。每个儿童至少获得1美元。没有人获得4美元。请你按照上述规则分配金钱,并返回最多有多少个儿童获得恰好8美元。如果没有任何分配

【Vue】利用vue.js、vuex和vue router组件、element ui plus组件来创建基于知识图谱的智能问答系统的前端部分

Vue.js是一个流行的JavaScript框架,用于构建用户界面。它基于MVVM模式,可以轻松地创建组件化应用程序。Vuex是Vue.js的官方状态管理库,用于管理Vue.js应用程序中的数据流。它提供了一种集中式的方式来管理应用程序中的所有组件的状态,并且它可以让你轻松地实现可预测的状态变化。VueRouter是V

PostgreSQL serial类型

serial类型和序列postgresql序列号(SERIAL)类型包括smallserial(smallint,short),serial(int)bigserial(bigint,longlongint)不管是smallserial,serial还是bigserial,其范围都是(1,922337203685477

Python实现简单的爬虫功能

目录一、导入必要的库和模块二、发送HTTP请求三、解析HTML文件四、存储数据五、完整代码示例六、注意事项总结随着互联网的普及,信息获取的需求越来越大,而爬虫技术则成为了一种常见的信息获取方式。在Python中,有许多库和模块可以用于实现简单的爬虫功能。本文将介绍如何使用Python实现简单的爬虫功能,包括导入必要的库

std::thread简单使用

std::thread是C++标准库中用于多线程编程的类。它允许你创建和管理线程,使程序能够并发执行不同的任务。以下是关于std::thread的详细介绍以及几个示例说明:创建线程你可以使用std::thread构造函数创建新的线程,并将要执行的函数传递给它。以下是创建线程的基本示例:#include<iostream

热文推荐