在平時(shí)的科研中，我們經(jīng)常使用統(tǒng)計(jì)概率的相關(guān)知識(shí)來(lái)幫助我們進(jìn)行城市研究。因此，掌握一定的統(tǒng)計(jì)概率相關(guān)知識(shí)非常有必要。本文將討論我們經(jīng)常遇到的概率分布，希望能從概念層面幫助大家建立總體認(rèn)知。- 隨機(jī)變量(Random Variable)
- 密度函數(shù)(Density Functions)
- 伯努利分布(Bernoulli Distribution)
- 二項(xiàng)式分布(Binomial Distribution)
- 均勻分布(Uniform Distribution)
- 泊松分布(Poisson Distribution)
- 正態(tài)分布(Normal Distribution)
- 長(zhǎng)尾分布(Long-Tailed Distribution)
- 學(xué)生 t 檢驗(yàn)分布(Student’s t-test Distribution)
- 對(duì)數(shù)正態(tài)分布(Lognormal Distribution)
- 指數(shù)分布(Exponential Distribution)
- 威布爾分布(Weibull Distribution)
- 卡方分布(Chi-square Distribution)
- 中心極限定理(Central Limit Theorem)
離散隨機(jī)變量
隨機(jī)實(shí)驗(yàn)的所有可能結(jié)果都是隨機(jī)變量。一個(gè)隨機(jī)變量集合用 表示。如果實(shí)驗(yàn)可能的結(jié)果是可數(shù)的，那么它被稱(chēng)為離散隨機(jī)變量。例如，如果你拋硬幣 10 次，你能得到的正面數(shù)可以用一個(gè)數(shù)字表示?；蛘呋@子里有多少蘋(píng)果仍然是可數(shù)的。這些是不能以離散方式表示的值。例如，一個(gè)人可能有 1.7 米高，1米 80 厘米，1.6666666...米高等等。2. 密度函數(shù)
我們使用密度函數(shù)來(lái)描述隨機(jī)變量 的概率分布。返回離散隨機(jī)變量 等于 的值的概率。所有值的總和等于 1。PMF 只能用于離散變量。PMF。來(lái)源：https://en.wikipedia.org/wiki/Probability_mass_function它類(lèi)似于連續(xù)變量的 PMF 版本。返回連續(xù)隨機(jī)變量 X 在某個(gè)范圍內(nèi)的概率。PDF。來(lái)源：https://byjus.com/maths/probability-density-function/返回隨機(jī)變量 X 取小于或等于 x 的值的概率。CDF（指數(shù)分布的累積分布函數(shù)）。來(lái)源：https://en.wikipedia.org/wiki/Cumulative_distribution_function3. 離散分布
我們只有一個(gè)試驗(yàn)（只有一個(gè)觀察結(jié)果）和兩個(gè)可能的結(jié)果。例如，拋硬幣。我們有一個(gè)真的(1)的結(jié)果和一個(gè)假的(0)的結(jié)果。假設(shè)我們接受正面為真（我們可以選擇正面為真或成功）。那么，如果正面朝上的概率是 ，相反情況的概率就是 。import seaborn as sns
from scipy.stats import bernoulli
# 單一觀察值
# 生成數(shù)據(jù) (1000 points, possible outs: 1 or 0, probability: 50% for each)
data = bernoulli.rvs(size=1000,p=0.5)
# 繪制圖形
ax = sns.distplot(data_bern,kde=False,hist_kws={'linewidth': 10,'alpha':1})
ax.set(xlabel='Bernouli', ylabel='freq')
import matplotlib.pyplot as plt
from scipy.stats import binom
n = 20
# 實(shí)驗(yàn)次數(shù)
p = 0.5
# 成功的概率
r = list(range(n + 1))
# the number of success
# pmf值
pmf_list = [binom.pmf(r_i, n, p) for r_i in r ]
# 繪圖
plt.bar(r, pmf_list)plt.show()
它看起來(lái)像正態(tài)分布，但請(qǐng)記住這些值是離散的。現(xiàn)在這次，你有一枚欺詐硬幣。你知道這個(gè)硬幣正面向上的概率是 0.7。因此，p = 0.7。
該分布顯示出成功結(jié)果數(shù)量增加的概率增加。 : 成功的概率 : 實(shí)驗(yàn)次數(shù) : 失敗的概率 所有結(jié)果成功的概率相同。擲骰子，1 到 6。data = np.random.uniform(1, 6, 6000)
import matplotlib.pyplot as plt
from scipy.stats
import poisson
r = range(0,11)
# 呼叫次數(shù)
lambda_val = 4
# 均值
# 概率值
data = poisson.pmf(r, lambda_val)
# 繪圖
fig, ax = plt.subplots(1, 1, figsize=(8, 6))
ax.plot(r, data, 'bo', ms=8, label='poisson')
plt.ylabel('Probability', fontsize='12')
plt.xlabel('# Calls', fontsize='12')
plt.title('Poisson Distribution', fontsize='16')
ax.vlines(r, 0, data, colors='r', lw=5, alpha=0.5)
最著名和最常見(jiàn)的分布（也稱(chēng)為高斯分布），是一種鐘形曲線(xiàn)。它可以通過(guò)均值和標(biāo)準(zhǔn)差定義。正態(tài)分布的期望值是均值。曲線(xiàn)對(duì)稱(chēng)。均值、中位數(shù)和眾數(shù)相等。曲線(xiàn)下總面積為 1。大約 68%的值落在一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。~95% 落在兩個(gè)標(biāo)準(zhǔn)差范圍內(nèi)，~98.7% 落在三個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。import scipy
mean = 0
standard_deviation = 5
x_values = np. arange(-30, 30, 0.1)
y_values = scipy.stats.norm(mean, standard_deviation)
plt.plot(x_values, y_values. pdf(x_values))
import numpy as np
import statsmodels.api as sm
points = np.random.normal(0, 1, 1000)
fig = sm.qqplot(points, line ='45')
plt.show()
尾巴是分布的長(zhǎng)而窄的部分，離群值就位于其中。當(dāng)一側(cè)尾巴不同于另一側(cè)時(shí)，就稱(chēng)為偏斜。下圖是長(zhǎng)尾分布的 QQ 圖。import matplotlib.pyplot as plt
from scipy.stats import skewnorm
def generate_skew_data(n: int, max_val: int, skewness: int):
# Skewnorm function
random = skewnorm.rvs(a = skewness,loc=max_val, size=n)
plt.hist(random,30,density=True, color = 'red', alpha=0.1)
plt.show()
generate_skew_data(1000, 100, -5) # negative (-5)-> 左偏分布
generate_skew_data(1000, 100, 5) # positive (5)-> 右偏分布
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
X = np.linspace(0, 6, 1500)
std = 1
mean = 0
lognorm_distribution = stats.lognorm([std], loc=mean)
lognorm_distribution_pdf = lognorm_distribution.pdf(X)
fig, ax = plt.subplots(figsize=(8, 5))
plt.plot(X, lognorm_distribution_pdf, label='μ=0, σ=1')
ax.set_xticks(np.arange(min(X), max(X)))
plt.title('Lognormal Distribution')
plt.legend()plt.show()
from scipy.stats import expon
import matplotlib.pyplot as plt
x = expon.rvs(scale=2, size=10000) # 2 calls
# 繪圖
plt.hist(x, density=True, edgecolor='black')
它是指時(shí)間間隔是可變的而不是固定的情況下使用的指數(shù)分布的擴(kuò)展。在 Weibull 分布中，時(shí)間間隔被允許動(dòng)態(tài)變化。 是形狀參數(shù)，如果是正值，則事件發(fā)生的概率隨時(shí)間而增加，反之亦然。 是尺度參數(shù)。import matplotlib.pyplot as plt
x = np.arange(1,100.)/50.
def weib(x,n,a):
return (a / n) * (x / n)**(a - 1) * np.exp(-(x / n)**a)
count, bins, ignored = plt.hist(np.random.weibull(5.,1000))
x = np.arange(1,100.)/50.
scale = count.max()/weib(x, 1., 5.).max()
plt.plot(x, weib(x, 1., 5.)*scale)
plt.show()
import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt
#Gamma distributions
x = np.linspace(0, 60, 1000)
y1 = stats.gamma.pdf(x, a=5, scale=3)
y2 = stats.gamma.pdf(x, a=2, scale=5)
y3 = stats.gamma.pdf(x, a=4, scale=2)
# plots
plt.plot(x, y1, label='shape=5, scale=3')
plt.plot(x, y2, label='shape=2, scale=5')
plt.plot(x, y3, label='shape=4, scale=2')
#add legend
plt.legend()
#display
plotplt.show()
Gamma 分布。X 軸表示隨機(jī)變量 X 可能取到的潛在值，Y 軸表示分布的概率密度函數(shù)（PDF）值。它用于統(tǒng)計(jì)檢驗(yàn)。這通常在實(shí)際分布中不會(huì)出現(xiàn)。# x軸范圍0-10，步長(zhǎng)0.25
X = np.arange(0, 10, 0.25)
plt.subplots(figsize=(8, 5))
plt.plot(X, stats.chi2.pdf(X, df=1), label='1 dof')
plt.plot(X, stats.chi2.pdf(X, df=2), label='2 dof')
plt.plot(X, stats.chi2.pdf(X, df=3), label='3 dof')
plt.title('Chi-squared Distribution')
plt.legend()
plt.show()
中心極限定理
當(dāng)我們從人群中收集足夠大的樣本時(shí)，樣本的平均值將具有正態(tài)分布，即使人群不是正態(tài)分布。我們可以從任何分布（離散或連續(xù)）開(kāi)始，從人群中收集樣本并記錄這些樣本的平均值。隨著我們繼續(xù)采樣，我們會(huì)注意到平均值的分布正在慢慢形成正態(tài)分布。
中心極限定理。來(lái)源：https://en.wikipedia.org/wiki/Central_limit_theorem
