《菜鸟侦探挑战数学分析》小案例,python实现第六弹
案件回顾
杂货店屡遭贼
杂货店遭小偷情况严重
现有8个月内,每天的失窃纪录
偷窃者有老顾客家属和学生,店主希望能防患于未然(问题:失窃是否有规律?怎样运用规律堤防盗贼?)
时间序列分析
将数据存储为csv格式,导入python,查看前10行数据。
import pandas as pd
xiaotailang = pd.read_csv('xiaotailang.csv')
xiaotailang.head(10)
按照时间顺序,画出失窃数额的线形图。
xiaotailang.date = pd.to_datetime(xiaotailang.date)
import matplotlib.pyplot as plt
import pylab
plt.rcParams['font.sans-serif'] = ['SimHei']
xiaotailang.index = xiaotailang.iloc[:,2]
xiaotailang.iloc[:,0].plot()
plt.ylabel("数额")
plt.title("失窃数据")
pylab.show()
从图显示,可以看出一月和四月,即寒假和春假期间出现了失窃数额大幅减少的情况。但是数据太多无法看清,因此将14年10月份的单独拿出来做线形图。
xiaotailang.iloc[0:30,0].plot()
plt.ylabel("数额")
plt.title("10月份失窃数据")
pylab.show()
从10月份的失窃图可以看出,失窃数额呈现似有似无的周期性波动:1号,15号,29号失窃数额激增,相隔皆为14天,且都是周三,但是10号和23号也出现失窃小高峰。结合周围情况发现,周围有一所学校学生每2周的周三下午不上课,还有一所学校在出现失窃小高峰的日子为学校活动日,下午也不上课,且学校的学生家比较远,寒假春假的时候很难出现在杂货店,因此,初步怀疑两所学校的学生与杂货店失窃有关。
逻辑回归分析
再从其他方面进行分析。现在把数据按照损失多和损失少分开,通过计算,失窃数额均值为1000左右,标准差为450左右,根据正态分布性质,平均值左右一个标准差的范围内应包含约68%的数据,因此这里选取1500(1000+450后上取整)当作区分损失多少的标准。下面用周几与活动日的数据进行逻辑回归分析,查看周三和活动日与损失多少是否有关。
逻辑回归只能对数值型变量进行处理,在我们的这个问题中,“活动日”和“周几”均为类型变量,所以要先对数据进行转化。pandas库中的get_dummies函数,可以将列虚拟化。
import pandas as pd
xiaotailang.iloc[:,3] = xiaotailang.iloc[:,3].replace(['no', 'yes'], [1, 0])
day = pd.get_dummies(xiaotailang['周几']) #列虚拟化,将类型变量转为数值变量
xiaotailang = xiaotailang.iloc[:,0:4].join(day)#数据整合
xiaotailang.iloc[:,4:] = xiaotailang.iloc[:,4:].replace([0, 1], [1, 0])
xiaotailang.head()
将虚拟化的数据与原数据中要用的列进行整合,得到如下结果:
数额 损失 date 活动日 周一 周三 周二 周五 周六 周四 周日 0 2362 1 1 1 1 0 1 1 1 1 1 1 1315 0 2 1 1 1 1 1 1 0 1 2 809 0 3 1 1 1 1 0 1 1 1 3 816 0 4 1 1 1 1 1 0 1 1 4 400 0 5 1 1 1 1 1 1 1 0
接下来使用statesmodels库中的Logit函数执行逻辑回归,其中“损失”为要预测的变量,“活动日”及周一到周六的数据作为解释变量,为了避免多重共线性,这里不使用“周日”列。
import statsmodels.api as sm
#xiaotailang['intercept'] = 1.0
logit = sm.Logit(xiaotailang.iloc[:,1], xiaotailang.iloc[:,3:10])
# 拟合模型
result = logit.fit()
result.summary()
得到的结果如下:
Optimization terminated successfully. Current function value: 0.313466 Iterations 8
coef std err z P>|z| [0.025 0.975] 活动日 -2.1062 0.698 -3.017 0.003 -3.475 -0.738 周一 1.4316 0.994 1.440 0.150 -0.516 3.379 周三 -2.2314 0.430 -5.189 0.000 -3.074 -1.389 周二 0.4872 0.689 0.707 0.480 -0.864 1.838 周五 -0.2870 0.558 -0.515 0.607 -1.380 0.806 周六 0.5195 0.713 0.729 0.466 -0.878 1.916 周四 -0.2870 0.558 -0.515 0.607 -1.380 0.806
从结果显示,周三和活动日的P值<0.005,否定原假设,即认为与要预测的变量“损失”有关。从对已有数据进行分析的结果显示,两所学校的学生与杂货店失窃有关,但这个判断结果只是根据手头数据得到的,可能存在某盗窃团伙专门在隔周的周三作案但是我们不知道,也就是说解释变量一开始就选错了,因此解释变量的选择对结果有很大影响。
几个小概念
逻辑回归:算法简单和高效,在实际中应用非常广泛。将普通回归函数,经Sigmoid函数,把输出压缩到[0,1]。当用逻辑回归做分类问题时,通常针对二分类问题,即结果是二选一的数据。
python系列数据分析小案例历史文章:
第一弹->小案例(一):商业街抽奖
第二弹->小案例(二):面包是不是变轻了
第三弹->小案例(三):调查问卷
第四弹->小案例(四):销售额下滑
第五弹->小案例(五):销量预测
后台回复“ 杂货店”,可获得本例中数据
机器学习养成记
搜索添加微信公众号:chenchenwings
长按图片,识别二维码,关注我们。
如需转载,请在开篇显著位置注明作者和出处,并在文末放置机器学习养成记二维码和添加原文链接。
快来关注我们吧!