import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['STFangsong']
plt.rcParams['axes.unicode_minus'] = False

%config InlineBackend.figure_format = 'svg'

数据分析的一般流程

提取数据（筛选）

• 布尔索引
• query()：相当于布尔索引
• drop()：删除指定的行或列
• rename()：重命名行或列索引
• reset_index()：重置索引（将索引变成普通列）
• set_index()：设置索引（将一个列或多个列指定为索引）
• reindex()：调整行或列索引的顺序（还可以做花式索引）

整合和重塑

• merge()：实现两个DataFrame对象的内连接或外连接（适用于两张表有关联）。
• concat()：将两个或多个DataFrame的数据拼接到一起（适用于多张表结构一致）。

数据清洗（缺失值、重复值、异常值）

缺失值：

• dropna()：删除空值
• fillna()：填充空值 <— 均值、中位数、众数
• isnull() / notnull()：判断空值

重复值：

• duplicated()：判断是否重复
• drop_duplicates()：删除重复值

异常值：

• 异常值 / 极端值 / 离群值
• drop()：删除
• replace()：替换

预处理：

• apply()：将函数作用到数据上，需要指定在哪个轴上执行
• transform()：将（多个）函数作用到数据上
• applymap()：对每个元素使用指定的函数进行映射，相当于Series上的map()方法 —> elementwise
  注意：这三个方法都是高阶函数的用法，apply()方法接受的函数，可以是带归约性质的函数（聚合函数），也可以是没有归约性质的函数。transform()方法接受的函数不能是带归约功能的函数，只能是对数据做变换的函数，简单的说就是函数的执行不会减少数据的量。

数据透视（排序、分组、聚合）

• 透视表：根据A统计B（根据A列对数据进行分组，再对B列上聚合函数）
• groupby() —> sum() / mean() / max() / …
• pivot_table() —> 专门生成透视表的函数
• cut() —> 数据离散化（分箱）

数据可视化（统计图表）
*
数据的洞察（发现问题给出建议）

Example 1

df = pd.read_csv('../files/data/bilibili.csv',encoding = 'GBK')
df

1907 rows × 6 columns

def handle_num(n):
    if n[-1] == '万':
        return int(float(n[:-1]) * 10000)
    return int(n)

df['watchnum'] = df.watchnum.map(handle_num)
df['dm'] = df.dm.map(handle_num)
df

1907 rows × 6 columns

from datetime import datetime

# 将表中上传时间(字符串)转换为时间类型
# pd.to_datetime(字符串时间)
df['uptime'] = pd.to_datetime(df.uptime)
df.uptime   # dtype: datetime64[ns]

0      2021-01-21
1      2020-07-25
2      2019-05-11
3      2020-07-26
4      2020-02-24
          ...    
1902   2019-05-02
1903   2019-03-08
1904   2019-03-05
1905   2019-02-28
1906   2019-01-28
Name: uptime, Length: 1907, dtype: datetime64[ns]

df.uptime >= datetime(2021,1,1)   # 布尔数据系列

0        True
1       False
2       False
3       False
4       False
        ...  
1902    False
1903    False
1904    False
1905    False
1906    False
Name: uptime, Length: 1907, dtype: bool

[df.uptime >= datetime(2021,1,1)] # 布尔下标
temp = df[(df.uptime >= datetime(2021,1,1)) & (df.watchnum > 1000)]  #发布时间为2021年播放量大于1000的帖子
temp.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 92 entries, 0 to 1425
Data columns (total 6 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   title     92 non-null     object        
 1   url       92 non-null     object        
 2   watchnum  92 non-null     int64         
 3   dm        92 non-null     int64         
 4   uptime    92 non-null     datetime64[ns]
 5   upname    92 non-null     object        
dtypes: datetime64[ns](1), int64(2), object(3)
memory usage: 5.0+ KB

# 通过表达式筛选
# obj.query(筛选条件)
df.query('watchnum >= 1000 and uptime >="2021-1-1"').info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 92 entries, 0 to 1425
Data columns (total 6 columns):
 #   Column    Non-Null Count  Dtype         
---  ------    --------------  -----         
 0   title     92 non-null     object        
 1   url       92 non-null     object        
 2   watchnum  92 non-null     int64         
 3   dm        92 non-null     int64         
 4   uptime    92 non-null     datetime64[ns]
 5   upname    92 non-null     object        
dtypes: datetime64[ns](1), int64(2), object(3)
memory usage: 5.0+ KB

# 根据播放量排序
# obj.sort_values(by=[列1,列2...],ascending = True/False) 默认为True升序
temp.sort_values(by=['watchnum','dm'],ascending=False)

92 rows × 6 columns

temp1 = temp.drop(columns='upname')
temp1

92 rows × 5 columns

# 判断是否存在重复值
# temp.duplicated('url')
# 去重
temp.drop_duplicates('url')

83 rows × 6 columns

def normalize_url(url):
    if not url.startswith('https'):
        return 'https:' + url
    return url
df['url'] = df['url'].apply(normalize_url)
df

1907 rows × 6 columns

Example 2

df1 = pd.read_csv('../files/data/lagou.csv',encoding = 'utf-8',index_col='no')
df1.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3140 entries, 0 to 3139
Data columns (total 51 columns):
 #   Column                 Non-Null Count  Dtype  
---  ------                 --------------  -----  
 0   _id                    3140 non-null   object 
 1   adWord                 3140 non-null   int64  
 2   appShow                3140 non-null   int64  
 3   approve                3140 non-null   int64  
 4   businessZones          1544 non-null   object 
 5   city                   3140 non-null   object 
 6   companyFullName        3140 non-null   object 
 7   companyId              3140 non-null   int64  
 8   companyLabelList       3140 non-null   object 
 9   companyLogo            3139 non-null   object 
 10  companyShortName       3140 non-null   object 
 11  companySize            3140 non-null   object 
 12  createTime             3140 non-null   object 
 13  deliver                3140 non-null   int64  
 14  district               3133 non-null   object 
 15  education              3140 non-null   object 
 16  explain                0 non-null      float64
 17  financeStage           3140 non-null   object 
 18  firstType              3140 non-null   object 
 19  formatCreateTime       3140 non-null   object 
 20  gradeDescription       0 non-null      float64
 21  hitags                 260 non-null    object 
 22  imState                3140 non-null   object 
 23  industryField          3140 non-null   object 
 24  industryLables         3140 non-null   object 
 25  isHotHire              3140 non-null   int64  
 26  isSchoolJob            3140 non-null   int64  
 27  jobNature              3140 non-null   object 
 28  lastLogin              3140 non-null   object 
 29  latitude               3133 non-null   float64
 30  linestaion             2403 non-null   object 
 31  longitude              3133 non-null   float64
 32  pcShow                 3140 non-null   int64  
 33  plus                   0 non-null      float64
 34  positionAdvantage      3140 non-null   object 
 35  positionId             3140 non-null   int64  
 36  positionLables         3140 non-null   object 
 37  positionName           3140 non-null   object 
 38  promotionScoreExplain  0 non-null      float64
 39  publisherId            3140 non-null   int64  
 40  resumeProcessDay       3140 non-null   int64  
 41  resumeProcessRate      3140 non-null   int64  
 42  salary                 3140 non-null   object 
 43  score                  3140 non-null   int64  
 44  secondType             3140 non-null   object 
 45  skillLables            3140 non-null   object 
 46  stationname            2403 non-null   object 
 47  subwayline             2403 non-null   object 
 48  thirdType              3140 non-null   object 
 49  workYear               3140 non-null   object 
 50  job_detail             1513 non-null   object 
dtypes: float64(6), int64(13), object(32)
memory usage: 1.2+ MB

pd.set_option('max_columns', None)
df1.head()

df1.dropna(axis = 1,inplace=True)
df1

3140 rows × 37 columns

df1.drop(columns = ['_id','adWord','appShow','approve','deliver'],inplace=True)
df1

3140 rows × 32 columns

# 找出热招岗位
df1[df1.isHotHire == 1]

# 融资阶段D轮及以上的招聘岗位
# 判断某字符串中是否含有某字符(模糊查询)
df1[df1.financeStage.str.contains('D')]

235 rows × 32 columns

# 数据分析岗位
temp1 = df1[df1.positionName.str.contains('数据分析')]
temp1

1515 rows × 32 columns

df1['year'] = pd.to_datetime(df1['createTime']).dt.year
df1['month'] = pd.to_datetime(df1['createTime']).dt.month
df1['day'] = pd.to_datetime(df1['createTime']).dt.day
df1['weekday'] = pd.to_datetime(df1['createTime']).dt.weekday  # 0 - 星期一
df1

3140 rows × 36 columns

# 捕获薪资字段以获取工资上下限
temp = df1.salary.str.extract(r'(\d+)[kK]?-(\d+)[kK]?')
# 将DataFrame中的str映射成int
temp = temp.applymap(int)
# 沿1轴计算均值
# axis = 1,表示对所有的列的每一行进行操作
df1['msal'] = temp.mean(axis = 1)
df1

3140 rows × 37 columns

# 排序和TopN
df1.sort_values(by = 'msal',ascending=False)

3140 rows × 37 columns

df1.nlargest(10,'msal')

ser = df1.groupby('city').msal.mean()
ser

city
上海    20.198630
北京    21.044444
南京    13.411157
厦门    12.139098
天津    10.400000
广州    14.800562
成都    12.573333
杭州    20.122881
武汉    12.401111
深圳    19.473077
苏州    13.826531
西安     9.340237
长沙     9.394737
Name: msal, dtype: float64

ser.plot(kind = 'bar')
plt.xticks(rotation = 0)  # 横坐标旋转度数
plt.show()

​

​

def my_mean(group):
    return np.round(np.mean(group),1)

# SAC --> Split - Aggragate - Combine
df1.groupby('city').msal.agg(['max','min',my_mean,np.ptp])

# 对多个列进行数据聚合不同的列使用不同的聚合方式
# 同一个列也可以作用多个聚合函数
df1.groupby('city')[['msal','companyId']].agg({
    'msal':my_mean,
    'companyId':['nunique','count']
})

透视表

什么是透视表：根据A统计B

# 生成透视表 DataFrame、A、B、聚合函数
pd.pivot_table(data=df1,   # DataFrame
               index = 'city',   # A 被透视对象 原表格数据项(groupby属性)
               values = ['msal','companyId'],   # B 需要透视的数据
               aggfunc = {   # 聚合函数
                   'msal':my_mean,
                   'companyId':'nunique'
               })

df2 = pd.read_excel('../files/data/2020年销售数据.xlsx')
df2

1945 rows × 9 columns

# 月度销售额
pd.pivot_table(data = df2,
               index = '品牌',
               columns= ['销售区域'],
               values = ['销售额'],
               aggfunc =np.sum,
               margins=True,   # 添加总计列
               margins_name='总计')

# 品牌销售占比
temp = pd.pivot_table(data = df2,
                     index = '品牌',
                     values = '销售额',
                     aggfunc = 'sum',
                     margins=True,
                     margins_name='总计')
temp

# 品牌销售占比
temp.plot(kind = 'pie',autopct = '%.2f%%',subplots=True)
plt.show

<function matplotlib.pyplot.show(close=None, block=None)>

​

​

# 各地区销售额
pd.pivot_table(data = df2,
              index = '销售区域',
              values = ['销售额'],
              columns = '品牌',
              aggfunc = 'sum',
              margins=True,
              margins_name='总计')

# 各渠道品牌销量
pd.pivot_table(data = df2,
              index = ['销售渠道'],
              columns = ['品牌'],
              values =['销售数量'],
              aggfunc = 'sum',
              margins = True,
              margins_name = '总计')

# 不同售价区间的阅读销量占比
# 分箱，将连续的数据放到离散的箱子中基于分箱的结果在进行分组
print('MAX:',df2['售价'].max())
print('MIN:',df2['售价'].min())
box = pd.cut(df2['售价'],bins = [50,300,550,800,1050,1300,1550])
temp2 = df2.groupby(box)['售价'].count()
temp2

MAX: 1499
MIN: 59



售价
(50, 300]       917
(300, 550]      745
(550, 800]      171
(800, 1050]      74
(1050, 1300]     32
(1300, 1550]      6
Name: 售价, dtype: int64

temp2.plot(kind = 'pie',autopct = '%.2f%%')
plt.show

<function matplotlib.pyplot.show(close=None, block=None)>

​

​