Python Pandas 怎么用来搞数据分析和管理，数据库操作其实也没那么难

Python的Pandas库，说白了就是一个超级好用的数据工具箱，专门对付表格数据，很多人觉得操作数据库听起来很高深，但用Pandas来处理和分析数据，你会发现很多道理是相通的，甚至更简单，它就像是一个在你电脑上运行的、功能强大的“迷你数据库”。

核心就两个东西：Series和DataFrame

你得先明白Pandas里最基础的两个结构,这就像盖房子要懂砖头和水泥。

一个是Series，你可以把它想象成Excel表格里单独的一列，它有自己的名字，里面装着一串数据，一列所有人的年龄,或者一列商品的价格。

另一个是DataFrame，这就是一个完整的表格，有行有列，它其实就是由好几个Series拼在一起的，你从CSV文件或者Excel里读进来的数据，基本上就是一个DataFrame，这是你打交道最多的东西。（来源：Pandas官方文档对数据结构的介绍）

怎么把数据弄进来？读和写

数据分析的第一步是把数据拿到手，Pandas让你能用一行代码就读取各种格式的文件,特别方便。

pd.read_csv('文件.csv') 这是最常用的，读CSV格式的文件，逗号分隔的文本数据。 pd.read_excel('文件.xlsx') 直接读Excel文件，可以指定读哪个工作表。 pd.read_sql('SQL查询语句', 数据库连接) 这个就厉害了，它能直接连上你的数据库（比如MySQL、PostgreSQL），写一句SQL查询，结果就直接变成一个DataFrame，后面就可以用Pandas来分析了，这就把数据库操作和数据分析无缝衔接了。（来源：Pandas官方IO工具文档）

把数据处理好之后，保存起来也一样简单： df.to_csv('新文件.csv', index=False) 存成CSV文件，那个index=False通常是为了不把行号也存进去，让文件更干净。 df.to_excel('新文件.xlsx') 存成Excel。 df.to_sql('表名', 数据库连接) 把你处理好的DataFrame直接写回数据库，变成一张新表,这对于把分析结果保存下来非常有用。

数据整理和清洗：让数据变规矩

拿到的原始数据经常是乱七八糟的，比如有空白、有重复、格式不对，这一步就是做家务,把数据收拾干净。

df.head() 先看看数据长什么样，默认显示前5行，做到心里有数。 df.info() 查看数据的基本信息：有多少行多少列，每列是什么数据类型（数字还是文字），有没有缺失值，这是快速了解数据状况的必备命令。 df.isnull().sum() 专门检查每列有多少个缺失值，知道了缺多少,才能决定怎么处理。

处理缺失值有几个办法： df.dropna() 直接把有缺失的行或列丢掉，简单粗暴，适合缺失不多的数据。 df.fillna(值) 用某个值填上缺失的地方，比如用0填充，或者用这列的平均值df['列名'].mean()来填充。

处理重复值： df.duplicated() 检查有没有完全重复的行。 df.drop_duplicates() 把重复的行删掉,只留一行。

数据选择和过滤：找到你关心的部分

面对一个大表格,你经常只需要看其中几列或者满足某些条件的几行。

选列最简单：df['列名'] 或者 df[['列名1', '列名2']] （选多列的时候里面要用两个中括号）。

选行有很多方法： df.loc[] 主要通过标签（比如行号、索引）来选择。 df.iloc[] 主要通过位置（第0行，第1行）来选择,跟列表切片很像。

过滤数据是重头戏，用条件判断： df[df['年龄'] > 30] 筛选出“年龄”大于30岁的所有行。 df[(df['城市'] == '北京') & (df['收入'] > 10000)] 筛选出“城市”是北京““收入”大于1万的行，注意每个条件都要用括号括起来，&表示“且”，表示“或”。

数据分析与计算：发现数据的秘密

数据收拾干净了,就可以开始算点东西了。

df.describe() 这是个神级功能，对数字列进行快速统计汇总：计数、平均值、标准差、最小值、最大值、四分位数,一键生成一份基础统计报告。

分组统计 groupby，功能非常强大： df.groupby('性别')['收入'].mean() 这句话的意思是：按照“性别”进行分组，然后计算每组里“收入”的平均值，你立刻就能看到男性和女性的平均收入差异，你还可以换成.sum()（求和）、.count()（计数）等。（来源：Pandas官方文档对GroupBy的阐述）

排序： df.sort_values('收入', ascending=False) 按照“收入”从高到低排序。ascending=False表示降序。

简单的数据可视化

Pandas还能和另一个叫Matplotlib的画图库紧密合作,让你轻松画出简单的图表。

df['销量'].plot() 直接对“销量”这列数据画折线图。 df['品类'].value_counts().plot(kind='bar') 先计算每个品类有多少个（value_counts），然后画成柱状图,看图往往比看数字更直观。

总结一下

所以说，用Pandas做数据分析和管理，流程很清晰：读取数据 -> 探索和清洗数据 -> 筛选和转换数据 -> 分析计算 -> 呈现结果，它把很多复杂的数据库操作（比如SELECT, WHERE, GROUP BY）变成了简单直观的方法调用。

数据库操作没那么难，是因为Pandas帮你封装了复杂性，你不需要一开始就深入研究数据库的系统原理，完全可以把Pandas当作一个跳板，先在上面熟练地对数据进行各种“增删改查”和“分组汇总”，等你对这些操作的本质理解透了，以后再去看真正的SQL语言，会发现很多概念都是直接对应的，学起来就快多了，Pandas让你能更专注于数据本身和你想回答的问题,而不是繁琐的技术细节。