目錄

• 一、概述
  • 1.1 從數(shù)據(jù)處理到人工智能
• 二、Python庫(kù)之?dāng)?shù)據(jù)分析
  • 2.1 numpy
  • 2.2 pandas
  • 2.3 scipy
• 三、Python庫(kù)之?dāng)?shù)據(jù)可視化
  • 3.1 matplotlib
  • 3.2 Seaborn
  • 3.3 Mayavi
• 四、Python庫(kù)之文本處理
  • 4.1 PyPDF2
  • 4.2 NLTK
  • 4.3 Python-docx
• 五、Python庫(kù)之機(jī)器學(xué)習(xí)
  • 5.1 Scikit-learn
  • 5.2 TensorFlow
  • 5.3 MXNet
• 六、單元小結(jié)
  • 6.1 從數(shù)據(jù)處理到人工智能

一、概述

1.1 從數(shù)據(jù)處理到人工智能

數(shù)據(jù)表示->數(shù)據(jù)清洗->數(shù)據(jù)統(tǒng)計(jì)->數(shù)據(jù)可視化->數(shù)據(jù)挖掘->人工智能

• 數(shù)據(jù)表示：采用合適方式用程序表達(dá)數(shù)據(jù)
• 數(shù)據(jù)清理：數(shù)據(jù)歸一化、數(shù)據(jù)轉(zhuǎn)換、異常值處理
• 數(shù)據(jù)統(tǒng)計(jì)：數(shù)據(jù)的概要理解，數(shù)量、分布、中位數(shù)等
• 數(shù)據(jù)可視化：直觀展示數(shù)據(jù)內(nèi)涵的方式
• 數(shù)據(jù)挖掘：從數(shù)據(jù)分析獲得知識(shí)，產(chǎn)生數(shù)據(jù)外的價(jià)值

• 人工智能：數(shù)據(jù)/語(yǔ)言/圖像/視覺(jué)等方面深度分析與決策

• Python庫(kù)之?dāng)?shù)據(jù)分析
• Python庫(kù)之?dāng)?shù)據(jù)可視化
• Python庫(kù)之文本處理

• Python庫(kù)之機(jī)器學(xué)習(xí)

二、Python庫(kù)之?dāng)?shù)據(jù)分析

2.1 numpy

Numpy: 表達(dá)N維數(shù)組的最基礎(chǔ)庫(kù)，http://www.numpy.org

• Python接口使用，C語(yǔ)言實(shí)現(xiàn)，計(jì)算速度優(yōu)異
• Python數(shù)據(jù)分析及科學(xué)計(jì)算的基礎(chǔ)庫(kù)，支撐Pandas等
• 提供直接的矩陣運(yùn)算、廣播函數(shù)、線(xiàn)性代數(shù)等功能

import numpy as npdef np_sum():    a = np.array([0, 1, 2, 3, 4])    b = np.array([9, 8, 7, 6, 5])    c = a**2   b**3    return cprint(np_sum())

[729 513 347 225 141]

def py_sum():    a = [0, 1, 2, 3, 4]    b = [9, 8, 7, 6, 5]    c = []    for i in range(len(a)):        c.append(a[i]**2   b[i]**3)    return cprint(py_sum())

[729, 513, 347, 225, 141]

2.2 pandas

Pandas: Python數(shù)據(jù)分析高層次應(yīng)用庫(kù)，http://pandas.pydata.org

• 提供了簡(jiǎn)單易用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具
• 理解數(shù)據(jù)類(lèi)型與索引的關(guān)系，操作索引即操作數(shù)據(jù)
• Python最主要的數(shù)據(jù)分析功能庫(kù)，基于Numpy開(kāi)發(fā)

• 能操作sql、json、pickle、csv、excel、ini等文件

• Series = 索引 一維數(shù)據(jù)

• DataFrame = 行列索引 二維數(shù)據(jù)

2.3 scipy

SciPy: 數(shù)學(xué)、科學(xué)和工程計(jì)算功能庫(kù)，http://www.scipy.org

• 提供了一批數(shù)學(xué)算法及工程數(shù)據(jù)運(yùn)算功能
• 類(lèi)似Matlab，可用于如傅里葉變換、信號(hào)處理等應(yīng)用
• Python最主要的科學(xué)計(jì)算功能庫(kù)，基于Numpy開(kāi)發(fā)

三、Python庫(kù)之?dāng)?shù)據(jù)可視化

3.1 matplotlib

Matplotlib: 高質(zhì)量的二維數(shù)據(jù)可視化功能庫(kù)，http://matplotlib.org

• 提供了超過(guò)100種數(shù)據(jù)可視化展示效果
• 通過(guò)matplotlib.pyplot子庫(kù)調(diào)用各可視化效果
• Python最主要的數(shù)據(jù)可視化功能庫(kù)，基于Numpy開(kāi)發(fā)

3.2 Seaborn

Seaborn: 統(tǒng)計(jì)類(lèi)數(shù)據(jù)可視化功能庫(kù)，http://seaborn.pydata.org/

• 提供了一批高層次的統(tǒng)計(jì)類(lèi)數(shù)據(jù)可視化展示效果
• 主要展示數(shù)據(jù)間分布、分類(lèi)和線(xiàn)性關(guān)系等內(nèi)容
• 基于Matplotlib開(kāi)發(fā)，支持Numpy和Pandas

3.3 Mayavi

Mayavi：三維科學(xué)數(shù)據(jù)可視化功能庫(kù)，http://docs.enthought.com/mayavi/mayavi/

• 提供了一批簡(jiǎn)單易用的3D科學(xué)計(jì)算數(shù)據(jù)可視化展示效果
• 目前版本是Mayavi2，三維可視化最主要的第三方庫(kù)
• 支持Numpy、TVTK、Traits、Envisage等第三方庫(kù)

四、Python庫(kù)之文本處理

4.1 PyPDF2

PyPDF2：用來(lái)處理pdf文件的工具集，http://mstamy2.github.io/PyPDF2

• 提供了一批處理PDF文件的計(jì)算功能
• 支持獲取信息、分隔/整合文件、加密解密等
• 完全Python語(yǔ)言實(shí)現(xiàn)，不需要額外依賴(lài)，功能穩(wěn)定

from PyPDF2 import PdfFileReader, PdfFileMergermerger = PdfFileMerger()input1 = open("document1.pdf", "rb")input2 = open("document2.pdf", "rb")merger.append(fileobj=input1, pages=(0, 3))merger.merge(position=2, fileobj=input2, pages=(0, 1))output = open("document-output.pdf", "wb")merger.write(output)

4.2 NLTK

NLTK：自然語(yǔ)言文本處理第三方庫(kù)，http://www.nltk.org/

• 提供了一批簡(jiǎn)單易用的自然語(yǔ)言文本處理功能
• 支持語(yǔ)言文本分類(lèi)、標(biāo)記、語(yǔ)法句法、語(yǔ)義分析等
• 最優(yōu)秀的Python自然語(yǔ)言處理庫(kù)

from nltk.corpus import treebankt = treebank.parsed_sents('wsj_0001.mrg')[0]t.draw()

4.3 Python-docx

Python-docx：創(chuàng)建或更新Microsoft Word文件的第三方庫(kù)，http://python-docx.readthedocs.io/en/latest/index.html

• 提供創(chuàng)建或更新.doc .docx等文件的計(jì)算功能
• 增加并配置段落、圖片、表格、文字等，功能全面

from docx import Documentdocument = Document()document.add_heading('Document Title', 0)p = document.add_paragraph('A plain paragraph having some ')document.add_page_break()document.save('demo.docx')

五、Python庫(kù)之機(jī)器學(xué)習(xí)

5.1 Scikit-learn

Scikit-learn：機(jī)器學(xué)習(xí)方法工具集，與數(shù)據(jù)處理相關(guān)的第三方庫(kù)，http://scikit-learn.org/

• 提供一批統(tǒng)一化的機(jī)器學(xué)習(xí)方法功能接口
• 提供聚類(lèi)、分類(lèi)、回歸、強(qiáng)化學(xué)習(xí)等計(jì)算功能
• 機(jī)器學(xué)習(xí)最基本且最優(yōu)秀的Python第三方庫(kù)

5.2 TensorFlow

TensorFlow：AlphaGo背后的機(jī)器學(xué)習(xí)計(jì)算框架，https://www.tensorflow.org/

• 谷歌公司推動(dòng)的開(kāi)源機(jī)器學(xué)習(xí)框架
• 將數(shù)據(jù)流圖作為基礎(chǔ)，圖節(jié)點(diǎn)代表運(yùn)算，邊代表張量
• 應(yīng)用機(jī)器學(xué)習(xí)方法的一種方式，支撐谷歌人工智能應(yīng)用

import tensorflow as tfinit = tf.global_variables_initializer()sess = tf.Session()sess.run(init)res = sess.run(result)print('result:', res)

5.3 MXNet

MXNet：基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)計(jì)算框架，https://mxnet.incubator.apache.org/

• 提供可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)計(jì)算功能
• 可用于自動(dòng)駕駛、機(jī)器翻譯、語(yǔ)音識(shí)別等眾多領(lǐng)域
• Python最重要的深度學(xué)習(xí)計(jì)算框架

六、單元小結(jié)

6.1 從數(shù)據(jù)處理到人工智能

• Numpy、Pandas、SciPy
• Matplotlib、Seaborn、Mayavi
• PyPDF2、NLTK、python-docx
• Scikit-learn、TensorFlow、MXNet