杭州千鋒教育·Python數據分析

課程大綱

Excel 商業數據分析入門

數據分析概述

數據分析發展史

數據分析對現代企業的重要性

數據分析在各行各業的應用

數據分析師的日常工作

數據分析師的職業規劃

數據分析師招聘需求解讀

安裝和認識 Excel

函數和公式計算

單元格的引用

鎖定行和列

實現跨表引用

數學函數的使用

統計函數的使用

文本函數的使用

日期函數的使用

邏輯函數的使用

查找與引用函數的使用

Excel 快速上手

數據的輸入、填充和格式化

定位條件和查找替換

數據篩選和高級篩選

條件格式和排序工具

數據的合并和拆分

區域和表格的相互轉換

表格功能的使用

選擇性粘貼

文檔安全性相關設置

Excel 常用快捷鍵詳解

透視表和商業數據看板

透視表的本質和應用場景

插入和定制透視表

常用統計圖表及其應用場景介紹

基本圖表的應用

高階圖表的應用

迷你圖的應用

添加和定制切片器

Excel 項目實戰

實戰 1：商業數據分析看板項目

實戰 2：數據分析日報制作

Python 語言入門

Python 環境安裝和語言基礎

Python 語言概述

Python 開發環境的安裝（3.8+）

PyCharm 的安裝和使用

認識計算機和程序

注釋的使用

定義和使用變量

變量的命名規范

標識符和關鍵字

常用數據類型

數據類型的轉換

輸入和輸出函數

常用運算符介紹

運算符的優先級和結合性

循環結構

循環結構的應用場景

for 循環和 range 函數

用 while 構造循環

for 循環和 while 循環應用場景區分

break 和 continue 關鍵字的使用

嵌套的循環結構

分支和循環結構的應用

經典編程練習

在線編程刷題

窮舉法（破解法）的應用

綜合案例：CRAPS?

表達式和分支結構

使用變量和運算符構造表達式

通過構造表達式解決問題

分支結構的應用場景

使用 if、elif、else 構造分支結構

嵌套的分支結構

使用 match、case 構造分支結構

字符串的應用

字符串的定義

Pythong 中字符串的表示方式

轉義字符和原始字符串

字符串長度獲取

字符串相關的運算

字符串的常用方法

格式化字符串

不變字符串和可變字符串（StringIO）

字符集和字符編碼（編碼黑洞和亂碼問題）

正則表達式簡介

Python 語言進階

列表的應用

容器型數據類型的應用場景

列表的定義

len 函數和列表元素個數

列表相關的運算

列表元素的循環遍歷

列表元素的添加和刪除

列表的常用方法

列表的淺拷貝和深拷貝問題

創建列表的生成式（推導式）語法

列表應用舉例

函數使用入門

為什么要使用函數

函數的定義和調用

函數的參數（自變量）和返回值（因變量）

函數參數的默認值

可變參數和關鍵字參數

函數的嵌套

Python 中的作用域（LEGB）

global 和 nonlocal 關鍵字的用法

元組和集合的應用

元組的定義和使用

元組和列表的區別

元組的應用場景（打包解包、變量值交換）

集合類型的特點

集合的定義

集合和列表的區別

集合相關的運算

集合的常用方法

包和模塊

Python 常用內置函數

命名沖突問題

包和模塊的概念

import 和 from 關鍵字的用法

包和模塊的別名

_i******py 文件的作用

Python 標準庫中的常用模塊

如何獲取第三方模塊

安裝和使用第三方模塊（pip 命令詳解）

字典的應用

字典類型的應用場景

字典的定義

字典對鍵和值的要求

字典的索引運算和循環遍歷

字典的常用方法

字典應用舉例

Python 語言應用

函數高級用法

一等函數的概念

高階函數的概念和使用

Python 內置函數中的高階函數

Lambda 函數的應用

裝飾器的概念

創建和裝飾器函數

函數的遞歸調用

遞歸函數的優化

Python 辦公自動化

Python 文件讀寫

異常處理機制

Python 讀寫 Excel 文件

Excel 公式計算和圖表生成

Python 生成 Word 文檔

Python 處理 PDF 文件

面向對象編程概述

面向對象編程思想

面向對象的應用場景

面向對象的核心概念（類和對象）

定義類（數據抽象和行為抽象）

創建對象（構造器函數）

給對象發消息（調用對象方法）

類方法和靜態方法

dir 函數的使用

用 Python 處理數據

數據的保存方式

JSON 格式

從 API 接口中獲取數據

數據的描述性統計信息

statistics 模塊的應用

數據可視化

pyecharts 庫的使用

面向對象編程進階

常用的魔法方法

運算符重載

繼承的概念

方法重寫和多態

多重繼承和 MRO 問題

數據庫和 SQL

關系數據庫概述和MySQL 數據庫

數據庫的作用和分類

關系型數據庫的特點

關系型數據庫產品介紹

MySQL 的安裝和配置

MySQL 的命令行和 GUI 客戶端

SQL（結構化查詢語言）簡介

創建數據庫和二維表

MySQL 數據類型詳解

主鍵約束、默認值約束和非空約束

窗口函數及其應用

窗口函數語法概述

使用窗口函數解決排名問題

使用窗口函數解決 TopN 查詢問題

使用窗口函數解決同比環比問題

SQL 查詢面試題深度解析

JSON 類型和用戶標簽查詢

表關系和 CRUD 操作

表關系和實體關系圖（ER 圖）

多對一關系的建立和外鍵約束

一對一關系的建立

多對多關系的建立和中間表

使用 insert 插入數據

使用 delete 刪除數據

使用 update 修改數據

使用 select 實現簡單查

數據庫其他相關知識

Python 程序接入數據庫概述

三方庫 mysqlclient 和 pymysql 介紹

創建數據庫連接對象（Connection）

創建和使用游標對象（Cursor）

獲取查詢結果的三種方式

使用批處理插入數據

生成和解讀 SQL 執行計劃

索引的創建和底層數據結構（B+ 樹）

前綴索引、復合索引、覆蓋索引

使用 DQL 授予和召回權限

視圖的概念和應用場景

函數和存儲過程的應用

SQL 數據查詢詳解

投影、別名和運算

數據篩選和空值處理（where 子句）

模糊查詢和通配符的使用

去重操作（distinct）

排序（order by 子句）

限制查詢數量（limit 子句）

函數的使用

分組和聚合函數（group by 子句）

分組后的數據篩選（having 子句）

嵌套查詢（子查詢）

笛卡爾積、內連接和自然連接

左外連接、右外連接和全外連接

數據分析思維和商業智能工具

指標和指標體系

互聯網行業認知

互聯網產品的定義和商業模式認知

互聯網營收通用公式拆解

互聯網產品和用戶的生命周期

指標的概念和常用業務指標

北極星指標和伴隨指標

指標體系的概念和作用

如何為企業搭建指標體系

數據規劃的 OSM 模型和 UJM 模型

Tableau 項目實戰

項目背景和數據介紹

使用 Tableau Prep Builder 實現數據清洗

數據的加載和建模

制作指標概覽視圖

制作細分數據統計圖表

儀表板的創建和使用

故事的創建和使用

Tableau Server 介紹

使用 Tableau Public 發布工作簿

數據分析方法和模型

使用對比法發現問題

通過拆解法縮小問題范圍

通過漏斗法定位問題環節

通過相關分析找尋業務抓手

通過象限分析進行分群

RFM 模型用戶價值分群

AIPL 模型和運營三件套

AARRR 模型和 RARRA 模型

Python 數據分析工具介紹

Jupyter 的安裝和啟動

新建和使用 Notebook

編寫和運行代碼

Markdown 筆記和查看文檔

常用快捷鍵和魔法指令介紹

安裝和配置插件

執行系統命令的方法

安裝數據分析相關三方庫

NumPy、Pandas 和 Matplotlib 初體驗

Power BI 入門

Excel 中的 Power Query 插件介紹

從 Excel 升級到 Power BI 的理由

Power BI Desktop 的安裝

Power BI 的組成部分

Power BI 的官方網站和幫助功能

Power BI 功能初體驗

輸入和連接數據

使用 NumPy 實現批量數據處理

創建 ndarray 對象

ndarray 對象的屬性

ndarray 對象的索引和切片

ndarray 對象的方法

ndarray 對象和標量的運算

兩個 ndarray 對象的運算

廣播機制

NumPy 中操作數組的函數

Power BI 數據清洗和建模

Power Query 編輯器的使用

更改數據類型

處理重復值和異常值

數據的排序和篩選

刪除行和列

列的合并和拆分

添加自定義列

合并和追加表數據

表關系的編輯和刪除

pandas 數據分析入門

pandas 三種核心數據類型

讀取 CSV 和 Excel 文件創建 DataFrame

從數據庫二維表讀取數據創建 DataFrame

DataFrame 對象的屬性

DataFrame 對象的常用方法

操作 DataFrame 對象的行和列

操作 DataFrame 對象的單元格

DataFrame 對象的數據篩選

DataFrame 對象的數據拼接和合并

數據清洗的概念

DataFrame 處理缺失值、異常值和重復值

DataFrame 對象數據的變形和預處理

生成虛擬變量

數據的分箱（離散化）

Power BI 數據可視化和報表制作

DAX 的概念和語法

常用 DAX 函數

度量值和計算列

常用視覺對象的介紹

調整視覺對象的外觀

從市場加載更多視覺對象

Power BI 編輯交互和工具提示

數據的鉆取

切片器的應用

動態數據單位和指標切換

Power BI 報表設計

pandas 數據分析進階

DataFrame 對象的數據排序和頭部值獲取

DataFrame 對象的數據分組聚合操作

生成透視表和交叉表

基于 DataFrame 對象繪制統計圖表

DataFrame 對象的數據抽樣

DataFrame 對象的窗口計算

計算協方差和相關系數

Index 類型及其子類型概述

時間序列和 DatatimeIndex 對象的常用方法

認識和使用Tableau

Tableau 簡介

Tableau Desktop 的安裝和功能區介紹

Tableau 連接數據源

數據類型和運算符

表關系、表連接和數據合并

創建和使用工作表

可視化圖表的應用

matplotlib 統計圖表繪制

Matplotlib 概述

Matplotlib 的配置參數

創建畫布

定制坐標系

折線圖和面積圖

散點圖和氣泡圖

柱狀圖和堆疊柱狀圖

餅圖和環狀餅圖

箱線圖和小提琴圖

雷達圖和玫瑰圖

深入探索 Tableau

分層結構和數據鉆取

數據分箱和數據桶

計算字段、函數和參數

組、集和篩選器

高級可視化圖表的應用

參考線和參考區間

相關分析和回歸模型

時間序列分析

LOD 表達式的應用場景

統計思維及其應用

概率論概述

概率論和統計學概述

統計思維對數據分析師的重要性

數據和數據的分類

獲取數據的描述性統計信息

探索數據的分布

隨機事件、樣本空間和隨機試驗

概率的定義

復合事件和條件概率

隨機變量的概念

期望和方差

離散型隨機變量及其分布

區間估計和方差分析

參數估計的方法

點估計的實施方法

區間估計的原理

應用區間估計解決實際問題

樣本容量的確定

區間估計和假設檢驗的聯系

方差分析的基本思路

方差分析的實施細節

中心極限定理和假設檢驗

正態分布

數據獲取和抽樣

常用統計量

基于正態分布的三大分布

抽樣均值分布

中心極限定理

假設檢驗的基本原理

z檢驗、t檢驗和卡方檢驗

相關性和回歸分析

變量關系的確定

相關關系和相關系數

一元線性回歸和最小二乘法

回歸模型的驗證

啞變量回歸

多元線性回歸

消除多重共線性

嶺回歸和邏輯回歸

時間序列分析

時間序列的基本定義

平穩時間序列

自回歸模型

移動平均模型

自相關移動平均模型

ARIMA 模型

時間序列分析案例講解

機器學習算法

決策樹和隨機森林算法

決策樹算法概述

特征選擇依據

決策樹的剪枝

決策樹應用實戰

決策樹模型超參數調優

隨機森林算法

隨機森林的優缺點

隨機森林超參數調優

神經網絡模型

什么是神經網絡

神經網絡與傳統機器學習對比

神經網絡的應用領域

感知機基本結構

激活函數和損失函數

多層神經網絡模型

前向傳播和反向傳播原理

實現一個神經網絡模型

深度神經網絡模型和深度學習

深度學習在計算機視覺中的應用

回歸算法

回歸模型的分類

線性回歸算法原理和數學推導

線性回歸代碼實現

回歸模型評價標準

多重共線性的危害、檢驗和避免

Ridge 回歸和 Lasso 回歸原理及應用

梯度下降算法和極大似然估計

損失函數構造及優化

回歸模型的超參數調優

多項式回歸

邏輯回歸的算法原理

邏輯斯蒂回歸的應用及優化

特征工程

數據挖掘標準流程

特征工程概述

特征選擇方法

主成分分析（PCA）

線性判別分析（LDA）

t 分布隨機鄰域嵌入（t-SNE）

聚類算法

無監督學習算法介紹

聚類算法的應用場景

K-Means 聚類原理

簇的概念和質心的尋找

K-Means 算法的代碼實現

K-Means 算法優缺點和擴展優化

?K 值選擇和手肘法

機器學習項目實戰

信用風險評估體系

申請者模型、評級模型、催收模型、欺詐模型

的關系及意義

信用風險評級模型開發流程

業務場景定義（觀察窗口、表現窗口）

異常值和空值的處理

探索性數據分析（EDA）

WOE、IV 值意義及特征轉換

特征重要性評估

模型訓練和超參數調優

變量選擇

特征重要性評估（RFE）

IV 值檢驗

信用評分轉換和評分卡制作

模型監控及拒絕推斷

支持向量機

SVM 算法原理和數學推導

幾何間隔和拉格朗日乘子法

線性核函數的應用及優化

線性核函數的斜率和截距

高斯核函數應用及優化

SVC 分類算法應用及調參

SVR 回歸算法應用及調參

軟間隔與硬間隔

數據倉庫和大數據挖掘

Linux 系統概述

Linux 操作系統簡介

Linux 的常用發行版本介紹

常用 SSH 客戶端工具介紹

Linux 系統命令講解

Linux 系統常用工具

Linux 系統軟件和服務的安裝和管理

Vim 和 Shell 腳本編寫

PySpark 大數據分析

Spark 架構與核心組件

RDD、DataFrame、Dataset

Spark 本地環境和集群環境

安裝與配置 PySpark

數據讀取和基本操作

數據清洗和轉換

使用 Spark SQL 執行復雜任務

PySpark MLlib 的應用

PySpark Streaming 和實時數據處理

數據倉庫基礎

數據倉庫概述

數據倉庫分層架構

維度建模和關系建模

星型模型和雪花模型

ETL 流程和相關工具

使用 Python+pandas 實現 ETL 流程

增量 ETL 實現方案

數據倉庫的存儲優化和安全管理

數據倉庫項目實戰

項目需求與目標

數據源介紹

企業級數據倉庫設計

數據加載和準備

使用 Hive 進行數據查詢與分析

Spark SQL 與 Hive 整合

查詢性能優化

BI 工具接入和數據可視化

Hive 實戰

Hadoop 大數據生態圈概述

安裝和配置 Hive 環境

配置和初始化 Hive 元數據庫

啟動和驗證 Hive

HiveSQL 語法和數據類型

創建數據庫和表

加載數據到 Hive 表

Hive 查詢操作

分區表和分桶表

管理表和外部表

Hive 常用內置函數

Hive 性能優化

大模型應用和AI 智能體開發

大模型概述和本地化部署

大模型及其發展史概述

大模型基本原理和架構（Transformer）

大模型的應用領域、優勢和挑戰

商業和開源大模型對比

大模型私有化部署概述

部署大模型的硬件需求

Ollama 介紹

Ollama 安裝和模型導入

Ollama 相關命令介紹

Ollama API 的使用

使用 FastAPI 部署 Ollama 可視化界面

LangChain 框架入門

LangChain 概述

LangChain 核心模塊

使用 Pipeline

代理（Agents）與工具（Tools）機制介紹

LCEL 的應用

LangChain 調用本地 LLM

提示詞工程

提示詞的基本概念

提示詞結構與格式

提示詞的上下文設置

如何設計有效的提示詞

基礎 Prompt：Few-shot、Zero-shot、CoT

高級 Prompt：ReAct、ToT、Program-aided

提示詞調優工具

設計并優化提示詞生成特定內容

RAG 和大模型微調

RAG 的概念與應用場景

向量數據庫概述

通過 LangChain 實現基礎 RAG 流程

結合 Embedding 模型優化檢索

高級 RAG 優化

RAG+LangChain Agents 結合

RAG 的性能評估與優化指標

微調與適配層（PEFT、LoRA）

使用 Hugging Face Trainer 進行 SFT

低秩適配（LoRA）優化大模型微調的成本

大模型開發工具庫 transformers

transformers 庫是什么

transformers 核心功能模塊

大模型開發環境搭建

Hugging Face 數據集

模型訓練基類（Trainer）

訓練參數與超參數配置（TrainingArguments）

模型訓練評估庫（Hugging Face Evaluate）

transformers 預訓練模型

大模型高效微調技術（PEFT）

LangChain 實戰

Agents 的基本原理（LLM+ 計劃 + 記憶 + 工具）

AI 應用架構與系統設計

OpenAI Function 調用

LangChain 工具

ReAct 與 Self-Refine Agent 實現

讓 Agents 具備長期記憶

AI 銷售助理 / 智能客服助手項目實戰

Dify 的部署和應用

Dify 的概念和核心功能

使用 Dify 平臺部署模型

如何可視化構建 AI Agent

數據集管理

Workflow 自動化

結合 LangChain 優化 AI Agent 能力

Dify 與其他工具集成

其他智能體開發框架和工具概述

就業指導和模擬面試

就業期的技術和心理準備

數據分析師的硬實力和軟技能

數據挖掘工程師的技能棧

如何成為一個優秀的職業人

就業期的心理準備和心態調整

自我介紹話術指導

面試流程和注意事項

校招面試流程解析

社招面試流程解析

高頻面試題回答技巧

如何回答開放式問題

如何避開面試中的坑

面試后的總結和復盤

職業規劃的相關問題

入職第一周注意事項

如何制作一份優質的簡歷

數據分析師簡歷要點

數據挖掘工程師簡歷要點

簡歷排版注意事項

簡歷制作常見問題剖析

STAR 法則的應用

如何給簡歷做標注稿

網投簡歷的注意事項和投遞方法