一年学习计划：从 Python 到 Data/AI 系统的 52 周

这是 52 周 Data / AI 能力体系的执行计划：执行规范、十二个阶段的主计划、每周固定执行模板、L1/L2/L3 标准、AI 使用分级、七个长期资产与最终验收。一句话执行原则——人负责理解、判断、推导、设计和验收；AI 负责加速实现。

执行规范

• 频率：每周 3 次为标准，4 次为理想，2 次为最低。
• 单次时长：45–120 分钟。
• 每周必须交付：代码、实验、测试或报告。
• L1：能解释原理；L2：能独立实现；L3：能解释原理、失败原因与权衡。
• AI 使用：A0 禁用 AI；A1 查文档、解释报错；A2 辅助调试与设计；A3 开放使用 AI 完成工程实现。
• 执行原则：允许局部未完成，不允许连续两周零学习。不因落后而无限补课。
• 数据规范：所有个人项目使用合成数据或公开数据，不使用公司经营数据。

Phase I · Python 与编程思维（Week 1–6）

Week 1 · 对象模型与数据结构

• 学习：引用、可变性、list、tuple、dict、set、hash、复杂度初识。
• 手写：基本数据结构操作、frequency counter、KV Store。
• 实验：比较 list、dict、set 的查找性能。
• 交付：支持 set/get/delete/exists/keys 的 KV Store。
• 验收：能解释引用、可变性，以及 dict/set 查找通常较快的原因。
• 等级：L2。

Week 2 · 函数、作用域与模块化

• 学习：函数、参数、作用域、闭包、装饰器、模块、包、类型提示。
• 手写：闭包、简化装饰器、自定义模块。
• AI Build：重构 Week 1 项目，加入 dataclass、类型提示和日志。
• 交付：模块化 Python 项目。
• 验收：能解释闭包为何可以访问外层函数的局部变量。
• 等级：L2。

Week 3 · 异常、测试与 Debug

• 学习：exception、traceback、pytest、fixture、mock、回归测试。
• 手写：边界测试、异常测试、非法输入测试。
• 实验：人为制造类型错误、状态错误和边界错误。
• 交付：带测试的 KV Store。
• 验收：能独立定位、解释并修复常见 bug。
• 等级：L2。

Week 4 · 算法与复杂度

• 学习：Big-O、递归、搜索、排序、二分查找、归并排序。
• 手写：线性搜索、二分查找、插入排序、归并排序。
• 实验：比较 O(n)、O(n log n)、O(n²) 的运行表现。
• 交付：算法实现与性能对比报告。
• 验收：能判断时间复杂度、空间复杂度与最坏情况。
• 等级：L3。

Week 5 · 常用数据结构

• 学习：Hash Table、Stack、Queue、Heap、Priority Queue。
• 手写：Stack、Queue、简化 MinHeap。
• AI Build：Top-K、频率排名、LRU。
• 实验：比较排序与 Heap 实现 Top-K 的成本。
• 交付：数据结构练习集。
• 验收：能解释为什么 Top-K 通常不必对全部数据排序。
• 等级：L2。

Week 6 · 图算法与数据处理工具

• 学习：Graph、BFS、DFS、CSV、JSON、NumPy、pandas 入门。
• 手写：BFS、DFS、连通分量。
• AI Build：实现 Reader → Processor → Storage → CLI。
• 交付：Python Engineering Toolkit 第一版。
• 验收：AI-Off 实现 BFS/DFS，并能独立修改项目模块。
• 等级：L2/L3。

阶段产物：Asset 1 · Python Engineering Toolkit

Phase II · SQL、PostgreSQL 与数据分析（Week 7–11）

Week 7 · SQL Core

• 学习：关系模型、主外键、NULL、SELECT、WHERE、GROUP BY、HAVING。
• 练习：至少 20 道 SQL 题。
• Build：创建合成客户、产品、订单、合同、物流数据库。
• 交付：数据库 Schema 与基础查询集。
• 验收：能独立完成过滤、聚合、分组统计。
• 等级：L2。

Week 8 · JOIN 与窗口函数

• 学习：JOIN、CTE、子查询、Window Function。
• 练习：Top-N、排名、累计值、移动平均、最新记录。
• 实验：制造 1:1、1:N、N:N 关系，观察 JOIN 后的行数。
• 交付：至少 20 道 SQL 题及答案。
• 验收：能预测重复行、数据丢失和行数膨胀。
• 等级：L3。

Week 9 · 数据建模

• 学习：函数依赖、1NF/2NF/3NF、规范化、反规范化。
• Build：设计客户、合同、订单、产品、物流模型。
• 实验：从超级大表开始，分析更新、插入、删除异常，再重新建模。
• 交付：ER 图、数据字典、建模说明。
• 验收：能解释规范化、冗余和查询性能的权衡。
• 等级：L3。

Week 10 · 索引、执行计划与事务

• 学习：B+Tree 原理、Index、EXPLAIN、事务、隔离级别。
• Build：生成测试数据并编写查询基准。
• 实验：比较无索引、单列索引、联合索引的效果。
• 交付：至少 3 组 SQL 优化实验。
• 验收：能提出慢查询假设，并用执行计划验证。
• 等级：L3。

Week 11 · SQL 与数据分析项目

• 学习：pandas 分组、合并、缺失值处理、数据清洗、Matplotlib。
• Build：PostgreSQL → SQL → pandas → 图表/仪表盘。
• 交付：20 个分析问题、5 个复杂 SQL、3 个窗口函数场景、分析报告。
• 验收：能从业务问题独立完成数据查询、解释和可视化。
• 等级：L3。

阶段产物：Asset 2 · Database & Analytics

Phase III · 工程化与数据库原理（Week 12–14）

Week 12 · Linux、Git 与工程基础

• 学习：Shell、进程、权限、环境变量、管道、日志、Git 分支与合并。
• 练习：grep/find/awk/sed/ps/ssh/tar/chmod。
• Build：为项目建立虚拟环境、依赖文件、日志与测试。
• 交付：可在干净环境复现的项目。
• 验收：能独立查进程、查日志、查文件、处理 Git 冲突。
• 等级：L2。

Week 13 · API 与 Docker

• 学习：HTTP、REST、JSON、FastAPI、Docker、Compose。
• AI Build：将数据分析项目封装成 API。
• Human Core：理解 Request → Application → Database → Response。
• 交付：可运行的只读数据 API。
• 验收：能解释请求流、容器、网络和数据持久化。
• 等级：L2。

Week 14 · 数据库内部机制

• 学习：B+Tree、Page、Buffer、事务、MVCC、锁、查询计划。
• 实验：PostgreSQL 多会话事务实验，比较索引与全表扫描。
• 选做：简化 B+Tree 插入与查询。
• 交付：数据库机制实验报告。
• 验收：能解释事务可见性、索引成本和执行路径。
• 等级：L3。

Phase IV · 概率统计与数学（Week 15–19）

Week 15 · 概率论

• 学习：条件概率、独立性、贝叶斯公式、全概率。
• 手算：联合概率与条件概率。
• Build：Monte Carlo 模拟。
• 交付：概率计算练习与模拟报告。
• 等级：L3。

Week 16 · 随机变量与分布

• 学习：PMF、PDF、CDF、期望、方差、协方差、常见分布。
• 手算：期望、方差与协方差。
• Build：分布采样器。
• 交付：理论值与模拟值对比。
• 等级：L2/L3。

Week 17 · 统计推断

• 学习：MLE、MAP、置信区间、假设检验、p-value、Bootstrap、A/B Test。
• 推导：高斯分布 MLE。
• 实验：抽样偏差、小样本和多重检验。
• 交付：完整统计推断实验。
• 验收：能准确解释 p-value 的含义与局限。
• 等级：L3。

Week 18 · 线性代数

• 学习：向量、矩阵、点积、线性变换、秩、基、投影、最小二乘。
• 手算：Ax、AᵀA、小规模最小二乘。
• Build：NumPy 线性变换实验。
• 交付：计算过程与几何解释。
• 等级：L3。

Week 19 · 微积分与优化

• 学习：导数、偏导、梯度、链式法则、梯度下降。
• 手算：线性回归梯度。
• Build：实现 Gradient Descent。
• 实验：比较不同学习率对收敛的影响。
• 交付：梯度推导与收敛曲线。
• 等级：L3。

Phase V · 机器学习（Week 20–25）

Week 20 · Linear Regression

• 学习：最小二乘、Normal Equation、Gradient Descent。
• 手写：NumPy 线性回归。
• 实验：比较收敛速度与数值稳定性。
• 交付：回归实验报告。
• 等级：L3。

Week 21 · Logistic Regression

• 学习：Sigmoid、Log Loss、交叉熵、L1/L2 正则化。
• 手写：二分类核心计算。
• 实验：比较正则化前后的参数变化。
• 交付：二分类模型与实验报告。
• 等级：L3。

Week 22 · 树模型

• 学习：Decision Tree、Random Forest、Boosting。
• 手写：简化 Decision Tree。
• AI Build：使用 scikit-learn 训练 Random Forest 与 Boosting 模型。
• 交付：三类模型比较。
• 验收：能解释模型选择依据。
• 等级：L2/L3。

Week 23 · 泛化与评估

• 学习：Train/Validation/Test、交叉验证、Bias/Variance、Data Leakage、Distribution Shift。
• 手写：评估指标与简化交叉验证。
• 实验：主动制造数据泄漏并排查。
• 交付：模型评估实验。
• 等级：L3。

Week 24 · 特征工程与训练流水线

• 学习：缺失值、异常值、类别编码、特征选择、Pipeline。
• Build：建立完整训练和验证流程。
• 交付：可重复运行的 ML Pipeline。
• 验收：能解释预处理与数据泄漏的关系。
• 等级：L2。

Week 25 · ML 综合项目

• 流程：Data → Cleaning → Feature → Model → Validation → Error Analysis → Report。
• 要求：比较 Linear、Logistic、Tree、Random Forest、Boosting 中适用的模型。
• 交付：代码、实验记录、指标、错误分析和报告。
• 验收：能回答 Why、Why not、What failed、What next。
• 等级：L3。

阶段产物：Asset 4 · ML System

Phase VI · 数据工程（Week 26–30）

Week 26 · ETL 与数据质量

• 学习：Extract、Transform、Load、数据校验、日志、错误处理。
• Build：CSV/JSON → 清洗 → PostgreSQL。
• 交付：可重复运行的 ETL 脚本。
• 验收：能处理非法数据、缺失值与失败记录。
• 等级：L2。

Week 27 · 数据仓库

• 学习：OLTP/OLAP、ODS、DWD、DWS、ADS、事实表、维度表、星型模型。
• Build：建立简化数仓分层。
• 交付：数据流图、表结构和分析 SQL。
• 验收：能解释为什么分析系统不一定直接查询业务数据库。
• 等级：L2。

Week 28 · Parquet 与列式存储

• 学习：行存储、列存储、压缩、分区、Predicate Pushdown。
• 实验：比较 CSV 与 Parquet 的大小、读取时间和列读取效率。
• 交付：性能对比报告。
• 等级：L3。

Week 29 · 工作流调度

• 学习：DAG、依赖、重试、Backfill、任务状态。
• Build：使用 Airflow 或等价调度器编排 ETL。
• 交付：可重跑的调度工作流。
• 验收：能解释任务失败、重试与重复执行的影响。
• 等级：L2。

Week 30 · 幂等与增量处理

• 学习：Idempotency、增量加载、重复数据、数据质量检查。
• 实验：制造重复输入、任务失败、部分写入。
• 选做：将部分处理逻辑迁移到 Spark。
• 交付：有数据质量检查与恢复机制的 Pipeline。
• 验收：能解释为什么重试可能产生重复数据。
• 等级：L3。

阶段产物：Asset 3 · Data Engineering Pipeline

Phase VII · 深度学习与 Transformer（Week 31–34）

Week 31 · 神经网络

• 学习：Tensor、Forward、Loss、Backward、Optimizer、Autograd。
• 手写：NumPy 两层 MLP。
• 交付：前向传播、反向传播和梯度验证。
• 等级：L3。

Week 32 · Attention

• 学习：Query、Key、Value、点积、缩放、Softmax、加权求和。
• 手写：NumPy Attention。
• 实验：改变序列长度、维度和缩放参数。
• 交付：Attention 实现与实验记录。
• 验收：能解释公式与张量维度。
• 等级：L3。

Week 33 · Transformer Block

• 学习：Multi-Head Attention、FFN、Residual、LayerNorm、位置编码、Causal Mask。
• Build：实现简化 Transformer Block。
• 交付：结构代码与架构说明。
• 验收：能从输入到输出解释完整计算流程。
• 等级：L3。

Week 34 · Tiny Language Model

• 学习：Tokenizer、Embedding、Logits、Softmax、Cross Entropy、Next-token Prediction。
• Build：训练一个极小语言模型，或完成等价的可复现实验。
• 实验：改变模型大小、上下文长度和学习率。
• 交付：训练日志与推理实验。
• 验收：能解释训练与推理的主要差异。
• 等级：L2/L3。

阶段产物：Asset 5 · Mini Transformer

Phase VIII · RAG 与 LLM Engineering（Week 35–38）

Week 35 · Embedding 与向量检索

• 学习：Embedding、Chunk、Cosine Similarity、Top-K、Vector DB。
• 手写：余弦相似度和 Top-K。
• Build：Document → Chunk → Embedding → Search。
• 交付：本地文档检索原型。
• 等级：L2。

Week 36 · BM25 与混合检索

• 学习：Keyword Search、BM25、Dense Retrieval、Hybrid Retrieval、Reranker。
• 实验：比较关键词、向量与混合检索。
• 交付：检索对比报告。
• 验收：能解释为什么纯向量检索不一定最好。
• 等级：L3。

Week 37 · RAG 评估

• 学习：Recall@K、Precision@K、MRR、NDCG、Faithfulness、检索失败。
• Build：建立固定测试集，建议先从 30–50 个问题开始。
• 实验：比较分块、检索参数与检索策略。
• 交付：评测数据集和指标报告。
• 验收：每次优化均记录修改前后结果。
• 等级：L3。

Week 38 · Production RAG

• Build：Parser → Chunker → Embedding → Retriever → Reranker → LLM → Citation。
• 增加：Metadata Filter、Logging、Cache、Error Handling、引用校验。
• AI：A3。
• 交付：可评估、可复现的 RAG 应用。
• 验收：能解释完整链路及主要失败模式。
• 等级：L2/L3。

阶段产物：Asset 6 · RAG System

Phase IX · Agent 与系统可靠性（Week 39–41）

Week 39 · Tool Calling

• 学习：Function Calling、Structured Output、Schema、Validation。
• Build：LLM → Decision → Tool → Result → LLM。
• 交付：一个受限工具调用程序。
• 验收：能解释为什么必须校验模型输出。
• 等级：L2。

Week 40 · Agent Workflow

• 学习：State、Loop、Planning、Observation、Memory。
• Build：只读 SQL Agent。
• 安全：Read-only、SQL Allowlist、Timeout、Result Limit、Human Approval。
• 交付：受限 SQL Agent。
• 验收：能解释工具权限和数据访问边界。
• 等级：L3。

Week 41 · Reliability 与 Observability

• 学习：Retry、Timeout、Fallback、Cache、Tracing、Latency、Cost、Prompt Injection。
• 实验：制造工具失败、错误检索、超时和恶意输入。
• 交付：故障演练报告与可靠性改进。
• 验收：能解释为什么 Agent 能运行不代表 Agent 可靠。
• 等级：L3。

阶段产物：Asset 6 · Agent System

Phase X · 综合 Data/AI 系统（Week 42–45）

Week 42 · 需求与系统设计

• 任务：确定问题、用户、数据、指标、系统边界。
• Build：绘制架构图，设计数据库与 API。
• 交付：需求文档、数据字典、Architecture Decision Record。
• 验收：能解释每个组件的必要性与替代方案。
• 等级：L3。

Week 43 · 数据层与分析层

• Build：数据导入 → ETL → PostgreSQL → 分析 SQL。
• 增加：数据质量检查、日志、测试。
• 交付：可复现的数据处理链路。
• 等级：L2。

Week 44 · ML 或 RAG 核心功能

• 任务：选择 ML、RAG，或在核心链路完成后再增加第二项。
• 要求：有基线、有测试集、有评估指标。
• 交付：核心功能模块及实验报告。
• 等级：L2/L3。

Week 45 · API、测试与部署

• Build：API、简单 UI、日志、异常处理、Docker 部署。
• 测试：单元测试、集成测试、关键失败场景。
• 交付：能从空环境复现的应用。
• 等级：L2。

阶段产物：Asset 7 · Integrated Data/AI System

Phase XI · 定向强化（Week 46–49）

根据实际短板分配时间，不要求每项平均投入。

Week 46 · SQL 与数据库强化

• 复习：JOIN、窗口函数、建模、索引与事务。
• 练习：独立完成 10–20 道综合 SQL 题。
• 交付：SQL 错题集与查询优化记录。

Week 47 · Python 与算法强化

• 复习：函数、数据结构、复杂度、BFS/DFS、二分查找。
• 练习：完成 AI-Off 编程练习。
• 交付：核心算法实现与错误记录。

Week 48 · 数学与 ML 强化

• 复习：概率、最小二乘、MLE、梯度、过拟合、评估。
• 练习：独立推导核心公式。
• 交付：数学与 ML 答辩记录。

Week 49 · 系统可靠性强化

• 复习：测试、部署、数据质量、RAG 评估和安全。
• 练习：主动制造故障并修复。
• 交付：故障演练与系统改进报告。

Phase XII · 最终验收（Week 50–52）

Week 50 · 项目验收

• 从空环境运行完整项目。
• 执行测试，记录成功率、错误和性能。
• 检查数据来源、许可和安全边界。
• 交付：可复现的最终版本。

Week 51 · 技术答辩与作品集

• 整理 README、架构图、技术决策记录和实验报告。
• 独立解释系统数据流、核心机制、失败场景与设计取舍。
• 交付：完整作品集。

Week 52 · AI-Off 最终抽检

随机完成以下任务：

1. Python：实现一个 LRU。
2. Algorithm：实现 BFS、DFS 或 Binary Search。
3. SQL：根据业务问题写复杂查询。
4. Database：解释索引、全表扫描和事务。
5. Math：推导线性回归核心公式。
6. ML：解释过拟合与模型评估。
7. Transformer：解释 Attention 的计算流程。
8. RAG：分析检索 Recall 下降的原因。
9. Agent：处理工具失败与权限问题。
10. System：解释综合项目的架构选择。

最终交付：项目仓库、技术文档、实验报告、AI-Off 验收记录和下一阶段计划。

Part III · 每周固定执行模板

每周复制一次以下模板。

Week XX · 本周主题

1. 本周目标
   • ☐ L1：理解核心概念。
   • ☐ L2：独立实现核心任务。
   • ☐ L3：完成实验并解释原理、失败原因与权衡。
2. Core Knowledge
   • 本周核心知识：
   • 官方文档或课程：
   • 必须掌握的概念：
3. Human Core
   • ☐ 独立手写：
   • ☐ 独立实现：
   • ☐ 数学推导或复杂度分析：
4. AI Build
   • ☐ AI 辅助实现：
   • ☐ Code Review / Debug：
   • ☐ 测试与重构：
5. Experiment
   • Hypothesis：
   • Experiment：
   • Result：
   • Conclusion：
6. 数智工程师考试映射
   • 对应知识点：
   • 练习题：
   • 错误原因：
7. Acceptance
   • ☐ 能解释。
   • ☐ 能独立实现。
   • ☐ 能解释 Why。
   • ☐ 能解释 Failure。
   • ☐ 能解释 Trade-off。
8. 本周复盘
   • 已完成：
   • 未完成：
   • 最大问题：
   • 下周调整：
9. Final Level
   • L1 / L2 / L3
   • 证据：
   • 待补问题：

Part IV · L1/L2/L3 执行标准

L1 · Explain

• 能用自己的话解释。
• 能给出简单例子。
• 知道输入、输出和使用场景。
• 能预测简单结果。
• 能指出常见错误。

L2 · Implement

• 核心逻辑能够独立实现。
• 可以查官方文档和 API。
• 不让 AI 代替核心思考。
• 能够通过测试定位和修复问题。

L3 · Reason

• 能提出假设并设计实验。
• 能解释机制、复杂度和失败原因。
• 能比较替代方案。
• 能解释性能、正确性与维护成本的权衡。

L3 的判断依据是证据，而不是学习时长。

Part V · AI 使用规范

A0 · AI-Off

用于能力验收。适用：基础算法、数据结构、核心 SQL、数学推导、ML 核心机制、Attention。

A1 · AI-Query

允许查询 API、官方文档、参数含义和错误信息。

A2 · AI-Assisted

允许 AI 辅助 Code Review、Debug、性能分析、实验设计与方案比较；最终判断由自己完成。

A3 · AI-Open

允许 AI 实现 FastAPI、Docker、Airflow、Spark API、PyTorch 工程代码、RAG、Agent、UI、测试与部署。

无论使用哪个等级，都必须能够解释最终代码的输入输出、关键依赖、主要错误路径和安全边界。

Part VI · 数智工程师考试 Overlay

每周额外安排 20–30 分钟：

1. 对照正式考试大纲标记本周知识点。
2. 完成 5–10 道针对性练习。
3. 记录错误类型。
4. 每四周做一次小测。
5. 根据真实大纲补充未覆盖的知识点。

考试范围以正式大纲为准，不假定本计划自动覆盖全部考点。

Part VII · 学习节奏与中断恢复

每周标准

• Ideal：4 次。
• Normal：3 次。
• Busy：2 次。
• 禁止连续两周零学习。

单次任务

• Day A：45–60 分钟，理解知识。
• Day B：60–90 分钟，独立实现。
• Day C：45–90 分钟，实验和验收。
• Day D：30–90 分钟，可选工程拓展。

中断处理

• 疲惫日：完成 15 分钟最低任务。
• 中断一周：直接继续当前任务，不补齐全部欠账。
• 连续两周零学习：先做一个 30 分钟小任务恢复节奏。
• 某周未达标：记录实际等级，继续推进；后续阶段再复查。

Part VIII · 七个长期资产

1. Python Engineering Toolkit：文件处理、数据清洗、CLI、测试、日志。
2. Database & Analytics：PostgreSQL、数据模型、SQL、执行计划和分析报告。
3. Data Engineering Pipeline：ETL、数据仓库、调度、幂等和数据质量。
4. ML System：数据处理、基线、训练、评估、误差分析。
5. Mini Transformer：Attention、简化 Transformer Block 和模型实验。
6. RAG / Agent System：检索、评估、引用、工具调用、可靠性。
7. Integrated Data/AI System：整合数据处理、分析、ML 或 RAG、API、测试和部署。

项目可以共用代码仓库，但必须有清晰的模块边界、运行说明和验收证据。

Part IX · 最终验收标准

52 周结束后，重点检查：

• ☐ 能否独立编写中等规模 Python 程序。
• ☐ 能否独立解决基础算法和数据结构问题。
• ☐ 能否独立完成复杂 SQL 查询。
• ☐ 能否解释数据库索引、事务和执行计划。
• ☐ 能否设计并实现 ETL Pipeline。
• ☐ 能否独立训练和评估基础 ML 模型。
• ☐ 能否推导核心数学公式。
• ☐ 能否解释 Attention 与 Transformer 的核心机制。
• ☐ 能否评估 RAG，并处理 Agent 工具失败与安全问题。
• ☐ 能否借助 AI 独立完成一个可复现的 Data/AI 系统。

分别记录两个分数：

• AI-Off：独立掌握的核心能力。
• AI-Assisted：使用 AI 完成工程任务的能力。

最终目标不是记住所有框架，而是理解原理、掌握核心实现、能解释系统、会验证结果，并能够利用 AI 提高工程效率。

Part X · 一句话执行原则

人负责理解、判断、推导、设计和验收；AI 负责加速实现。每周交付一个可验证的成果，允许局部失败，不允许长期中断。