Skip to content

学习路径导读:怎么按岗位把本站读完 ​

难度与前置

难度:入门
前置:知道本站是「可落地实践库」而不是百科;知识地图 是活地图,本页只教「怎么走」。
读完能做什么:说出自己的岗位路径名、列出接下来 5 篇必读、并选定一个可在非生产环境做的小练习。

适用场景 ​

  • 新人入职 / 转岗,不知道先读哪篇、怕被地图吓住
  • 面试前 2~4 周,要按岗位补「能讲清步骤 + 坑 + 验收」
  • 在岗发现技能缺口(例如只会写 SQL、不懂补数与质量闭环)
  • 带新人时,需要一份可勾选的周节奏,而不是甩一整张链接表

不适用:

  • 想替代 知识地图 的完整目录与成稿状态(地图由内容侧维护,本页不复制全表)
  • 工具安装、本地 npm 跑站(见 如何使用与贡献)
  • 单篇技术深挖本身(分层、Lag、Checkpoint 等请进对应专篇)
  • 刷题速记(同仓库小程序;联动规范见 与题库小程序联动)

真实场景(一条) ​

短剧投放组新人数仓同学入职第二周:地图打开后从「分层」跳到 Flink Watermark,又去刷 Kafka Lag,两天记了一堆名词,却讲不清「ODS 与 DWD 边界怎么验」「分区重跑为何不翻倍」。带教按本页重来:先锁定 数仓 / 离线 路径 → Week1 只读分层 + 分区 + 幂等 → 用测试库对照一篇的「如何验收」勾一遍 → 再进调度与质量。第三周面试模拟时,能按路径说出 5 篇下一篇,并演示一次测试分区双跑 diff=0。

怎么做(步骤清单) ​

1. 选定岗位路径(三选一,可后加云上补充) ​

路径适合谁地图入口本页建议节奏
数仓 / 离线ETL、离线数仓、批任务 owner地图 · 数仓/离线先仓建模 → 调度 → Hive/Spark → 质量
实时 / 流Kafka / Flink / 实时链路地图 · 实时/流先 Kafka → Flink → realtime → 质量(流批对齐)
偏业务 / 分析指标、报表、口径沟通多地图 · 偏业务分层 + 口径 + 对账 + 调度「几点能看」

云上平台(DataWorks / 托管仓等)作为横切补充:读完主路径后再看 云上数仓通用原则、环境隔离,不要用云产品名词替代建模基本功。

写下你的选择(建议贴到笔记首页):

text
我的路径:□数仓离线  □实时流  □偏业务
当前目标:□面试  □上岗补缺  □带新人
每周可用小时:____(建议 ≥6)
下一篇清单(5 篇,见下):________
本周练习(1 个):________

2. 地图 vs 深读:怎么用、别怎么用 ​

用法知识地图 /map/本页学习路径
回答什么「有哪些文、建议顺序、成稿状态」「这周读哪几篇、怎么验收自己」
更新频率内容侧随批次改状态与挂链读者个人 checklist,可本地复制
禁止把跳转 stub 当主文把整张地图抄进笔记当「读完了」

规则:

  1. 先地图定序,再点进专篇深读;专篇里的「如何验收」才是练习题面。
  2. 一篇未做完验收勾选,不跳下一域「集邮」。
  3. 读完一篇后,用 读完自测清单 把验收抄成个人清单,在非生产跑一遍。

3. 周节奏模板(可按小时裁剪) ​

以下篇目均来自地图主链,不另造虚假路径。旗舰优先,专题后置。

路径 A:数仓 / 离线(示例 3 周起步) ​

周主题先读(旗舰 / 主链)本周练习(非生产)
Week1分层 · 分区 · 幂等分层 → 分区 → 离线幂等测库建一张日分区表;同分区跑两遍,行数差 = 0
Week2调度 · 质量调度依赖 → 补数追数 → 质量闭环画一张依赖图(上游 READY 条件);写一条行数/主键质检伪代码
Week3Hive / Spark 排障入门Hive 慢查询 或 小文件;Spark Join 倾斜 择一深读对照专篇「常见坑」勾自己作业是否中招;记录一个可解释指标

后续按地图继续:拉链 / 宽表星型 / ADS 出数 / 测试样例集等,仍以 /map/ 顺序为准。

路径 B:实时 / 流(示例 3 周起步) ​

周主题先读本周练习
Week1Kafka 基础面分区设计 → 积压排查用公开指标或本地假数据讲清 lag 三段:生产 / 消费 / 处理
Week2Flink 稳定面Checkpoint → Watermark → 反压画「乱序 + 迟到」时间线;写出 checkpoint 失败时的止血顺序
Week3链路与质量实时链路排查 → CDC 入湖 → 质量闭环列端到端延迟拆段表(源→Kafka→作业→Sink);标一处可观测点

路径 C:偏业务 / 分析(示例 2 周起步) ​

周主题先读本周练习
Week1指标从哪来分层 → 指标口径一致性 → 对账选一个看板指标,写出「定义 / 来源层 / 对账对象」三行
Week2维表与可看时间快照 vs 拉链 → 宽表 vs 星型 → 调度依赖问清「报表承诺几点可看」对应哪条 SLA / 依赖

4. 面试向 vs 在岗向:同一路径,验收不同 ​

目标读法验收你「会了」的证据
面试岗位路径前 5~8 篇 + 每篇能口述步骤/坑/验收模拟问答 15 分钟无卡壳;能举虚构短剧投放例
在岗补缺当前故障域专篇 + 上游一篇 + 质量一篇非生产按专篇验收勾满;数字写进个人笔记或团队 runbook
带新人本页周表 + 读完自测清单新人能独立列出 5 篇下一篇与 1 个练习

文末面试题写法规范见 文末面试题占位规范;刷题入口与本站分工见 与题库小程序联动。

5. 「5 篇下一篇」怎么列(模板) ​

从地图你的路径里按顺序抄,不要跳域集邮:

text
路径:数仓离线
1. /warehouse/layering
2. /warehouse/partitioning
3. /warehouse/idempotent
4. /schedule/dependency
5. /quality/closed-loop
本周练习:测库日分区双跑,记录行数前后与 diff

常见坑(至少这些) ​

  1. 把知识地图整页收藏当「已学完」
    没有专篇验收勾选 = 没读完。
  2. Week1 同时开离线 + Flink + 云产品文档
    路径混杂,面试只能背名词。
  3. 只读「怎么做」,跳过「不适用」与「常见坑」
    上线仍按快乐路径设计。
  4. 练习直接在生产跑、或拷明文样例
    违反 环境隔离 / 测试样例集 边界。
  5. 下一篇清单写成 20 个链接「有空再看」
    超过 5 篇且无本周练习 = 无效清单。
  6. 用跳转 stub(如 consumer-lag)当主文深读
    地图已约定主链只链主文;侧栏也不挂 stub。
  7. 带新人只丢地图链接,不给周节奏与验收标准
    两周后仍不会讲「如何验」。

如何验收 ​

读完本页,你应能当场写出下面这张表(数字可按自己情况填):

项达标标准
路径名能说出「数仓离线 / 实时流 / 偏业务」之一,并说明为何选
下一篇清单恰好 5 个真实存在的站内路径,且同属一条地图主链顺序
本周练习1 个可在非生产完成的动作,含「观察什么数字」
地图用法能一句话说清:地图定序,本页管走法与自测
禁区未把 stub 当主文;未计划在生产练手
text
学习路径自检(可复制)
路径:________
目标:面试 / 补缺 / 带新人
5 篇下一篇:
  1. ________
  2. ________
  3. ________
  4. ________
  5. ________
本周练习:________
预期数字 / 产物:________
对照地图日期:________

Checklist:

  • [ ] 已打开 知识地图 核对 5 篇链接真实存在
  • [ ] 已选唯一主路径,未并行三条
  • [ ] 已链到 读完自测清单 作为篇后动作
  • [ ] 无公司机密表名 / 真实 PII;举例仅用虚构短剧投放语境

相关面试题 ​

题库小程序链接待定;先用站内锚点占位。规范见 文末面试题占位规范。

  • [ ] 题:入职两周如何按岗位读完本站而不迷路?(考察点:路径选择 + 周节奏 + 地图与深读分工)→ 占位:#todo-interview-learning-path-role
  • [ ] 题:面试前三周,数仓离线路径 Week1 应先啃哪三篇、如何自验?(考察点:分层/分区/幂等 + 非生产双跑)→ 占位:#todo-interview-learning-path-week1
  • [ ] 题:知识地图和「学习路径导读」各解决什么问题?错用会怎样?(考察点:定序 vs 走法)→ 占位:#todo-interview-learning-path-map-vs-guide