外观
知识地图
按 岗位路径 × 技术域 组织。先选角色路径，再深入技术域；每域优先读「概览 → 旗舰实践 → 专题」。
主链只链主文（不链跳转页）。已成稿 = 审校可合并/定稿；Batch D 新文待审校扫完再标。
岗位路径（建议顺序）
数仓 / 离线开发
- 数仓分层实践（ODS→ADS） ← 已成稿 · 必读
- 分区策略 → 快照 vs 拉链 → 拉链表 SCD2 → 宽表 vs 星型 ← 已成稿 / 待审
- 离线幂等 → 幂等回刷 → 表粒度校验 ← 已成稿 / 待审
- 指标口径一致性 → ADS 出数验收 → 埋点与口径变更 → 改表前影响评估 ← 已成稿 → Schema 兼容门禁 ← 已成稿 → 表生命周期 ← 已成稿 → 访问与脱敏 ← 已成稿 → 测试样例集 ← 已成稿 → NULL/默认值语义 ← 已成稿
- 调度依赖 → 补数/重跑/追数 → 补数演练 → 告警与值班 → 优先级与抢占 → 优先级抢占演练 ← 已成稿
- Hive 慢查询 → 小文件治理 → Hive 倾斜 → Join 膨胀 → UDF 性能 → 动态分区 → ORC vs Parquet ← 已成稿 / 待审
- Spark Join 倾斜 → AQE / Shuffle → Spark OOM → Spill → cache/persist → Broadcast Join → 推测执行与长尾 ← 已成稿 / 待审
- 数据质量闭环 → 对账设计 → 新鲜度 SLA → 波动基线 → 主键/唯一键 → 行数/字节量监控 ← 已成稿 / 待审 → 数据契约 ← 已成稿 → 空跑/静默失败 ← 已成稿 → 事故复盘 ← 已成稿
实时 / 流计算开发
- Kafka 分区设计 → Kafka 积压排查 → Kafka EOS → Schema 演进 → 毒消息与 DLQ → Rebalance 风暴 ← 已成稿 / 待审
- Flink Checkpoint → Watermark → 反压 → 状态 TTL → 维表 Join → Savepoint 迁移 → RocksDB 调优 ← 已成稿 / 待审
- CDC 入湖 → 实时链路延迟排查 → 乱序与重复 → 端到端 EOS 验收 → 双流 Join → Sink 幂等验收 ← 已成稿 / 待审
- 数据质量闭环 → 对账设计（流批对齐）→ 波动基线
数据分析 / 数开偏业务
云上平台（可迁移原则）
- 云上数仓怎么落地（DataWorks / Hologres 通用原则） ← 已成稿
- 云上成本治理通用原则 ← 待审
- 开发/测试/生产环境隔离通用原则 ← 待审
技术域矩阵
| 技术域 | 核心问题 | 入口 | 状态 |
|---|---|---|---|
| 数仓分层与建模 | 分层、拉链、宽表星型、幂等、口径、粒度校验、影响评估、Schema 兼容、表生命周期、访问脱敏、测试样例、NULL 语义 | warehouse/ | 已成稿为主 |
| 调度 | 依赖 / READY / 补数 / 值班 / 优先级抢占 / 抢占演练 | schedule/ | 已成稿 + Batch D |
| Hive | SQL、小文件、倾斜、Join 膨胀、UDF、动态分区、ORC/Parquet | hive/ | 已成稿 + Batch D |
| Spark | Shuffle、AQE、倾斜、OOM、Spill、cache、Broadcast、推测执行 | spark/ | 已成稿 + Batch D |
| Flink | Checkpoint、Watermark、反压、TTL、维表 Join、Savepoint、RocksDB | flink/ | 已成稿 + Batch D |
| Kafka | Lag、分区、EOS、Schema、DLQ、Rebalance | kafka/ | 已成稿 + Batch D |
| 实时计算 | CDC、延迟、乱序重复、端到端 EOS、双流 Join、Sink 幂等 | realtime/ | 已成稿 + Batch D |
| 数据质量 | 闭环、对账、数据契约、新鲜度、波动基线、主键设计、量级监控、静默失败、事故复盘 | quality/ | 已成稿 + Batch D |
| 云上平台 | 托管调度、仓、OLAP、成本治理、环境隔离 | cloud/ | 已成稿 + 待审 |
阅读建议
- 面试准备：先走岗位路径，能讲清「分层理由 + 验收方式 + 一次补数事故」比背名词更有说服力。
- 上线排障：从对应技术域概览进入，对照「常见坑」与「如何验证」。
- 贡献内容：新文章挂到本图并更新侧边栏；已定稿路径禁止删除；地图主链只链主文，不链跳转页。