it/bigdata

数据仓库分层建模和规范

笔记

#仓库分层 =1.1 STG 缓冲层 Staging 将业务数据同步过来，不做任何转换，与业务数据库同构。​ 主要用于因为特殊原因，无法在 ODS 一步完成业务数据快照的场景。如每天按照 update_time 把 T 日更新的记录同步到 STG 层，但 STG 表中会有重复的记录，无法方便地直接使用，需要做一次去重后写入 ODS 层。 =1.2 ODS 存储层（操作性数据） Operational Data Store 将业务数据快照过来，不做任何转换，与业务数据库同构。 …