# SYLLABUS ECONOMIC FORECASTING (5)

## Giai đoạn 7 - Economic Data Engineering (Ngày 766–825, 60 ngày)

### PHẦN A: DATA SOURCES (Ngày 766–780)

**Ngày 766: Tổng quan Hệ sinh thái Nguồn Dữ liệu Kinh tế Quốc tế**

*   Mục tiêu: Có bức tranh tổng thể về các nguồn dữ liệu chính sẽ dùng trong hệ thống forecasting.
    
*   Lý thuyết: Phân loại nguồn dữ liệu: tổ chức quốc tế (IMF, World Bank, OECD), quốc gia (FRED, GSO), tần suất khác nhau.
    
*   Thực hành: Vẽ sơ đồ tổng hợp toàn bộ nguồn dữ liệu đã dùng rải rác qua các giai đoạn trước.
    

**Ngày 767: IMF - Giới thiệu và Bộ Dữ liệu Chính**

*   Mục tiêu: Biết các bộ dữ liệu quan trọng nhất của IMF.
    
*   Lý thuyết: International Financial Statistics (IFS), World Economic Outlook (WEO) database.
    
*   Thực hành: Duyệt qua giao diện IMF Data để tìm dữ liệu liên quan Việt Nam.
    

**Ngày 768: IMF API - Truy cập Dữ liệu qua Python**

*   Mục tiêu: Tự động hóa việc lấy dữ liệu IMF.
    
*   Lý thuyết: Ôn lại cấu trúc IMF API (SDMX-based).
    
*   Thực hành: Viết script Python truy vấn dữ liệu IFS cho Việt Nam qua API.
    

**Ngày 769: World Bank - Giới thiệu và WDI**

*   Mục tiêu: Biết bộ dữ liệu phát triển toàn diện nhất.
    
*   Lý thuyết: World Development Indicators (WDI), phạm vi bao phủ rộng (kinh tế, xã hội, môi trường).
    
*   Thực hành: Duyệt qua WDI để tìm các chỉ báo kinh tế Việt Nam có sẵn.
    

**Ngày 770: World Bank API - Truy cập qua Python**

*   Mục tiêu: Tự động hóa việc lấy dữ liệu World Bank.
    
*   Lý thuyết: Ôn lại thư viện `wbgapi` hoặc `wbdata`.
    
*   Thực hành: Viết script Python tải toàn bộ chỉ báo GDP, lạm phát Việt Nam từ World Bank.
    

**Ngày 771: OECD - Giới thiệu và OECD.Stat**

*   Mục tiêu: Biết nguồn dữ liệu chuẩn cho các nước phát triển (tham chiếu so sánh).
    
*   Lý thuyết: OECD.Stat, phạm vi các chỉ báo kinh tế vĩ mô chi tiết.
    
*   Thực hành: Tìm hiểu liệu Việt Nam có dữ liệu trong OECD hay chỉ dùng để so sánh benchmark quốc tế.
    

**Ngày 772: OECD API - Truy cập qua Python**

*   Mục tiêu: Tự động hóa việc lấy dữ liệu OECD.
    
*   Lý thuyết: Ôn lại cấu trúc API OECD (SDMX).
    
*   Thực hành: Viết script Python truy vấn một chỉ báo OECD mẫu.
    

**Ngày 773: FRED - Giới thiệu**

*   Mục tiêu: Biết kho dữ liệu kinh tế lớn và tiện dụng nhất.
    
*   Lý thuyết: Federal Reserve Economic Data (FRED), hàng trăm nghìn chuỗi dữ liệu kinh tế Mỹ và quốc tế.
    
*   Thực hành: Tìm các chuỗi dữ liệu quốc tế/hàng hóa hữu ích cho mô hình Việt Nam (VD: giá dầu, lãi suất Fed Funds).
    

**Ngày 774: FRED API - Truy cập qua Python**

*   Mục tiêu: Thành thạo công cụ được dùng phổ biến nhất trong thực hành.
    
*   Lý thuyết: Ôn lại thư viện `fredapi`.
    
*   Thực hành: Viết script Python tải giá dầu WTI và lãi suất Fed Funds - hai biến quan trọng cho mô hình CPI/tỷ giá Việt Nam.
    

**Ngày 775: GSO Việt Nam - Cấu trúc Dữ liệu**

*   Mục tiêu: Củng cố hiểu biết về nguồn dữ liệu nội địa chính.
    
*   Lý thuyết: Ôn lại cấu trúc công bố của Tổng cục Thống kê (đã dùng xuyên suốt syllabus).
    
*   Thực hành: Tổng hợp lại toàn bộ cách thu thập dữ liệu GSO đã thực hiện qua các giai đoạn trước thành một tài liệu tham khảo.
    

**Ngày 776: SBV và Bộ Tài chính - Nguồn Bổ sung**

*   Mục tiêu: Biết đầy đủ các nguồn dữ liệu chính thức Việt Nam.
    
*   Lý thuyết: Ôn lại dữ liệu lãi suất, tỷ giá từ SBV; dữ liệu ngân sách từ Bộ Tài chính.
    
*   Thực hành: Lập danh sách đầy đủ URL/nguồn truy cập cho từng loại dữ liệu Việt Nam.
    

**Ngày 777: So sánh Cấu trúc và Độ trễ Công bố**

*   Mục tiêu: Hiểu đặc thù từng nguồn để thiết kế pipeline phù hợp.
    
*   Lý thuyết: So sánh format (API/CSV/Excel), tần suất cập nhật, độ trễ công bố giữa các nguồn.
    
*   Thực hành: Lập bảng tổng hợp so sánh toàn bộ nguồn dữ liệu (quốc tế + Việt Nam) về các tiêu chí trên.
    

**Ngày 778: Xây dựng Data Catalog Cá nhân**

*   Mục tiêu: Có tài liệu tham khảo tổng hợp cho toàn bộ dự án sau này.
    
*   Lý thuyết: Data catalog, tài liệu hóa nguồn gốc, tần suất, đơn vị đo của từng chuỗi dữ liệu.
    
*   Thực hành: Viết file catalog (markdown/YAML) liệt kê toàn bộ ~20-30 chuỗi dữ liệu đã dùng xuyên suốt syllabus.
    

**Ngày 779: Project - Viết Wrapper Python Thống nhất**

*   Mục tiêu: Đơn giản hóa việc truy cập đa nguồn.
    
*   Lý thuyết: Ôn lại API của IMF, World Bank, FRED, GSO.
    
*   Thực hành: Viết class `DataFetcher` với các method `get_imf()`, `get_worldbank()`, `get_fred()`, trả về DataFrame có định dạng thống nhất.
    

**Ngày 780: Tổng kết Data Sources**

*   Mục tiêu: Củng cố toàn bộ Phần A.
    
*   Lý thuyết: Ôn tập Ngày 766–779.
    
*   Thực hành: Kiểm tra lại `DataFetcher` bằng cách tải đồng thời 5 chuỗi dữ liệu từ 3 nguồn khác nhau.
    

### PHẦN B: ETL (Ngày 781–805)

**Ngày 781: Giới thiệu ETL cho Dữ liệu Kinh tế**

*   Mục tiêu: Hiểu quy trình Extract-Transform-Load áp dụng cho bài toán forecasting.
    
*   Lý thuyết: ETL pipeline, vai trò trong hệ thống production forecasting.
    
*   Thực hành: Vẽ sơ đồ ETL tổng quát cho hệ thống dữ liệu kinh tế Việt Nam.
    

**Ngày 782: Ôn lại Pandas Nâng cao**

*   Mục tiêu: Củng cố kỹ năng pandas cho xử lý dữ liệu phức tạp.
    
*   Lý thuyết: Merge, groupby, pivot, resample - ôn tập và mở rộng.
    
*   Thực hành: Thực hành merge nhiều bộ dữ liệu kinh tế có tần suất khác nhau bằng `pd.merge_asof`.
    

**Ngày 783: Xử lý Time Series với Pandas**

*   Mục tiêu: Thành thạo các thao tác time series chuyên biệt.
    
*   Lý thuyết: `reindex`, `asfreq`, `resample`, xử lý DatetimeIndex.
    
*   Thực hành: Chuẩn hóa toàn bộ chuỗi dữ liệu đã thu thập về cùng index thời gian đầy đủ (không thiếu tháng).
    

**Ngày 784: Giới thiệu Polars**

*   Mục tiêu: Biết công cụ thay thế hiệu năng cao hơn pandas.
    
*   Lý thuyết: Polars, viết bằng Rust, nhanh hơn đáng kể cho dữ liệu lớn.
    
*   Thực hành: So sánh tốc độ đọc/xử lý cùng một file giữa pandas và polars.
    

**Ngày 785: Polars Cơ bản**

*   Mục tiêu: Làm quen cú pháp polars.
    
*   Lý thuyết: Polars DataFrame, lazy evaluation (khác biệt lớn với pandas eager evaluation).
    
*   Thực hành: Viết lại một vài thao tác pandas cơ bản (filter, select, groupby) bằng polars.
    

**Ngày 786: Polars - Các Thao tác Tương đương Pandas**

*   Mục tiêu: Có khả năng chuyển đổi qua lại giữa hai thư viện.
    
*   Lý thuyết: Bảng tra cứu tương đương pandas ↔ polars cho các thao tác phổ biến.
    
*   Thực hành: Viết lại toàn bộ pipeline chuẩn hóa dữ liệu (Ngày 783) bằng polars.
    

**Ngày 787: Khi nào dùng Polars thay vì Pandas**

*   Mục tiêu: Có quyết định thực dụng cho từng tình huống.
    
*   Lý thuyết: Với dữ liệu kinh tế vĩ mô (thường nhỏ, vài trăm-nghìn dòng), pandas thường đã đủ; polars hữu ích khi dữ liệu lớn (VD: dữ liệu giao dịch tần suất cao).
    
*   Thực hành: Thảo luận và quyết định công cụ chính cho hệ thống sẽ xây (khuyến nghị: pandas cho phần lớn, polars cho phần dữ liệu lớn nếu có).
    

**Ngày 788: Giới thiệu DuckDB**

*   Mục tiêu: Biết công cụ SQL hiệu năng cao chạy trực tiếp trên file.
    
*   Lý thuyết: DuckDB, in-process SQL OLAP database, không cần server riêng.
    
*   Thực hành: Cài đặt DuckDB, chạy truy vấn SQL đầu tiên.
    

**Ngày 789: DuckDB - Truy vấn Cơ bản trên File**

*   Mục tiêu: Thực hành truy vấn trực tiếp trên CSV/Parquet.
    
*   Lý thuyết: Ôn lại cú pháp SQL kết hợp đọc file trực tiếp (`SELECT * FROM 'file.csv'`).
    
*   Thực hành: Viết truy vấn SQL tổng hợp dữ liệu từ nhiều file CSV kinh tế đã thu thập.
    

**Ngày 790: DuckDB - Kết hợp với Pandas/Polars**

*   Mục tiêu: Tích hợp DuckDB vào workflow Python hiện có.
    
*   Lý thuyết: DuckDB có thể đọc/ghi trực tiếp DataFrame pandas/polars.
    
*   Thực hành: Viết pipeline kết hợp: dùng DuckDB SQL để join/filter, chuyển sang pandas để tiếp tục xử lý.
    

**Ngày 791: Thiết kế Schema Dữ liệu cho Hệ thống Forecasting**

*   Mục tiêu: Có thiết kế dữ liệu chuẩn hóa, dễ mở rộng.
    
*   Lý thuyết: Long format vs wide format, schema chuẩn (date, indicator\_code, value, source, vintage).
    
*   Thực hành: Thiết kế schema chi tiết cho toàn bộ dữ liệu kinh tế sẽ lưu trữ.
    

**Ngày 792: Định dạng Lưu trữ**

*   Mục tiêu: Chọn định dạng lưu trữ phù hợp.
    
*   Lý thuyết: CSV (đơn giản, dễ đọc) vs Parquet (nén tốt, nhanh, giữ kiểu dữ liệu) vs database (SQLite/PostgreSQL cho truy vấn phức tạp).
    
*   Thực hành: So sánh dung lượng và tốc độ đọc giữa CSV và Parquet cho cùng bộ dữ liệu.
    

**Ngày 793: Xây dựng Data Pipeline Tự động - Kiến trúc**

*   Mục tiêu: Thiết kế pipeline có thể chạy lặp lại tự động.
    
*   Lý thuyết: Kiến trúc pipeline: extract functions → transform functions → load functions, tách biệt rõ ràng.
    
*   Thực hành: Vẽ sơ đồ kiến trúc pipeline sẽ xây dựng trong project.
    

**Ngày 794: Scheduling - Chạy Pipeline Định kỳ**

*   Mục tiêu: Biết cách tự động hóa việc chạy pipeline theo lịch.
    
*   Lý thuyết: Cron job cơ bản, giới thiệu sơ lược Airflow (sẽ học sâu ở Giai đoạn 8).
    
*   Thực hành: Viết crontab đơn giản để chạy script Python thu thập dữ liệu hàng ngày.
    

**Ngày 795: Idempotency trong Data Pipeline**

*   Mục tiêu: Hiểu nguyên tắc thiết kế quan trọng cho pipeline đáng tin cậy.
    
*   Lý thuyết: Idempotency - chạy pipeline nhiều lần cho cùng kết quả, không tạo dữ liệu trùng lặp.
    
*   Thực hành: Rà soát và sửa lại pipeline đã viết để đảm bảo idempotent (dùng upsert thay vì insert đơn thuần).
    

**Ngày 796: Logging và Monitoring cho Pipeline**

*   Mục tiêu: Có khả năng theo dõi tình trạng pipeline.
    
*   Lý thuyết: Python `logging` module, các mức log (INFO, WARNING, ERROR).
    
*   Thực hành: Thêm logging đầy đủ vào pipeline: log số dòng dữ liệu tải được, thời gian chạy, lỗi nếu có.
    

**Ngày 797: Xử lý Lỗi trong Pipeline**

*   Mục tiêu: Xây dựng pipeline bền vững trước lỗi.
    
*   Lý thuyết: Retry logic, alerting khi pipeline thất bại.
    
*   Thực hành: Thêm cơ chế retry (thử lại 3 lần khi API timeout) vào `DataFetcher`.
    

**Ngày 798: Version Control cho Dữ liệu**

*   Mục tiêu: Biết công cụ quản lý phiên bản dữ liệu (khác với code).
    
*   Lý thuyết: Giới thiệu DVC (Data Version Control), lý do cần thiết khi dữ liệu thay đổi theo thời gian (data revisions).
    
*   Thực hành: Cài đặt DVC cơ bản, thử track một file dữ liệu.
    

**Ngày 799: Project ETL - Thiết kế Pipeline Tổng thể**

*   Mục tiêu: Bắt đầu project ETL toàn diện cho toàn bộ dữ liệu Việt Nam.
    
*   Lý thuyết: Ôn lại kiến trúc đã thiết kế (Ngày 793).
    
*   Thực hành: Viết tài liệu thiết kế chi tiết cho pipeline (nguồn, tần suất, schema đích).
    

**Ngày 800: Project ETL - Cài đặt Extraction Layer**

*   Mục tiêu: Xây lớp thu thập dữ liệu.
    
*   Lý thuyết: Ôn lại `DataFetcher` (Ngày 779).
    
*   Thực hành: Hoàn thiện module extraction cho toàn bộ nguồn (IMF, World Bank, FRED, GSO).
    

**Ngày 801: Project ETL - Cài đặt Transformation Layer**

*   Mục tiêu: Xây lớp biến đổi dữ liệu.
    
*   Lý thuyết: Ôn lại chuẩn hóa schema (long format), resampling tần suất.
    
*   Thực hành: Viết module transform chuyển đổi dữ liệu thô về schema chuẩn đã thiết kế.
    

**Ngày 802: Project ETL - Cài đặt Loading Layer**

*   Mục tiêu: Xây lớp lưu trữ dữ liệu.
    
*   Lý thuyết: Ôn lại lựa chọn định dạng lưu trữ (Parquet/SQLite).
    
*   Thực hành: Viết module load lưu dữ liệu đã transform vào kho lưu trữ đã chọn.
    

**Ngày 803: Project ETL - Thêm Logging và Error Handling**

*   Mục tiêu: Hoàn thiện tính bền vững của pipeline.
    
*   Lý thuyết: Ôn lại logging, retry logic.
    
*   Thực hành: Tích hợp đầy đủ logging và error handling vào toàn bộ pipeline.
    

**Ngày 804: Project ETL - Kiểm thử Đầu cuối**

*   Mục tiêu: Xác nhận pipeline hoạt động chính xác toàn diện.
    
*   Lý thuyết: End-to-end testing cho data pipeline.
    
*   Thực hành: Chạy toàn bộ pipeline từ đầu đến cuối, kiểm tra dữ liệu đầu ra khớp với kỳ vọng.
    

**Ngày 805: Tổng kết ETL**

*   Mục tiêu: Củng cố toàn bộ Phần B.
    
*   Lý thuyết: Ôn tập Ngày 781–804.
    
*   Thực hành: Viết tài liệu vận hành (runbook) mô tả cách chạy và bảo trì pipeline ETL đã xây.
    

### PHẦN C: DATA QUALITY (Ngày 806–825)

**Ngày 806: Tầm quan trọng của Data Quality trong Forecasting**

*   Mục tiêu: Hiểu nguyên tắc "garbage in, garbage out" áp dụng cho forecasting.
    
*   Lý thuyết: Data quality ảnh hưởng trực tiếp đến độ tin cậy của mọi mô hình đã học từ đầu syllabus.
    
*   Thực hành: Thảo luận ví dụ cụ thể: một lỗi dữ liệu nhỏ có thể làm sai lệch dự báo CPI thế nào.
    

**Ngày 807: Missing Values - Phân loại**

*   Mục tiêu: Hiểu các cơ chế khác nhau gây ra dữ liệu thiếu.
    
*   Lý thuyết: MCAR (Missing Completely At Random), MAR (Missing At Random), MNAR (Missing Not At Random).
    
*   Thực hành: Phân loại các trường hợp missing values đã gặp trong dữ liệu Việt Nam đã thu thập theo 3 loại trên.
    

**Ngày 808: Xử lý Missing Values - Phương pháp Cơ bản**

*   Mục tiêu: Biết các kỹ thuật đơn giản nhất.
    
*   Lý thuyết: Drop rows/columns, forward fill, backward fill, mean/median imputation.
    
*   Thực hành: Áp dụng từng phương pháp cho một chuỗi có missing values, so sánh kết quả.
    

**Ngày 809: Xử lý Missing Values - Interpolation**

*   Mục tiêu: Biết phương pháp phù hợp hơn cho time series.
    
*   Lý thuyết: Linear interpolation, spline interpolation.
    
*   Thực hành: So sánh kết quả interpolation tuyến tính và spline cho một chuỗi kinh tế có missing values.
    

**Ngày 810: Xử lý Missing Values - Kalman-based Imputation**

*   Mục tiêu: Áp dụng lại kỹ thuật nâng cao đã học ở Giai đoạn 4.
    
*   Lý thuyết: Ôn lại Kalman Filter xử lý missing data (Ngày 417).
    
*   Thực hành: So sánh kết quả imputation giữa interpolation đơn giản và Kalman-based cho cùng một chuỗi.
    

**Ngày 811: Phát hiện Outlier trong Dữ liệu Kinh tế**

*   Mục tiêu: Nhận diện các giá trị bất thường có thể là lỗi hoặc sự kiện thực.
    
*   Lý thuyết: Outlier detection methods: Z-score, IQR method, so sánh với biến động lịch sử.
    
*   Thực hành: Áp dụng IQR method để phát hiện outlier trong toàn bộ chuỗi dữ liệu Việt Nam đã có.
    

**Ngày 812: Xử lý Outliers**

*   Mục tiêu: Biết cách xử lý outlier một cách hợp lý (không đơn giản là xóa).
    
*   Lý thuyết: Winsorization, robust statistics, phân biệt outlier do lỗi dữ liệu vs sự kiện kinh tế thực (VD: COVID).
    
*   Thực hành: Quyết định xử lý cho từng outlier đã phát hiện - giữ lại (nếu là sự kiện thực) hay winsorize (nếu nghi ngờ lỗi).
    

**Ngày 813: Data Revisions - Bản chất và Tác động**

*   Mục tiêu: Củng cố hiểu biết đã học sơ lược ở Giai đoạn 6 (Ngày 638).
    
*   Lý thuyết: Data revisions ảnh hưởng đến cả việc xây mô hình (dùng số liệu nào) và đánh giá (real-time vs final).
    
*   Thực hành: Tìm ví dụ cụ thể GDP hoặc CPI Việt Nam có sự khác biệt giữa số liệu sơ bộ và số liệu điều chỉnh (nếu có thể tra cứu được).
    

**Ngày 814: Xây dựng Cơ sở Dữ liệu Vintage - Lý thuyết**

*   Mục tiêu: Hiểu thiết kế cần thiết để lưu trữ đa phiên bản dữ liệu.
    
*   Lý thuyết: Vintage database design, mỗi quan sát có thêm chiều "ngày công bố/phiên bản".
    
*   Thực hành: Thiết kế schema mở rộng từ Ngày 791 để hỗ trợ lưu vintage (thêm cột `release_date` hoặc `vintage_date`).
    

**Ngày 815: Xây dựng Cơ sở Dữ liệu Vintage - Thực hành**

*   Mục tiêu: Cài đặt thực tế khả năng lưu đa phiên bản.
    
*   Lý thuyết: Ôn lại schema đã thiết kế.
    
*   Thực hành: Sửa lại pipeline ETL (Phần B) để lưu mỗi lần cập nhật là một vintage riêng biệt thay vì ghi đè.
    

**Ngày 816: Đánh giá Tác động của Revisions lên Đánh giá Mô hình**

*   Mục tiêu: Hiểu tại sao đánh giá real-time khác với đánh giá dùng số liệu cuối cùng.
    
*   Lý thuyết: Ôn lại pseudo real-time evaluation (Giai đoạn 4, 6), giờ có nền tảng vintage database để làm chính xác hơn.
    
*   Thực hành: So sánh RMSE của một mô hình khi đánh giá bằng dữ liệu final (đã biết trước) vs vintage data (chỉ dùng thông tin có tại thời điểm đó) - minh họa "phóng đại" hiệu năng nếu dùng sai.
    

**Ngày 817: Kiểm tra Tính Nhất quán Dữ liệu**

*   Mục tiêu: Xây dựng các kiểm tra tự động phát hiện lỗi.
    
*   Lý thuyết: Consistency checks - VD: GDP = C+I+G+NX phải khớp (trong sai số làm tròn), tỷ lệ phần trăm phải nằm trong \[0,100\].
    
*   Thực hành: Viết các hàm kiểm tra consistency cho dữ liệu GDP theo thành phần đã thu thập ở Giai đoạn 1.
    

**Ngày 818: Kiểm tra Logic Nghiệp vụ**

*   Mục tiêu: Xây dựng kiểm tra dựa trên hiểu biết kinh tế.
    
*   Lý thuyết: Business rule validation - VD: lãi suất không âm (thường), CPI YoY phải nhất quán với chuỗi mức giá.
    
*   Thực hành: Viết các business rule cụ thể cho từng loại dữ liệu kinh tế đã thu thập.
    

**Ngày 819: Xây dựng Automated Data Quality Checks**

*   Mục tiêu: Đóng gói toàn bộ kiểm tra thành hệ thống tự động.
    
*   Lý thuyết: Ôn lại toàn bộ các loại kiểm tra đã học (missing, outlier, consistency, business rules).
    
*   Thực hành: Viết class Python `DataQualityChecker` chạy toàn bộ các kiểm tra và trả về báo cáo.
    

**Ngày 820: Data Quality Dashboard/Report**

*   Mục tiêu: Trực quan hóa tình trạng chất lượng dữ liệu.
    
*   Lý thuyết: Data quality report - tỷ lệ missing, số outlier phát hiện, số consistency check thất bại theo từng nguồn.
    
*   Thực hành: Xây dashboard đơn giản (Streamlit) hiển thị kết quả từ `DataQualityChecker`.
    

**Ngày 821: Project Data Quality - Áp dụng Toàn bộ Kiểm tra**

*   Mục tiêu: Chạy toàn diện hệ thống đã xây trên dữ liệu thực.
    
*   Lý thuyết: Ôn lại `DataQualityChecker`.
    
*   Thực hành: Chạy `DataQualityChecker` trên toàn bộ dữ liệu kinh tế Việt Nam đã thu thập xuyên suốt syllabus.
    

**Ngày 822: Project Data Quality - Xử lý Vấn đề Phát hiện**

*   Mục tiêu: Khắc phục các vấn đề chất lượng dữ liệu đã tìm thấy.
    
*   Lý thuyết: Ôn lại các phương pháp xử lý missing/outlier đã học trong Phần C.
    
*   Thực hành: Xử lý từng vấn đề cụ thể được liệt kê trong báo cáo data quality.
    

**Ngày 823: Project Data Quality - Viết Báo cáo**

*   Mục tiêu: Hoàn thiện tài liệu cho project.
    
*   Lý thuyết: Ôn lại cấu trúc báo cáo data quality.
    
*   Thực hành: Viết báo cáo tổng kết chất lượng dữ liệu: vấn đề phát hiện, cách xử lý, tình trạng cuối cùng.
    

**Ngày 824: Ôn tập Giai đoạn 7**

*   Mục tiêu: Củng cố toàn bộ kiến thức trước khi tổng kết.
    
*   Lý thuyết: Ôn tập tổng hợp cả 3 phần: Data Sources, ETL, Data Quality.
    
*   Thực hành: Làm bộ câu hỏi ôn tập tổng hợp về toàn bộ giai đoạn.
    

**Ngày 825: Tổng kết Giai đoạn 7 - Economic Data Engineering**

*   Mục tiêu: Củng cố toàn diện trước khi bước vào Production Forecasting.
    
*   Lý thuyết: Tổng hợp toàn bộ hệ thống dữ liệu đã xây dựng (nguồn → ETL → chất lượng → vintage database).
    
*   Thực hành: Viết sơ đồ kiến trúc tổng thể hệ thống dữ liệu hoàn chỉnh, làm nền tảng hạ tầng cho Giai đoạn 8 (Production Forecasting) và các Capstone sau này.
    

## Giai đoạn 8 - Production Forecasting (Ngày 826–915, 90 ngày)

### PHẦN A: MLOPS (Ngày 826–870)

**Ngày 826: Giới thiệu MLOps cho Forecasting Systems**

*   Mục tiêu: Hiểu vì sao một mô hình tốt trong notebook chưa đủ để chạy production.
    
*   Lý thuyết: MLOps, khoảng cách giữa nghiên cứu (research) và triển khai thực tế (production).
    
*   Thực hành: Liệt kê những gì còn thiếu để biến các project đã xây (Giai đoạn 3-6) thành hệ thống chạy tự động hàng ngày.
    

**Ngày 827: Vòng đời của Mô hình Forecasting trong Production**

*   Mục tiêu: Hiểu toàn bộ chu trình từ dữ liệu đến dự báo được sử dụng.
    
*   Lý thuyết: ML lifecycle: data → train → validate → deploy → monitor → retrain.
    
*   Thực hành: Vẽ sơ đồ vòng đời đầy đủ áp dụng cho hệ thống nowcasting đã xây ở Giai đoạn 6.
    

**Ngày 828: Reproducibility**

*   Mục tiêu: Hiểu tầm quan trọng của khả năng tái lập kết quả.
    
*   Lý thuyết: Reproducibility - cùng code, cùng dữ liệu phải cho cùng kết quả; random seed, environment pinning.
    
*   Thực hành: Rà soát lại một project cũ (VD: XGBoost CPI ở Giai đoạn 5), thêm random seed cố định để đảm bảo tái lập được.
    

**Ngày 829: Quản lý Môi trường**

*   Mục tiêu: Đảm bảo môi trường chạy nhất quán.
    
*   Lý thuyết: Virtualenv, conda, `requirements.txt`/`pyproject.toml`.
    
*   Thực hành: Tạo file `requirements.txt` đầy đủ cho toàn bộ dependencies đã dùng xuyên suốt syllabus.
    

**Ngày 830: Giới thiệu Docker**

*   Mục tiêu: Hiểu khái niệm containerization.
    
*   Lý thuyết: Docker, container vs virtual machine, lợi ích cho reproducibility.
    
*   Thực hành: Cài đặt Docker, chạy thử container "hello world" đầu tiên.
    

**Ngày 831: Docker - Viết Dockerfile Cơ bản**

*   Mục tiêu: Tự đóng gói môi trường Python.
    
*   Lý thuyết: Cú pháp Dockerfile: FROM, COPY, RUN, CMD.
    
*   Thực hành: Viết Dockerfile đóng gói môi trường Python với các thư viện forecasting đã dùng.
    

**Ngày 832: Docker - Build và Run Container**

*   Mục tiêu: Chạy được pipeline forecasting bên trong container.
    
*   Lý thuyết: Ôn lại `docker build`, `docker run`, volume mounting.
    
*   Thực hành: Build image từ Dockerfile đã viết, chạy pipeline ETL (Giai đoạn 7) bên trong container.
    

**Ngày 833: Docker Compose**

*   Mục tiêu: Quản lý nhiều container phối hợp với nhau.
    
*   Lý thuyết: Docker Compose, định nghĩa multi-container application (VD: pipeline + database).
    
*   Thực hành: Viết `docker-compose.yml` kết hợp container Python pipeline với container database (Postgres).
    

**Ngày 834: Giới thiệu MLflow**

*   Mục tiêu: Biết công cụ chuẩn để theo dõi thí nghiệm ML.
    
*   Lý thuyết: MLflow, các thành phần chính (Tracking, Projects, Models, Model Registry).
    
*   Thực hành: Cài đặt MLflow, chạy MLflow UI lần đầu.
    

**Ngày 835: MLflow Tracking**

*   Mục tiêu: Ghi lại thông tin thí nghiệm một cách có hệ thống.
    
*   Lý thuyết: `mlflow.log_param`, `mlflow.log_metric`, `mlflow.log_artifact`.
    
*   Thực hành: Thêm MLflow tracking vào một quy trình fit XGBoost đơn giản, log tham số và RMSE.
    

**Ngày 836: MLflow - So sánh Nhiều lần Chạy**

*   Mục tiêu: Sử dụng MLflow để so sánh các thí nghiệm.
    
*   Lý thuyết: MLflow UI, so sánh nhiều run trên cùng một biểu đồ/bảng.
    
*   Thực hành: Chạy nhiều lần với hyperparameter khác nhau, so sánh trên MLflow UI.
    

**Ngày 837: MLflow Model Registry**

*   Mục tiêu: Quản lý vòng đời phiên bản mô hình.
    
*   Lý thuyết: Model Registry, các stage (Staging, Production, Archived).
    
*   Thực hành: Đăng ký một mô hình đã train vào Model Registry, chuyển qua các stage.
    

**Ngày 838: MLflow - Đóng gói Mô hình để Deploy**

*   Mục tiêu: Chuẩn bị mô hình sẵn sàng phục vụ dự báo.
    
*   Lý thuyết: MLflow Model format, `mlflow.pyfunc` cho mô hình tùy chỉnh (VD: ARIMA/statsmodels không chuẩn sklearn).
    
*   Thực hành: Đóng gói một mô hình ARIMA bằng `mlflow.pyfunc` custom wrapper.
    

**Ngày 839: Project MLflow - Tích hợp vào Pipeline đã xây**

*   Mục tiêu: Áp dụng MLflow cho các mô hình thực tế đã có.
    
*   Lý thuyết: Ôn lại toàn bộ API MLflow đã học.
    
*   Thực hành: Tích hợp MLflow tracking vào pipeline XGBoost/LSTM dự báo CPI đã xây ở Giai đoạn 5.
    

**Ngày 840: Project MLflow - Log Toàn bộ Experiment**

*   Mục tiêu: Có lịch sử đầy đủ các thí nghiệm đã thực hiện xuyên suốt syllabus.
    
*   Lý thuyết: Ôn lại cách tổ chức experiment theo tên (ARIMA, VAR, XGBoost, LSTM, TFT...).
    
*   Thực hành: Chạy lại và log các mô hình chính từ Giai đoạn 3-5 vào MLflow, tạo bảng so sánh tổng hợp.
    

**Ngày 841: Giới thiệu Apache Airflow**

*   Mục tiêu: Biết công cụ orchestration chuẩn cho pipeline phức tạp.
    
*   Lý thuyết: Airflow, vai trò điều phối các bước pipeline có phụ thuộc lẫn nhau.
    
*   Thực hành: Cài đặt Airflow (qua Docker để đơn giản), truy cập Airflow UI.
    

**Ngày 842: Airflow - Khái niệm DAG**

*   Mục tiêu: Hiểu đơn vị tổ chức cơ bản của Airflow.
    
*   Lý thuyết: Directed Acyclic Graph (DAG), task dependencies.
    
*   Thực hành: Vẽ sơ đồ DAG cho pipeline ETL → train → evaluate đã có.
    

**Ngày 843: Airflow - Viết DAG Đầu tiên**

*   Mục tiêu: Tự viết được một DAG đơn giản.
    
*   Lý thuyết: Ôn lại cú pháp Python DAG definition (`@dag`, `@task` decorators).
    
*   Thực hành: Viết DAG đơn giản gồm 2-3 task tuần tự (extract → transform → load).
    

**Ngày 844: Airflow - Operators và Tasks**

*   Mục tiêu: Biết các loại operator phổ biến.
    
*   Lý thuyết: PythonOperator, BashOperator, và các operator khác.
    
*   Thực hành: Viết task sử dụng PythonOperator để gọi hàm ETL đã xây ở Giai đoạn 7.
    

**Ngày 845: Airflow - Scheduling và Trigger Rules**

*   Mục tiêu: Điều khiển thời điểm và điều kiện chạy pipeline.
    
*   Lý thuyết: Schedule interval (cron-like), trigger rules (all\_success, one\_failed...).
    
*   Thực hành: Cấu hình DAG chạy hàng ngày lúc 6h sáng (giả lập).
    

**Ngày 846: Airflow - XCom**

*   Mục tiêu: Truyền dữ liệu giữa các task.
    
*   Lý thuyết: XCom (cross-communication), giới hạn kích thước dữ liệu truyền qua XCom.
    
*   Thực hành: Sửa DAG để task "transform" nhận đường dẫn file từ task "extract" qua XCom.
    

**Ngày 847: Airflow - Error Handling và Retry**

*   Mục tiêu: Xây DAG bền vững trước lỗi.
    
*   Lý thuyết: Ôn lại retry logic (đã học Giai đoạn 7), áp dụng cấu hình `retries`, `retry_delay` trong Airflow.
    
*   Thực hành: Cấu hình retry cho task extraction (dễ gặp lỗi mạng khi gọi API).
    

**Ngày 848: Airflow - Monitoring qua UI**

*   Mục tiêu: Sử dụng UI để theo dõi tình trạng pipeline.
    
*   Lý thuyết: Airflow UI - Graph view, Gantt chart, Task logs.
    
*   Thực hành: Chạy DAG và theo dõi tiến trình qua UI, đọc log khi có lỗi giả lập.
    

**Ngày 849: Project Airflow - Chuyển đổi Pipeline ETL**

*   Mục tiêu: Đưa pipeline ETL đã xây (Giai đoạn 7) vào Airflow.
    
*   Lý thuyết: Ôn lại kiến trúc extraction/transformation/loading layer.
    
*   Thực hành: Viết DAG hoàn chỉnh cho pipeline ETL với các task tương ứng.
    

**Ngày 850: Project Airflow - Thêm Task Ước lượng Mô hình**

*   Mục tiêu: Mở rộng DAG để bao gồm bước huấn luyện mô hình.
    
*   Lý thuyết: Ôn lại cách gọi hàm train mô hình (VD: XGBoost CPI) từ task Airflow.
    
*   Thực hành: Thêm task "train\_model" vào DAG, phụ thuộc vào task ETL đã hoàn thành.
    

**Ngày 851: Project Airflow - Thêm Task Đánh giá và Log MLflow**

*   Mục tiêu: Hoàn thiện DAG với bước đánh giá và ghi lại kết quả.
    
*   Lý thuyết: Ôn lại tích hợp MLflow (Ngày 839).
    
*   Thực hành: Thêm task "evaluate\_and\_log" gọi MLflow tracking sau khi train xong.
    

**Ngày 852: Project Airflow - Kiểm thử Toàn bộ DAG**

*   Mục tiêu: Xác nhận DAG hoạt động đúng đầu cuối.
    
*   Lý thuyết: Ôn lại end-to-end testing (đã học Giai đoạn 7).
    
*   Thực hành: Chạy toàn bộ DAG (Extract → Transform → Load → Train → Evaluate), kiểm tra kết quả trên MLflow UI.
    

**Ngày 853: Giới thiệu Kubernetes**

*   Mục tiêu: Biết khái niệm cơ bản về orchestration container ở quy mô lớn.
    
*   Lý thuyết: Kubernetes (K8s), quản lý và scale container tự động.
    
*   Thực hành: Đọc tổng quan kiến trúc Kubernetes, không cần cài đặt đầy đủ nếu môi trường hạn chế.
    

**Ngày 854: Kubernetes - Pods, Deployments, Services**

*   Mục tiêu: Hiểu các đối tượng cơ bản của K8s.
    
*   Lý thuyết: Pod (đơn vị chạy container nhỏ nhất), Deployment (quản lý số lượng pod), Service (network access).
    
*   Thực hành: Đọc và diễn giải một file YAML cấu hình Deployment mẫu.
    

**Ngày 855: Khi nào cần Kubernetes cho Forecasting System**

*   Mục tiêu: Có quan điểm thực dụng, tránh over-engineering.
    
*   Lý thuyết: K8s hữu ích khi cần scale nhiều instance, high availability; với hệ thống forecasting kinh tế vĩ mô quy mô nhỏ, Docker Compose thường đã đủ.
    
*   Thực hành: Thảo luận: hệ thống nowcasting Việt Nam đã xây (Giai đoạn 6) có cần Kubernetes không, tại sao.
    

**Ngày 856: Model Serving - Khái niệm**

*   Mục tiêu: Hiểu cách biến mô hình thành dịch vụ có thể gọi được.
    
*   Lý thuyết: Model serving, batch prediction vs real-time serving.
    
*   Thực hành: Thảo luận: hệ thống dự báo CPI hàng tháng cần batch hay real-time serving?
    

**Ngày 857: Xây dựng REST API bằng FastAPI**

*   Mục tiêu: Tạo giao diện lập trình để truy cập mô hình.
    
*   Lý thuyết: FastAPI, framework Python hiện đại cho xây API nhanh.
    
*   Thực hành: Viết API FastAPI cơ bản với 1 endpoint trả về "hello world".
    

**Ngày 858: FastAPI - Endpoint Dự báo**

*   Mục tiêu: Xây endpoint thực tế trả về kết quả dự báo.
    
*   Lý thuyết: Request/response models bằng Pydantic, input validation.
    
*   Thực hành: Viết endpoint `/forecast/cpi` load mô hình XGBoost đã train và trả về dự báo.
    

**Ngày 859: Đóng gói API bằng Docker**

*   Mục tiêu: Chuẩn bị API sẵn sàng triển khai.
    
*   Lý thuyết: Ôn lại Dockerfile, áp dụng cho ứng dụng FastAPI.
    
*   Thực hành: Viết Dockerfile cho API, build và chạy container, test gọi API.
    

**Ngày 860: Giới thiệu CI/CD cho ML Systems**

*   Mục tiêu: Hiểu quy trình tự động hóa kiểm thử và triển khai.
    
*   Lý thuyết: Continuous Integration/Continuous Deployment, đặc thù khi áp dụng cho ML (thêm bước kiểm thử mô hình, không chỉ code).
    
*   Thực hành: Vẽ sơ đồ quy trình CI/CD cho hệ thống forecasting đã xây.
    

**Ngày 861: CI/CD - GitHub Actions Cơ bản**

*   Mục tiêu: Thực hành công cụ CI/CD phổ biến.
    
*   Lý thuyết: GitHub Actions, cú pháp YAML workflow cơ bản.
    
*   Thực hành: Viết workflow đơn giản tự động chạy test khi push code lên GitHub.
    

**Ngày 862: Testing cho ML Pipeline**

*   Mục tiêu: Hiểu các loại kiểm thử cần thiết.
    
*   Lý thuyết: Unit test (từng hàm), integration test (toàn bộ pipeline), data validation test.
    
*   Thực hành: Liệt kê danh sách các hàm/module cần test trong hệ thống đã xây (feature engineering, model training, API).
    

**Ngày 863: Viết Unit Test cho Feature Engineering**

*   Mục tiêu: Thực hành viết test cụ thể.
    
*   Lý thuyết: `pytest` cơ bản, assert statements.
    
*   Thực hành: Viết unit test cho các hàm tạo lag/rolling features đã viết ở Giai đoạn 5.
    

**Ngày 864: Viết Integration Test cho Pipeline**

*   Mục tiêu: Kiểm thử toàn bộ luồng hoạt động.
    
*   Lý thuyết: Integration test, kiểm tra đầu ra cuối cùng đúng định dạng và hợp lý.
    
*   Thực hành: Viết integration test chạy toàn bộ pipeline ETL → feature → predict, kiểm tra output shape và giá trị hợp lý.
    

**Ngày 865: Infrastructure as Code**

*   Mục tiêu: Biết khái niệm quản lý hạ tầng bằng code.
    
*   Lý thuyết: Infrastructure as Code (IaC), giới thiệu sơ lược Terraform.
    
*   Thực hành: Đọc một file Terraform mẫu, diễn giải nó định nghĩa hạ tầng gì.
    

**Ngày 866: Project MLOps Toàn diện - Kiến trúc Hệ thống**

*   Mục tiêu: Thiết kế hệ thống MLOps hoàn chỉnh cho toàn bộ syllabus.
    
*   Lý thuyết: Ôn lại toàn bộ thành phần: Docker, MLflow, Airflow, FastAPI.
    
*   Thực hành: Vẽ sơ đồ kiến trúc tổng thể kết hợp toàn bộ công cụ đã học.
    

**Ngày 867: Project MLOps Toàn diện - Containerize Pipeline**

*   Mục tiêu: Đóng gói toàn bộ hệ thống.
    
*   Lý thuyết: Ôn lại Docker Compose cho multi-service.
    
*   Thực hành: Viết `docker-compose.yml` kết hợp Airflow, MLflow, database, API.
    

**Ngày 868: Project MLOps Toàn diện - Orchestrate bằng Airflow**

*   Mục tiêu: Kết nối toàn bộ pipeline qua Airflow.
    
*   Lý thuyết: Ôn lại DAG đã xây (Ngày 849-852).
    
*   Thực hành: Hoàn thiện DAG tổng thể: ETL → Feature Engineering → Train → Evaluate → Log MLflow → Update model registry.
    

**Ngày 869: Project MLOps Toàn diện - Deploy API Dự báo**

*   Mục tiêu: Có endpoint sống phục vụ dự báo từ mô hình mới nhất trong registry.
    
*   Lý thuyết: Ôn lại FastAPI load mô hình từ MLflow Model Registry (thay vì file cố định).
    
*   Thực hành: Sửa API để tự động load phiên bản mô hình "Production" mới nhất từ MLflow.
    

**Ngày 870: Tổng kết MLOps**

*   Mục tiêu: Củng cố toàn bộ Phần A.
    
*   Lý thuyết: Ôn tập Ngày 826–869.
    
*   Thực hành: Viết tài liệu kiến trúc hệ thống MLOps hoàn chỉnh (data flow diagram + component list) làm tài liệu tham khảo cho Capstone sau này.
    

### PHẦN B: FORECAST MONITORING (Ngày 871–890)

**Ngày 871: Giới thiệu Forecast Monitoring**

*   Mục tiêu: Hiểu vì sao cần giám sát liên tục sau khi deploy.
    
*   Lý thuyết: Model performance có thể suy giảm theo thời gian dù không có lỗi kỹ thuật (data drift, concept drift - sẽ học sâu ở Phần C).
    
*   Thực hành: Thảo luận: nếu không giám sát, làm sao biết mô hình CPI đã xây bắt đầu dự báo kém đi?
    

**Ngày 872: Thiết kế Hệ thống Theo dõi Metric**

*   Mục tiêu: Lên kế hoạch cho hệ thống giám sát.
    
*   Lý thuyết: Các thành phần: log dự báo, log giá trị thực tế khi có, tính metric định kỳ.
    
*   Thực hành: Vẽ sơ đồ luồng dữ liệu cho hệ thống monitoring sẽ xây.
    

**Ngày 873: Theo dõi MAE/RMSE theo Thời gian**

*   Mục tiêu: Thực hành theo dõi metric cơ bản.
    
*   Lý thuyết: Ôn lại rolling evaluation (Giai đoạn 5), áp dụng liên tục theo thời gian thực.
    
*   Thực hành: Viết hàm tính rolling RMSE 12 tháng gần nhất, cập nhật mỗi khi có dữ liệu thực tế mới.
    

**Ngày 874: Theo dõi MAPE và Metric Tương đối**

*   Mục tiêu: Bổ sung góc nhìn tương đối bên cạnh MAE/RMSE.
    
*   Lý thuyết: Ôn lại MAPE/SMAPE (Giai đoạn 5), phù hợp để so sánh giữa các chuỗi có độ lớn khác nhau.
    
*   Thực hành: Tính rolling MAPE cho CPI và GDP, so sánh mức độ biến động.
    

**Ngày 875: Alerting khi Hiệu năng Suy giảm**

*   Mục tiêu: Thiết lập cơ chế cảnh báo tự động.
    
*   Lý thuyết: Ngưỡng cảnh báo (VD: RMSE vượt quá 1.5 lần mức trung bình lịch sử).
    
*   Thực hành: Viết hàm kiểm tra ngưỡng và gửi cảnh báo (in ra log/email giả lập) khi RMSE vượt ngưỡng.
    

**Ngày 876: Xây dựng Dashboard Giám sát Hiệu năng**

*   Mục tiêu: Trực quan hóa tình trạng mô hình theo thời gian thực.
    
*   Lý thuyết: Ôn lại Streamlit (đã dùng ở Giai đoạn 1, 6).
    
*   Thực hành: Xây dashboard hiển thị rolling RMSE/MAPE, actual vs predicted qua thời gian.
    

**Ngày 877: So sánh Hiệu năng Across Mô hình theo Thời gian**

*   Mục tiêu: Theo dõi đồng thời nhiều mô hình.
    
*   Lý thuyết: Ôn lại các mô hình đã xây (ARIMA, XGBoost, LSTM, TFT) cho cùng một biến mục tiêu.
    
*   Thực hành: Mở rộng dashboard để hiển thị hiệu năng của nhiều mô hình song song.
    

**Ngày 878: Model Champion/Challenger Framework**

*   Mục tiêu: Biết cách quản lý việc chọn mô hình chính thức đang phục vụ.
    
*   Lý thuyết: Champion (mô hình đang production) vs Challenger (mô hình mới đang thử nghiệm).
    
*   Thực hành: Thiết kế quy trình: challenger phải vượt champion trên rolling window bao nhiêu kỳ mới được thay thế.
    

**Ngày 879: A/B Testing cho Mô hình Forecasting**

*   Mục tiêu: Biết phương pháp so sánh khách quan giữa hai mô hình trong production.
    
*   Lý thuyết: A/B testing áp dụng cho forecasting (khác với A/B test sản phẩm thông thường - thường dùng song song trên các horizon/thời điểm khác nhau).
    
*   Thực hành: Thiết kế thử nghiệm A/B đơn giản: chạy song song 2 mô hình CPI, so sánh sau 6 tháng.
    

**Ngày 880: Logging Dự báo và Giá trị Thực tế**

*   Mục tiêu: Xây dựng nền tảng dữ liệu cho việc giám sát lâu dài.
    
*   Lý thuyết: Prediction log schema (ngày dự báo, model version, giá trị dự báo, giá trị thực tế khi có).
    
*   Thực hành: Thiết kế và cài đặt bảng log dự báo trong database đã có (từ Giai đoạn 7).
    

**Ngày 881: Backtesting Định kỳ**

*   Mục tiêu: Đảm bảo mô hình vẫn tốt khi đánh giá lại theo lịch.
    
*   Lý thuyết: Backtesting định kỳ (VD: hàng quý), re-run toàn bộ walk-forward validation với dữ liệu mới nhất.
    
*   Thực hành: Thiết kế quy trình backtest tự động chạy mỗi quý.
    

**Ngày 882: Project Monitoring - Xây Hệ thống Log Dự báo**

*   Mục tiêu: Bắt đầu project monitoring toàn diện.
    
*   Lý thuyết: Ôn lại schema log (Ngày 880).
    
*   Thực hành: Cài đặt hệ thống tự động log mỗi lần mô hình đưa ra dự báo.
    

**Ngày 883: Project Monitoring - Xây Dashboard Giám sát**

*   Mục tiêu: Hoàn thiện giao diện theo dõi.
    
*   Lý thuyết: Ôn lại thiết kế dashboard (Ngày 876-877).
    
*   Thực hành: Xây dashboard đầy đủ: rolling metrics, so sánh mô hình, lịch sử dự báo vs thực tế.
    

**Ngày 884: Project Monitoring - Thiết lập Alerting**

*   Mục tiêu: Hoàn thiện cơ chế cảnh báo.
    
*   Lý thuyết: Ôn lại ngưỡng cảnh báo (Ngày 875).
    
*   Thực hành: Tích hợp alerting vào hệ thống, test bằng cách giả lập một giai đoạn dự báo kém.
    

**Ngày 885: Project Monitoring - Backtesting Định kỳ Tự động**

*   Mục tiêu: Tự động hóa việc tái đánh giá.
    
*   Lý thuyết: Ôn lại thiết kế backtest (Ngày 881), tích hợp vào Airflow DAG (Phần A).
    
*   Thực hành: Thêm task backtest định kỳ vào Airflow DAG đã xây.
    

**Ngày 886: Project Monitoring - Kiểm thử Toàn bộ Hệ thống**

*   Mục tiêu: Xác nhận toàn bộ hệ thống monitoring hoạt động đúng.
    
*   Lý thuyết: Ôn lại end-to-end testing.
    
*   Thực hành: Chạy thử toàn bộ chu trình: dự báo → log → so sánh với thực tế → cập nhật dashboard → kiểm tra alert.
    

**Ngày 887: Project Monitoring - Viết Báo cáo**

*   Mục tiêu: Hoàn thiện tài liệu cho project.
    
*   Lý thuyết: Ôn lại cấu trúc báo cáo hệ thống.
    
*   Thực hành: Viết báo cáo mô tả kiến trúc và cách vận hành hệ thống monitoring đã xây.
    

**Ngày 888: Case study - Giám sát Mô hình tại Tổ chức Tài chính**

*   Mục tiêu: Học từ thực tiễn ngành.
    
*   Lý thuyết: Đọc tổng quan cách các ngân hàng/quỹ đầu tư giám sát mô hình dự báo/rủi ro của họ.
    
*   Thực hành: Tóm tắt 1 case study thực tế về model monitoring trong tài chính.
    

**Ngày 889: Ôn tập Forecast Monitoring**

*   Mục tiêu: Củng cố kiến thức Phần B.
    
*   Lý thuyết: Ôn tập Ngày 871–888.
    
*   Thực hành: Làm bộ câu hỏi ôn tập tổng hợp về monitoring, alerting, champion/challenger.
    

**Ngày 890: Tổng kết Forecast Monitoring**

*   Mục tiêu: Củng cố toàn bộ Phần B.
    
*   Lý thuyết: Tổng hợp toàn bộ hệ thống giám sát đã xây.
    
*   Thực hành: Cập nhật sơ đồ kiến trúc tổng thể (từ Ngày 870) để bao gồm cả lớp monitoring.
    

### PHẦN C: CONCEPT DRIFT (Ngày 891–915)

**Ngày 891: Giới thiệu Concept Drift**

*   Mục tiêu: Hiểu khái niệm cốt lõi của phần này.
    
*   Lý thuyết: Concept drift - mối quan hệ thống kê giữa biến đầu vào và đầu ra thay đổi theo thời gian.
    
*   Thực hành: Thảo luận ví dụ cụ thể trong kinh tế: mối quan hệ lãi suất-lạm phát có thể thay đổi qua các giai đoạn.
    

**Ngày 892: Phân loại Concept Drift**

*   Mục tiêu: Hiểu các dạng drift khác nhau.
    
*   Lý thuyết: Sudden drift (thay đổi đột ngột), gradual drift (thay đổi từ từ), recurring drift (lặp lại theo chu kỳ).
    
*   Thực hành: Phân loại các sự kiện kinh tế đã biết (COVID, khủng hoảng 2008, thay đổi chính sách) theo 3 dạng trên.
    

**Ngày 893: Regime Shift trong Kinh tế**

*   Mục tiêu: Hiểu khái niệm gần gũi trong kinh tế học.
    
*   Lý thuyết: Regime shift, giai đoạn kinh tế chuyển từ trạng thái này sang trạng thái khác (VD: từ lạm phát thấp sang lạm phát cao).
    
*   Thực hành: Xác định các regime rõ ràng trong lịch sử kinh tế Việt Nam (dựa trên dữ liệu đã có).
    

**Ngày 894: Phát hiện Regime Shift - Phương pháp Thống kê**

*   Mục tiêu: Kết nối lại với kiến thức đã học.
    
*   Lý thuyết: Ôn lại Markov-switching models (đã gợi ý bổ sung ban đầu), Chow test (Giai đoạn 2, Ngày 174).
    
*   Thực hành: Áp dụng lại Chow test để xác định điểm gãy cấu trúc trong chuỗi CPI/GDP Việt Nam.
    

**Ngày 895: Phát hiện Concept Drift - CUSUM và Page-Hinkley**

*   Mục tiêu: Biết các thuật toán phát hiện drift chuyên dụng.
    
*   Lý thuyết: CUSUM (Cumulative Sum) test, Page-Hinkley test - theo dõi tích lũy sai lệch để phát hiện thay đổi.
    
*   Thực hành: Cài đặt CUSUM test đơn giản, áp dụng cho chuỗi residual của mô hình CPI.
    

**Ngày 896: Phát hiện Concept Drift bằng ML**

*   Mục tiêu: Biết hướng tiếp cận hiện đại dựa trên giám sát residual.
    
*   Lý thuyết: Drift detection trên distribution của residuals/errors theo thời gian (ADWIN, DDM - giới thiệu khái niệm).
    
*   Thực hành: Vẽ rolling distribution của residual mô hình CPI qua các giai đoạn, quan sát thay đổi bằng mắt trước khi thử thuật toán.
    

**Ngày 897: Case study - COVID-19 như một Cú sốc Kinh tế Lớn**

*   Mục tiêu: Phân tích sâu một trường hợp sudden drift điển hình.
    
*   Lý thuyết: Ôn lại tác động COVID lên các chuỗi kinh tế đã học rải rác (Giai đoạn 1, 3).
    
*   Thực hành: Vẽ toàn bộ các chuỗi kinh tế chính (GDP, CPI, thất nghiệp, lãi suất) Việt Nam quanh giai đoạn 2020, đánh dấu điểm gãy.
    

**Ngày 898: Phân tích Tác động COVID lên Mô hình đã Xây**

*   Mục tiêu: Đánh giá cụ thể mức độ ảnh hưởng lên các mô hình trong syllabus.
    
*   Lý thuyết: Ôn lại RESET test, Chow test.
    
*   Thực hành: Chạy lại các mô hình ARIMA/VAR (Giai đoạn 3) với/không có giai đoạn COVID, so sánh hệ số và độ chính xác dự báo.
    

**Ngày 899: Case study - Khủng hoảng Tài chính 2008**

*   Mục tiêu: Phân tích một trường hợp lịch sử khác.
    
*   Lý thuyết: Ôn lại bối cảnh khủng hoảng tài chính toàn cầu 2008 và ảnh hưởng lan tỏa đến các nước mới nổi.
    
*   Thực hành: Nếu dữ liệu Việt Nam đủ dài, xác định tác động của khủng hoảng 2008 lên GDP/xuất khẩu.
    

**Ngày 900: Phân tích Tác động Khủng hoảng 2008 lên Mô hình**

*   Mục tiêu: So sánh hai loại cú sốc (2008 tài chính vs 2020 y tế) về đặc điểm drift.
    
*   Lý thuyết: Ôn lại phân loại sudden/gradual drift.
    
*   Thực hành: So sánh tốc độ phục hồi và hình dạng cú sốc giữa 2008 và 2020 trên chuỗi GDP Việt Nam.
    

**Ngày 901: Chiến lược Ứng phó - Retrain Định kỳ**

*   Mục tiêu: Biết chiến lược đơn giản nhất để đối phó drift.
    
*   Lý thuyết: Retraining định kỳ (VD: mỗi quý) để mô hình luôn cập nhật với dữ liệu mới nhất.
    
*   Thực hành: Thiết kế lịch retrain cho hệ thống forecasting đã xây, cân nhắc trade-off giữa tần suất retrain và chi phí tính toán.
    

**Ngày 902: Chiến lược Ứng phó - Rolling Window Training**

*   Mục tiêu: Biết chiến lược giới hạn dữ liệu huấn luyện.
    
*   Lý thuyết: Rolling window training, chỉ dùng N năm gần nhất thay vì toàn bộ lịch sử - giúp mô hình thích ứng nhanh hơn với regime mới.
    
*   Thực hành: So sánh hiệu năng mô hình XGBoost CPI khi train trên toàn bộ lịch sử vs chỉ 5 năm gần nhất.
    

**Ngày 903: Chiến lược Ứng phó - Adaptive Models**

*   Mục tiêu: Kết nối lại với mô hình thích ứng đã học ở Giai đoạn 4.
    
*   Lý thuyết: Ôn lại time-varying parameter models (Ngày 418), tự nhiên thích ứng với thay đổi theo thời gian.
    
*   Thực hành: So sánh khả năng thích ứng của TVP model với mô hình OLS cố định tham số quanh giai đoạn COVID.
    

**Ngày 904: Chiến lược Ứng phó - Ensemble Model Mới/Cũ**

*   Mục tiêu: Biết chiến lược kết hợp để giảm rủi ro khi retrain.
    
*   Lý thuyết: Kết hợp dự báo từ mô hình cũ (ổn định) và mô hình mới (thích ứng nhanh) bằng weighted combination (Giai đoạn 6).
    
*   Thực hành: Thiết kế combination động: tăng trọng số mô hình mới khi phát hiện drift, giảm khi ổn định.
    

**Ngày 905: Xây dựng Cơ chế Tự động Phát hiện Drift**

*   Mục tiêu: Đóng gói kỹ thuật phát hiện thành hệ thống tự động.
    
*   Lý thuyết: Ôn lại CUSUM/Page-Hinkley (Ngày 895).
    
*   Thực hành: Viết class Python `DriftDetector` chạy kiểm tra CUSUM trên residual stream liên tục.
    

**Ngày 906: Xây dựng Cơ chế Tự động Retrain**

*   Mục tiêu: Kết nối phát hiện drift với hành động retrain.
    
*   Lý thuyết: Trigger-based retraining, khi `DriftDetector` báo drift thì kích hoạt retrain trong Airflow.
    
*   Thực hành: Thêm task điều kiện vào Airflow DAG: chỉ retrain khi `DriftDetector` phát hiện drift (thay vì retrain theo lịch cố định).
    

**Ngày 907: Project Concept Drift - Mô phỏng Regime Shift**

*   Mục tiêu: Kiểm thử toàn bộ hệ thống trên dữ liệu có drift thực tế.
    
*   Lý thuyết: Ôn lại giai đoạn COVID đã phân tích (Ngày 897-898).
    
*   Thực hành: Chuẩn bị dữ liệu CPI/GDP Việt Nam trải dài qua giai đoạn COVID để test hệ thống.
    

**Ngày 908: Project Concept Drift - Áp dụng Phương pháp Phát hiện**

*   Mục tiêu: Xác nhận `DriftDetector` hoạt động đúng trên trường hợp thực tế đã biết.
    
*   Lý thuyết: Ôn lại CUSUM.
    
*   Thực hành: Chạy `DriftDetector` trên residual mô hình CPI quanh giai đoạn COVID, kiểm tra có phát hiện đúng thời điểm không.
    

**Ngày 909: Project Concept Drift - Xây Cơ chế Retrain Tự động**

*   Mục tiêu: Hoàn thiện vòng lặp phát hiện-phản ứng.
    
*   Lý thuyết: Ôn lại trigger-based retraining (Ngày 906).
    
*   Thực hành: Cài đặt và test cơ chế tự động retrain khi `DriftDetector` kích hoạt.
    

**Ngày 910: Project Concept Drift - Đánh giá Hiệu quả Ứng phó**

*   Mục tiêu: Định lượng lợi ích của hệ thống thích ứng.
    
*   Lý thuyết: Ôn lại các metric đánh giá (RMSE).
    
*   Thực hành: So sánh RMSE dự báo quanh giai đoạn COVID giữa mô hình tĩnh (không retrain) và mô hình có cơ chế drift detection + retrain.
    

**Ngày 911: Project Concept Drift - Viết Báo cáo**

*   Mục tiêu: Hoàn thiện tài liệu cho project.
    
*   Lý thuyết: Ôn lại cấu trúc báo cáo.
    
*   Thực hành: Viết báo cáo mô tả toàn bộ hệ thống phát hiện và ứng phó concept drift, kèm kết quả định lượng.
    

**Ngày 912: Giới hạn của Mô hình trước Sự kiện Chưa từng có**

*   Mục tiêu: Có góc nhìn thực dụng và khiêm tốn về khả năng của mọi mô hình đã học.
    
*   Lý thuyết: "Unknown unknowns" - không mô hình nào (kể cả có drift detection) dự báo được sự kiện hoàn toàn mới chưa từng xảy ra trong lịch sử.
    
*   Thực hành: Viết bài luận ngắn thảo luận vai trò của judgment con người và scenario analysis (sẽ gặp lại ở Capstone 3) bên cạnh mô hình định lượng.
    

**Ngày 913: Đọc Paper về Concept Drift trong Economic Forecasting**

*   Mục tiêu: Cập nhật nghiên cứu mới nhất.
    
*   Lý thuyết: Tìm và đọc 1 paper về concept drift/structural break trong dự báo kinh tế.
    
*   Thực hành: Tóm tắt phương pháp và bài học áp dụng được.
    

**Ngày 914: Ôn tập Concept Drift**

*   Mục tiêu: Củng cố kiến thức Phần C trước khi tổng kết Giai đoạn 8.
    
*   Lý thuyết: Ôn tập Ngày 891–913.
    
*   Thực hành: Làm bộ câu hỏi ôn tập tổng hợp về phát hiện và ứng phó concept drift.
    

**Ngày 915: Tổng kết Giai đoạn 8 - Production Forecasting**

*   Mục tiêu: Củng cố toàn diện trước khi bước vào các Capstone cuối cùng.
    
*   Lý thuyết: Ôn tập tổng hợp cả 3 phần: MLOps, Forecast Monitoring, Concept Drift.
    
*   Thực hành: Hoàn thiện sơ đồ kiến trúc hệ thống production forecasting đầy đủ (Data → ETL → Model → Deploy → Monitor → Drift Detection → Retrain), sẵn sàng làm nền tảng trực tiếp cho Capstone 1, 2, 3.