在线看成人I 亚州精品视频I www.日日日.comI 色中射I 久久久久99精品国产片I 高清精品在线I 2021国产在线

公衛體檢系統的數據質量直接影響分析結果的可靠性，而數據清洗與去噪是剔除 “臟數據” 的關鍵步驟。以下是一套簡潔易懂的操作流程，幫助系統高效凈化數據：

一、明確清洗目標：先定標準，再動手

數據清洗不是 “一刀切”，需先根據業務需求設定清洗規則：

基礎規則：如年齡需＞0 歲且＜150 歲，血壓收縮壓需在 90-180mmHg 之間，超出范圍直接標記為 “待處理”。

業務定制規則：例如糖尿病分析中，空腹血糖＞11.1mmol/L 且糖化血紅蛋白＞6.5% 才判定為 “疑似糖尿病”，單一指標異常需復核。

關鍵邏輯：先通過規則過濾 “明顯錯誤”，再處理 “模糊異常”，避免過度清洗導致數據失真。

二、六步清洗法：從粗到細，層層過濾

1. 缺失值處理：補漏或舍棄

小范圍缺失：

數值型數據：用均值 / 中位數填充；

分類數據：用眾數填充。

大范圍缺失：直接剔除該字段或樣本。

2. 異常值識別：用醫學邏輯 “抓 outliers”

統計法：

繪制箱線圖，剔除超出 Q3+1.5IQR 或 Q1-1.5IQR 范圍的數據；

計算Z-score，絕對值＞3 的標記為異常。

醫學常識法：

直接排除矛盾數據：如 “年齡 18 歲，診斷為前列腺癌”；

核查邏輯沖突：如 “身高 170cm，體重 50kg，BMI=17.3，但標注‘肥胖’”。

3. 重復值處理：去重留一

按唯一標識字段篩選重復記錄，保留最新或完整度最高的一條。

4. 數據一致性校準：統一 “語言”

單位統一：如血壓單位有的用 “mmHg” 有的用 “kPa”，需全部轉換為 mmHg（1kPa≈7.5mmHg）；

分類統一：如 “吸煙史” 字段存在 “是 / 否 / 偶爾 / 經常”，需映射為 “吸煙（是 / 否）”，“偶爾 / 經常” 歸為 “是”。

5. 邏輯校驗：用規則鏈排除隱性錯誤

建立多層規則校驗：

第一層：基礎格式校驗；

第二層：指標關聯校驗；

第三層：跨表校驗。

6. 人工復核：機器之外的 “最后防線”

對機器標記的異常數據，由公衛人員人工核查原始表單：

例：某條記錄 “年齡 25 歲，血壓 220/110mmHg”，機器標記為異常，人工核對紙質表發現實為 “120/80mmHg”，系錄入時誤觸鍵盤。

三、清洗效果評估：用指標檢驗成果

清洗后需驗證數據質量是否提升，核心指標：

缺失率：目標＜3%；

異常值占比：目標＜1%；

邏輯沖突率：目標＜0.3%。

四、自動化與標準化：讓清洗可持續

建立清洗模板：將常用規則固化為系統默認規則，新數據導入時自動觸發清洗流程；

記錄清洗日志：詳細記錄每條數據的清洗操作，便于追溯和審計；

定期更新規則：根據醫學指南變化，及時調整清洗規則，避免 “刻舟求劍”。