每課均根據完整約 2.5 小時課堂逐字稿整理,展示實際摘要、時間章節及測驗題目。
本課由本機 Jupyter Notebook 環境開始,重溫如何進入工作資料夾及啟動 Notebook,並比較本機環境與 Colab。課堂以 Pandas 為核心,示範建立 DataFrame、處理欄位長度、用 loc/iloc 及 slicing 選取列與欄、從 Excel 讀取資料、安裝 openpyxl、運用 apply 轉換文字、把結果匯出至 Excel、以 sort_values 排序,以及用 merge 和不同 join 方法合併資料表。後半課堂集中於 Matplotlib,實作折線圖、標記與線條格式、直向及橫向棒形圖、圓形圖與 explode、Figure/Axes 和 subplot、多圖配置、散點圖、直方圖、箱形圖及離群值,亦示範以 Pandas 的 plot 功能快速繪圖。最後轉到 openpyxl 的 Workbook、Worksheet、儲存格讀寫與迴圈,利用單層及雙層迴圈逐列、逐格及逐欄處理 Excel,並鋪排以 Python 讀取資料夾內多張 invoice、逐一開啟工作表及整合資料的自動化工作流程。
重溫在 Command Prompt 進入指定資料夾、啟動 Notebook,並比較本機環境與 Colab。
認識 DataFrame 的基本結構,利用資料集建立表格並處理欄位長度一致的要求。
按索引位置或標籤抽取指定列、欄及儲存格,並運用 slicing 取得資料範圍。
處理 Excel 讀取時的相依套件問題,使用 pip 安裝 openpyxl 並載入試算表資料。
以 apply 套用文字轉換功能,並把處理後的 DataFrame 儲存為新的 Excel 檔案。
按年齡、班別等欄位排序,並調整欄位先後次序及升降冪方向。
用 pd.merge 合併兩個 DataFrame,理解預設 Inner Join 及保留未配對記錄的做法。
以 x、y 數列繪製折線,加入 marker、大小、顏色、線寬及線條樣式。
建立圓形圖,使用 explode 突出個別扇形並調整圖表的開始角度。
理解 Figure 容器和 Axes 繪圖區域,並用 subplot 將多個圖表整齊排列。
以 scatter plot 觀察兩組數值的分布關係,並用隨機數產生示例資料。
利用 histogram 的 bins 劃分數值區間,再由箱形圖理解四分位數和離群值。
搜尋及運用 DataFrame 的 plot 功能,快速由表格資料建立棒形圖、圓形圖等視覺。
利用 rows、columns 及 double loop 逐列逐格讀取工作表內容。
規劃讀取資料夾內每個 Excel 檔案、逐張工作表抽取資料並合併成一個檔案。
本課以一個完整的 Excel invoice 自動整合作業開始,重溫 Matplotlib、Pandas 及 openpyxl 的分工,然後用 pathlib 指定資料夾及逐一列出檔案。學員利用 openpyxl 開啟每個 workbook 和 worksheet,以儲存格地址及 value 取得 invoice 編號、日期、客戶、產品、數量和價錢等資料,再建立多層迴圈,逐個檔案、逐張工作表及逐列處理明細,把資料追加到新的工作簿,處理列號、工作表轉換、除錯、動態欄位及輸出檔名,最後儲存合併結果。後半課堂把 Python 引入 Power BI:由 Get Data、Power Query、Close & Apply 和 Model View 關係開始,示範在 Power BI 執行 Python script、處理檔案路徑及建立 Python 視覺,再在 Transform Data 中利用 Python 修改資料。實務例子包括以 regular expression 驗證電郵地址、建立布林 mask 篩選有效記錄,以及用 re.sub 和自訂函數遮蓋電話號碼與 Social Security Number,再把函數 apply 到 DataFrame 欄位。最後將已測試的程式放回 Power BI,選擇輸出 table、偵測資料類型並 Close & Apply,完成兼顧資料質素與私隱的轉換流程。
重溫 Matplotlib、Pandas 和 openpyxl 的用途,介紹把多張 invoice 自動合併的課堂專案。
確認 invoice 編號、日期、客戶、產品、數量及價錢等欄位,逐步設計整合後的資料結構。
以 Path 物件和目錄迭代功能逐一取得資料夾內的 Excel 檔案。
用 openpyxl 開啟工作簿,取得指定工作表及 G2 等儲存格的 value。
以迴圈逐行擷取產品、數量、單價等內容,並處理空白儲存格的判斷。
把抽取的欄位寫入新工作表,整理變數與列位置後儲存輸出檔案。
檢查每張 invoice 的輸出行數,利用列印結果追蹤 file、worksheet 及 row 迴圈。
運用移動中的 row number 把 invoice 編號及各欄位寫到正確位置。
處理日期字串和輸出檔名,儲存完成整合的 Excel workbook。
由 Power Query Close & Apply 返回 Desktop,並在 Model View 檢查 Customer 與 Sales 等表的關係。
示範在 Power BI 使用 Python script 時處理工作目錄及完整檔案路徑。
在 Transform Data 中加入 Python 程式,對載入資料進行欄位計算及轉換。
建立電郵格式 pattern,以字串 match 產生布林 mask,篩選出符合格式的記錄。
用兩個 pattern 依次遮蓋電話號碼及 Social Security Number,再把函數 apply 到 comments 欄位。
檢查轉換後的欄位類型,修正日期等資料型態後儲存並完成 Close & Apply。
試學影片用作示範學習體驗,內容未必與本課程相同
Copyright © 2025 Unisoft Education Centre. All Rights Reserved