1120110南崗科技中心九年級資訊科技-研習紀錄3

 資料處理概念與方法(1)-資料整理與整合

巨量資料.大數據(Big Data)

特性

大數據在各領域之應用

實作1-資料(數據)視覺化

空氣品質開放資料偵測源-空氣盒子(訊舟科技)

https://airbox.edimaxcloud.com/

g0v 零時空汙觀測專案專案小組

https://list.airmap.g0v.tw/

LASS開源公益環境感測網路 Location Aware Sensing System

https://pm25.lass-net.org/

紫豹

https://purbao.lass-net.org/

用數據看台灣

https://www.taiwanstat.com/realtime/

資料科學

監控資本主義時代下的資料科學、AI 與你我的數位未來

資料科學的步驟

「取得資料」→「資料前處理」→「資料轉換」→「資料分析」→「資料解釋」→『發現知識」

(5)會考後填志願的優先評估指標(20220610-2*)

• 升學率(高中升大學.高職升科大)
• 交通(捷運公車火車走路住宿)
• 特色(名氣.課程.校風.校服.....)
• 家人及自己的期待
  

實作2-北北基高中職升學資訊系統

1.學校地圖資訊系統

https://www.google.com/maps/d/u/0/viewer?mid=1zO8jluFMVQT75EHN1ulEwsNCYhI&ll=25.06413372820736%2C121.59847450000005&z=11

取得資料(蒐集資料)

• 問卷
• 內部累積
• 開放資料

隨著開放資料的議題興起，現在也有越來越多的官方或非官方組織將其資料公開讓大家使用。

實作4-開放資料收集與讀取

政府資料開放平台

https://data.gov.tw/

國中教育會考各科試題通過率

複習:資料儲存方式

範例

(1)資料表

(2)CSV(Comma-Separated Values，CSV，逗號分隔值，有時也稱為字元分隔值)

(3)JSON（JavaScript Object Notation）是一種開放的標准文件格式和資料交換格式

資料引用:108課綱高中資科科友出版社

資料前處理(以食譜為例)

A.Data (資料)

B.Data Cleaning(資料清理) 

C.Text and Categorical attributes(文本及分類屬性)

D.Feature Scaling(特徵縮放.等比例縮放)

E.Transformation pipelines(資料轉換管道)

實作1-認識JSON資料格式及轉換

1.範例

行政院環境保護署/ 空氣品質指標(AQI)

https://data.epa.gov.tw/api/v2/aqx_p_432?api_key=e8dd42e6-9b8b-43f8-991e-b3dee723a52d&limit=1000&sort=ImportDate desc&format=json

行政院環境保護署/ 紫外線

https://data.epa.gov.tw/api/v2/uv_s_01?offset=0&limit=33&api_key=da156bd2-ff2b-478e-a03b-5c3c0205c184

2.轉換

PM2.5 開放資料入口網站/ EDIMAX AirBox 空氣盒子

https://pm25.lass-net.org/data/last-all-airbox.json

線上轉換工具

https://coding.tools/tw/json-formatter

實作3-物聯網資料處理(以Scratch擴充積木OSEP開源工具)

程式下載

OSEP官網

測試版

https://estea8968.github.io/osep_web_serial/app/

\九年級資科教材資源01\資料處理概念與方法\資料處理實作-Scratch擴充積木OSEP

資料處理工具：試算表、積木程式