技術指導/評估
< 技術指導
- 為了實施徹底的評估，有必要讓所有利益相關者參與到評估過程中。除了讓學生、家長和教師參與評估的資訊收集階段外，還應組建一個委員會，儘可能多地包含參與者。委員會的配置將因學區而異，並將反映該學區的目標和優先事項。
- 這些可能包括以下內容
- 管理人員 - 校長、系主任、財務辦公室人員
- 技術人員 - 網路工程師、教學技術人員
- 教師 - 來自各個部門
- 學生
- 家長
- 學校董事會成員
- 社群成員
- 一旦委員會成員選定，重要的是要培訓他們評估流程的運作方式。
- 培訓專案的介紹
- 流程的目標和里程碑
- 分配的初始責任
- 完成的時間表和基準
根據學區不同，評估的目標可能會有所不同。大多數評估流程是為了檢查現有專案的狀況。
可能的目標
- 年度技術評估
- 評估試點專案
- 評估專案的一部分，例如教師培訓或硬體實施
- 贈款專案的階段性評估
在初始培訓後，委員會將召開會議以制定關鍵評估問題，併為這些問題建立指標和評分標準。在許多情況下，為了處理個別問題，更容易分成更小的子委員會。
- 評估可能有很多原因，評估過程的開始將涉及確定評估的範圍。年度技術評估、專業發展專案、筆記型電腦計劃實施以及增量贈款評估是您可能要評估的一些專案示例。
- 一些需要詢問的關鍵問題可能是
- 我們到目前為止做了什麼？
- 我們完成了該任務嗎？
- 我們現在身處何處？
- 哪些方面運作良好？
- 哪些方面需要改進？
- 我們未來需要做些什麼？
- 我們需要調整我們的時間表嗎？
- 是否有我們需要完成的任務？
- 檢視您學區的技術計劃、專業發展或筆記型電腦計劃的實施計劃，並檢查贈款指南，這將有助於您建立檢查進度的指標。根據評估，您應該為每個專案制定時間表和進度基準。
- 指標
- 是或否問題
- 詳細敘述
- 清單
- 評分標準
- 可以組建小組委員會來制定關鍵評估問題並建立指標。
評分標準是一種收集評估資訊的有用圖形方法。評分標準中可以包含許多資訊的組合，具體取決於您的機構的目標以及您要評估的內容。
- 評分標準的一些可能用途
- 在培訓課程開始時，評估參與者的技能或舒適程度。
- 在課程結束時重新評分以評估課程的有效性
- 在學年結束時檢查教師的年度進步
- 逐年用於教師評估或作為技術專案評估的資料
- 問題編輯對於微調評估很重要。在編輯問題時，務必儘可能具體和簡潔。您需要儘可能準確的資訊，因此您需要使評分標準易於理解和填寫。包含短語的評分標準比包含完整句子的評分標準更容易閱讀。
- 在評分標準表格中包含一個區域供參與者寫下評論非常有用。您還可以有一個部分供您在採訪參與者後寫下評論。
- 網格形式的評分標準易於完成。
- 最左邊的列將包含您要衡量的資訊點。
- 右邊的列將包含理解或完成的程度。
- 底部應該有一條評分線，便於收集資料。
- 這是一個簡單的評分標準示例。
| 類別 | 初學者 | 中級 | 專家 |
|---|---|---|---|
| 基本計算機操作 | 我不使用電腦 | 我有時可以使用電腦。 | 我一直使用電腦 |
| 檔案管理 | 我不儲存任何文件。 | 我儲存一些文件。 | 我儲存所有檔案。 |
| 總數 |
重要的是要擁有資料來表明如何利用技術來增強教學和學習。在評估過程中，資料收集基於之前制定的指標評分標準。主要目的是收集詳細的資訊以回答問題並衡量委員會建立的評分標準中的表現。有各種工具可用於技術評估資料收集，例如
- 調查
- 焦點小組訪談
- 觀察
- 審查教師/學生作品
- 調查是收集使用者意見最常用的工具。可以為教師、管理人員、學生和/或社群成員設計獨特的調查。調查格式可以是線上的或紙質的。線上調查通常比紙質調查更具優勢。它們可以生成即時結果，這些結果可以線上檢視或以各種檔案格式下載以供以後分析。線上調查可以成為從大量教師那裡收集資料的有效方式，尤其是在學區擁有完善的網路的情況下。如果學區沒有自己的網路，市場上也有一些免費或低成本的線上調查工具（例如Zoomerang）。在進行調查時，無論是線上還是紙質，重要的是要為受訪者設定一個共同的時間來完成調查。在教職工會議開始或結束時預留 10 分鐘是完成調查的好方法。如果紙質調查以“退回校長辦公室”的便條形式分發到教師郵箱中，它可能會產生低響應率。
- 這裡有一個教師調查樣本，它調查了教師的技術熟練程度、學校中特定技術的應用以及教師對技術對教學和學習影響的看法。
- 有意義的評估將包含來自多個不同來源的資料。除了調查外，焦點小組是使用最廣泛且最有價值的資料收集方法之一。與調查一樣，我們可以透過安排更多或更少的焦點小組來收集更多或更少的資料。它們可以是教師、管理人員和技術人員。
- 這裡有一個教師焦點小組訪談樣本，它建議訪談過程以及側重於學生獲取和使用、教師熟練程度、教師願景和策略以及教師獲取和專業發展的問題。這些訪談問題的措辭可以針對管理人員或技術人員焦點小組進行修改。
- 有時，收集有關人們行為的資訊的最佳方式是觀察他們。[2] 觀察是一種在不打擾提供資訊的人的情況下收集資料的方式。建築物和課堂觀察是第三種也是最詳細的資料收集方式。大多數評估人員在全區的學校和教室中花費時間。目標不僅是觀察教師和學生使用技術，還要觀察教室設定、教學風格和學生行為。然後利用收集的資訊來確定技術如何影響教學和學習。
- 應該制定一項教師和學生技術作品的評估方案。該評估應側重於考察不同年級和科目領域的學生如何利用技術來豐富學科學習，以及教師如何利用技術來建立和增強他們的教學材料/環境。評估委員會和學校管理人員應為該評估開發準確的學生作品樣本。
- Kathy Shrock 的教育者指南 - 評估和評分標準資訊 包含大量科目特定的和通用的評分標準，用於審查和評估教師/學生作品。
- 也可以使用其他資料收集方法。例如，收集現有的學校記錄（出勤率、成績、考試成績）並舉行公開會議，討論與技術實施相關的社群目標和擔憂。
***請記住，收集的資料可能是在個人層面上的，絕不應報告。我們的任務是衡量整個學區（學校）在實現其目標方面的進展，而不是評估個人成就。如果個人評估很重要，應該進行單獨的評估來達到這個目的。
資料應以易於進行各種統計分析的形式進行彙總。它也應該方便評估人員以外的人閱讀。視覺輔助總是理想的。以下是一些常用的資料分析格式型別。
- 報告必須首先清楚地總結資料得出的結論，以及分數是如何推匯出來的。例如，如果您的學校開展了試點專案，以評估為整個班級提供筆記型電腦用於課程作業是否會提高學習成績，那麼就必須衡量什麼是可接受的提高或改變因素。不能僅僅憑直覺或感知到的學習成績提高來判斷。它也不能僅僅是技術總監提供軼事證據。如果無法衡量，它就不算數。
- 因此，一旦瞭解了評分體系，以及為什麼例如它們的權重會有所不同，那麼對於該試點專案要被視為成功，哪些結果是重要的就變得清晰了。變得更加熟悉電腦可能是一種結果，但是如果因為其不重要而沒有分配任何分數，那麼對於技術總監來說，它就無關緊要。這將是詳細說明試點專案為何以特定方式構建的部分。同樣地，班級 SAT 數學成績提高 10% 可能是非常理想的結果，可能會被分配高於平均水平的分數，並且是可以衡量的。這將在依據部分解釋，並將成為推動在試點專案數量之外購買更多筆記型電腦的結果。
- 實際發現需要在詳細說明部分解釋，從某種意義上說，我們收集的資料實際上意味著什麼。這可能是分數的總範圍——高、低、中位數等——以及它們的來源。強烈建議您使用易於理解的條形圖呈現一些關鍵資料，或在前後圖中表達趨勢。請記住，如果普通民眾無法理解關鍵含義或結果，那麼資料將毫無用處。保持簡單，讓它簡單。避免依賴大量統計術語（如標準差或卡方因子）的令人印象深刻的解釋，因為受眾不太可能是以研究為導向或學術性的群體。最終結果應該是使複雜的事情易於理解，而不是反過來。
- 報告中只能包含那些可以追溯到資料本身的推薦，以及發現告訴我們什麼。再次強調，直覺或感知到的發現不能成為推薦的一部分。如果資料不支援結論，那麼它就不能被包括在內。透過這種方式，報告的內容基於科學過程，而不是隨意引入，並且必須有充分的文件。
- 除了發現之外，最終報告還應該提供一個路徑，說明該地區如何調整或改變現有做法，以在接下來的幾年中實現更高的績效水平。例如，如果某個特定試點專案在使用 1 年後顯示出明顯的收益，那麼應該有一個建議詳細說明，如果重複使用這種方法，預計在幾年內會獲得怎樣的收益。將筆記型電腦引入四年級學生以提交作業，可能會在接下來的十年中重複應用於每個四年級班級，以實現特定的目標。同樣地，在每個七年級班級中使用黑莓手機可能沒有顯示出任何收益，並且報告應該建議停止這種做法，即使黑莓手機是免費的。
- 所有建議都必須與發現相關，並且不能與地區的預期結果相沖突。這些將記錄在早期的指標量表中。
- 在釋出最終報告之前，必須與地區評估委員會和主管管理員一起審查發現和邏輯建議。沒有人喜歡驚喜。這也是確保報告不會出現任何錯誤（例如錯誤引用的標題、建築物、拼寫錯誤等）的一個好步驟，這些錯誤會損害發現的信譽。此外，如果報告要反映對個人的負面評價，最好確保允許使用這種語言。否則，可能會對報告進行全面攻擊，並且建議將不受歡迎。關鍵人員將有機會修改、編輯、弱化語言、更改形容詞或提出更多資訊。收到這些意見後，最終報告就準備好了。您還將獲得關鍵人員的認可，並且知道他們以後看到的內容不會讓他們感到意外。
- 在以書面形式向所有其他方釋出報告之前，提前 24 小時向關鍵人員提供報告的書面副本。在報告中註明將進行演示（由您，技術總監）以及演示的日期、時間和地點。屆時歡迎提出問題，並且通常您應該至少給每個人 5 個工作日的時間消化書面報告。*穿著漂亮的西裝，吃一頓豐盛的早餐，因為您需要這兩樣。*
- 報告的呈現是形成性評估工作中最關鍵的階段，因為它建立了反思的共同知識基礎。如果你在任何方面表現出傲慢或責備，即使是很小的程度，也會損害資訊，阻礙積極的改變。在做演示的時候，把自己看成一個“值得信賴的顧問”，在腦海中把自己想象成這個地區的團隊成員，而不是局外人，更糟糕的是，一個受僱的變革推動者。使用“我們發現”之類的短語，而不是“我發現”，在你談論調查結果時，要對房間裡每個人的自尊心保持敏感，以中立的語氣——這些都是事實。外交地說明，任何從未與它評估的社群分享的評估都不會帶來反思。沒有反思，就意味著沒有積極的改變。在 PowerPoint 簡報中使用專業的字型和故事板主題，表達你想表達的 3-5 個關鍵點，幷包括一個總結這些點的最終摘要幻燈片。不要包含動畫（移動的卡通）、俏皮的笑話或任何其他輕鬆幽默來淡化主題。對於基於科學資料和報告的內容，這些內容通常會適得其反，而且可能是不合時宜的，無論你認為它們多麼獨具匠心。在演示 PowerPoint 幻燈片時保持專業（如果可能的話站立），並請同事幫助你推進每張幻燈片（準備好了就說“下一張幻燈片”）。在實際的房間裡進行彩排，載入筆記型電腦、投影儀，並計時練習。確保你有足夠的時間充分闡述每個要點，也要留出足夠的時間回答問題。練習，練習，再練習。
- 在 PowerPoint 簡報結束時，應該讓每個人都清楚地瞭解這項工作產生的關鍵流程、發現和建議，並在最後一張摘要幻燈片展示後再次口頭強調這些內容。如果該地區有一個執行良好的網站，你也可以說明簡報將存檔在那裡，前提是負責管理的管理員事先同意你這麼說。你應該事先詢問，事實上要確定，是否有任何外部報紙或媒體人士在場，但即使他們不在場，也要記住你可能會被引用。你的報告中的摘錄“可能”會成為當地報紙文章的一部分，所以在你演示 PowerPoint 的過程中以及回答任何問題時都要小心你的言論。不要脫口而出，或在事先沒有思考的情況下發表任何意見。你在那裡是為了傳達報告的調查結果，而不是引發任何爭議，所以堅持主題。
最後，感謝大家抽出時間閱讀書面報告。
- ↑ http://www.ed.gov/pubs/EdTechGuide/appc-6.html 教育工作者評估學校和課堂中技術使用指南
- ↑ 評估指南 - 學校和課堂中技術的使用，美國教育部，1998 年。