ETD 指南/大學/評估和測量流程
指南的這一章旨在為那些負責實施機構或部門 ETD 專案的人提供幫助。建立成功的評估和測量需要規劃、制定目標和指標、選擇測量型別以及決定要收集的資料型別。
一些校園會成立一個 ETD 委員會或團隊，由研究生院、教職工、圖書館、計算中心以及校園內其他相關部門的代表組成。作為制定 ETD 專案發展整體計劃的一部分，委員會應明確其對專案評估和測量的目標，並建立相關資料收集機制。資料收集可以透過網頁統計軟體包、學生調查或訪談等方式進行，具體取決於哪種資訊型別符合評估目標。
大學的多個部門，包括學術系、研究生院、資訊科技服務和圖書館，都參與了 ETD 專案。在制定評估計劃時，思考收斂性是有幫助的。是否有一些對幾個相關部門都很有用的資訊？這將提高評估的價值，並可能實現聯合資助和實施，從而分攤成本和工作量。
在規劃過程中，ETD 委員會可能關注各種問題，包括
- ETD 專案對機構聲譽的影響；
- ETD 專案在幫助機構建立數字圖書館方面的程度；以及
- 參與 ETD 專案的學生和導師的益處和擔憂。
一旦確定了評估和測量活動的重點，ETD 委員會應將開發和實施責任分配給另一個團隊。該團隊應包括來自機構內部部門的評估和測量專家，例如機構規劃辦公室、調查研究機構或教學評估辦公室。
評估的必要前提是對 ETD 專案目標的清晰理解。每個機構的評估計劃應與機構 ETD 專案的目標和指標相一致，這些目標和指標的範圍可能比簡單地製作電子內容更廣。
如果一個 ETD 專案沒有明確定義的目標，NDLTD 網站 是一個極佳的資源。該網站包括 NDLTD 的目標，可以根據當地需求進行調整。這些目標包括
- 改進研究生教育
- 提高學生研究成果的可用性
- 降低論文和學位論文提交和處理的成本
- 賦能學生
- 賦能大學
- 推動數字圖書館技術發展
在每個廣泛領域，都可以開發多種測量型別，以幫助評估 ETD 專案是否取得成功。
機構在 ETD 專案中可以衡量的內容有很多選擇。在將評估目標與機構目標對齊後，評估計劃必須描述為專案各個方面需要哪些型別的測量。麥克盧爾描述了多種測量類別，包括側重於廣泛性、效率、有效性、服務質量、影響和用處的測量類別。（Charles R. McClure 和 Cynthia L. Lopata，《評估學術網路環境》，1996 年，第 6 頁）
廣泛性測量收集有關以下問題的資料：大學中多少個系要求提交 ETD，或者每年提交多少份 ETD。這種型別的資料適用於比較，既可以作為單個機構的趨勢資料，也可以與同行機構進行比較。
效率測量收集資料以比較 ETD 的生命週期成本與印刷論文和學位論文的成本。例如，弗吉尼亞理工大學在其 電子論文和學位論文計劃 網站上包含了這樣的比較。
有效性測量檢查專案目標實現的程度。例如，如果機構 ETD 專案的目標是賦予學生使用多媒體和超媒體傳達更豐富的資訊的能力，則可以收集資料來顯示每年使用這些技術的 ETD 的比例和數量。如果專案的目的是提高學生對電子出版問題的理解，則機構可以在學生製作 ETD 前後衡量他們對這些問題的理解程度。
服務質量測量檢查學生是否獲得了所需的培訓和後續幫助。
通常，關於如何評估電子資訊資源的討論僅限於定義如何計算搜尋次數、下載次數和點選次數等內容。這些測量當然有用，但它們對電子資訊資源的整體價值提供了有限的瞭解。
許多重要問題無法透過有關搜尋次數、下載次數和點選次數的統計資料來回答：由於線上資訊資源的可用性，使用者是否可以訪問比過去更多資訊？電子資訊資源的可用性是否提高了個人效率和研究質量？是否節省了他們的時間？
評估資料收集應旨在回答其中一些問題，解決嵌入在 ETD 專案中的教育目標，並衡量這些目標是否已實現。
資料收集的決定還應參考機構的使命和目標。例如，如果機構對提高國內外知名度感興趣，那麼按國家和機構 IP 地址統計 ETD 下載次數將是有用的。按國家和使用量分析誰正在使用機構的 ETD 也是衡量影響力的寶貴指標。隨著推薦系統的不斷發展，該領域的重要性可能會提高。
關於使用者，有許多與評估相關的問題。其中包括
- 學生是否正在實現 ETD 專案的目標？
- 學生是否在適當且有效地使用 Acrobat 等工具？
- 學生作品的可用性是否有所提高？
- 學生是否對出版問題，例如智慧財產權問題，有了更深入的瞭解？
此外，資料收集計劃可以解決與學生滿意度相關的許多問題。這些可能包括
- 學生是否對他們所接受的幫助他們製作 ETD 的培訓或指導感到滿意？
- 他們的論文在網上釋出是否幫助他們找到了工作？
- 他們在目前的工作中是否正在使用他們學習的技術和電子創作技能？
學生作品的可用性可能是一個因素，它可以幫助僱主瞭解他們的研究領域和輸出質量。可用性也可能促使僱主與學生聯絡，以便為需要特定技能的職位招聘。學生可能會發現，準備 ETD 所需要的技能以及與 ETD 相關的各種問題，例如智慧財產權問題，在畢業後的工作中會很有用。
ETD 專案對學生、教職工和其他人的有用性可能是重要的衡量因素，以便收集可以傳達給行政人員和資助機構的資料。這些資料最好在 ETD 完成後 6 個月到 1 年內收集。
最後，全球教師和學生能夠輕鬆地檢視特定院系的學位論文和畢業論文產出，這可能會為研究生院的排名和評分提供一個新的維度。監測實施電子論文專案之前和之後幾年的全國排名可能會有用，儘管這可能只是排名或評分變化中的一個因素。