資料壓縮/參考資料

基準檔案

• 坎特伯雷語料庫 (1997) 是用於比較壓縮方法的主要基準。在這 11 個檔案中，最大的檔案大約為 1 MB。該網頁還連結到一些其他測試檔案，這些檔案對於除錯壓縮演算法中的常見錯誤很有用。
• 西里西亞語料庫 (2003) 包含檔案大小在 6 MB 到 51 MB 之間。這 12 個檔案包括兩張醫學影像、SAO 星星目錄、一些可執行檔案等等。
• Matt Mahoney 釋出了一個大型基準文字檔案，用於 "大型文字壓縮基準"
  • 大型文字壓縮基準 是一個名為 "enwik9" (1,000,000,000 位元組) 的檔案，它是 2006 年 3 月 3 日英語維基百科轉儲的前 10^9 位元組。
  • 赫特獎 涉及壓縮一個名為 "enwik8" (100,000,000) 的檔案，它是 enwik9 的前 10^8 位元組，最終來自維基百科。
• 一個由 Andrew Tridgell 維護的 大型檔案文字壓縮語料庫 面向相對較大、高度冗餘的檔案。它包含 5 個檔案，大小在 27 MB 到 85 MB 之間（未壓縮），主要是英語文字以及 Lisp、彙編和 C 原始碼。它有助於測試（實現）旨在檢測和壓縮極長距離冗餘的壓縮演算法，例如 lzip[2] 和 rzip[3].
• "卡爾加里語料庫"[4][5] 是一個包含 14 個檔案的系列，其中大多數是 ASCII 文字，並且是卡特伯里語料庫之前用於比較無失真壓縮器的實際標準。
  • "卡爾加里語料庫壓縮和 SHA-1 破解挑戰" (以前稱為 "卡爾加里語料庫壓縮挑戰") 由 Leonid A. Broukhis 建立，為卡爾加里語料庫中所有 14 個檔案的 "顯著更好" 壓縮提供了一些大約 100 美元的獎金。
• "資料壓縮新聞部落格" 由 Sachin Garg 編輯。Sachin Garg 還發布了 基準影像和影像壓縮基準結果.
• Lasse Collin 在他的 可執行壓縮基準 中使用開源軟體。
• 大象夢：原始無損影片和音訊可用：Matt 建議 "如果能看到大象夢成為影片和音訊壓縮測試的新標準源素材，那就太好了！"。
• Alex Ratushnyak 維護著 無損照片壓縮基準.
• "Xiph.org 影片測試媒體 (derf 的收藏)" -- 它包括 "SVT 高畫質晰度多格式測試集".
• 滑鐵盧 BragZone 倉庫（在哪裡？）(它的一些（所有？）影像可以在 http://links.uwaterloo.ca/Repository.html 獲取)

開源示例程式碼

大多數資料壓縮演算法的建立者傾向於以開源實現（主要是 BSD 相容許可證，而不是 GPL）釋出它們。開源帶來的好處是，它充當開放式審查和參與號召，使演算法更容易透過結合來自多個來源的想法（由於開放式許可證相容性，甚至更多）來演化。此外，透過開源，演算法可以迅速被採用並獲得市場份額和優勢，甚至可以自行存檔或在利基實現中存檔，當然，這也是一些演算法仍然閉源的原因，尤其是在它們提供明顯的商業優勢超過競爭對手（商業或非商業）時。

• 壓縮介面標準 由 Ross Williams 建立。是否有更好的壓縮演算法介面標準？

• jvm-compressor-benchmark 是一個基準套件，用於比較 JVM 平臺上開源壓縮編解碼器的時空間效能。它目前包括坎特伯里語料庫和其他一些基準檔案集，並比較了 LZF、Snappy、LZO-java、gzip、bzip2 和其他一些編解碼器。（jvm-compressor-benchmark 用於與這些編解碼器通訊的 API 是否是壓縮演算法的良好介面標準？）

• inikep 已整理出一個基準，用於比較可以編譯為 C++ 的開源壓縮編解碼器的時空間效能。它目前包括 100 MB 的基準檔案（bmp、dct_coeffs、english_dic、ENWIK、exe 等等），並比較了 snappy、lzrw1-a、fastlz、tornado、lzo 和其他一些編解碼器。

• "壓縮簡易方式" 一個簡單的 C/C++ LZW 實現（可變位長 LZW 實現），在一個 .h 檔案和一個 .c 檔案中，沒有依賴項。
• BALZ 由 Ilia Muraviev 建立 - 第一個 ROLZ 壓縮開源實現
• QUAD - 由 Ilia Muraviev 建立的一個基於 ROLZ 的開源壓縮器
• LZ4 "世界上最快的壓縮庫" (BSD 許可證)
• QuickLZ "世界上最快的壓縮庫" (GPL 和商業許可證)
• FastLZ "免費、開源、可移植的即時壓縮庫" (MIT 許可證)
• .xz 檔案格式 (7-Zip 和 LZMA SDK 支援的壓縮檔案格式之一) 支援 "多個過濾器（演算法）：... 開發人員可以使用開發人員特定的過濾器 ID 空間進行實驗性過濾器。" 和 "過濾器連結：最多可以連結四個過濾器，這與 UN*X 命令列上的管道非常類似。"。

• "Puff -- 一個簡單的 Inflate" 由 Mark Adler 建立。編寫得非常易於閱讀，有助於理解 deflate 資料格式。與 zlib 相比，它使用更少的 RAM 和程式碼大小。

• libarchive (win32 LibArchive): 用於讀取和寫入流式存檔的庫。bsdtar 歸檔程式基於 LibArchive。LibArchive 模組化程度很高。“旨在……使其相對容易新增新的歸檔格式和壓縮演算法”。LibArchive 可以讀取和寫入（包括壓縮和解壓縮）各種歸檔格式的存檔檔案，包括“.tgz”和“.zip”格式。BSD 許可證。libarchive 願望清單.

• WebP 是一種新的影像格式，為 Web 上的影像提供無損和有失真壓縮。“與 PNG 相比，WebP 無損影像的大小減少了 26%。與 JPEG 相比，WebP 有損影像在等效 SSIM 指標下的大小減少了 25-34%。”WebP 顯然是*唯一*一種受網路瀏覽器支援的格式，它支援同一影像中的有失真壓縮和 Alpha 通道。當在 Chrome for Android 中啟用實驗性的“資料壓縮代理”時，所有影像都將被轉碼為 WebP 格式。 BSD 許可證。

• VP8 和 WebM 影片壓縮……

• Ogg 容器格式，通常包含 Vorbis、Speex 或 FLAC 格式的壓縮音訊，有時還包含 Theora 或 Dirac 格式的壓縮影片等。

• libPFG，用於讀取和寫入漸進式圖形檔案 "PGF" 格式的庫。使用快速小波變換；無損和有失真壓縮。支援 Alpha 透明度。LGPL。

• OptiPNG：高階 PNG 最佳化器。zlib 許可證。
  • PNGtech：有關 PNG 檔案格式和相關壓縮技術的技術文章.

進一步閱讀

• Unix 命令指南/檔案壓縮 提供了一些有關如何使用資料壓縮的實用資訊
• Fedora 和 Red Hat 系統管理/存檔和壓縮 提供了一些有關如何使用壓縮的實用資訊
• JPEG - 思想和實踐 提供了有關壓縮技術如何應用於 JPEG 影像壓縮的具體細節的更詳細的資訊。
• 資料編碼理論/資料壓縮
• Kdenlive/影片編解碼器 簡要提到了最流行的影片編解碼器
• 電影製作手冊/後期製作/影片編解碼器 更詳細地討論了電影和影片製作中使用的最流行的影片編解碼器。
• 電影製作手冊/攝影/相機和格式/格式表 列出了最流行的壓縮和未壓縮影片格式
• 機率
• hydrogenaudio wiki 提供了 流行無損音訊壓縮編解碼器的比較。
• 資料壓縮維基
• 資料壓縮維基

非維基資源

• "comp.compression" 新聞組
  • "Comp.compression 常見問題解答"
  • comp.compression 常見問題解答 由 Jean-loup Gailly 1999 年撰寫。（是否有更新的常見問題解答？）
• http://data-compression.info/ 提供了有關幾種壓縮演算法、幾個“資料壓縮語料庫”（資料壓縮基準檔案）以及在這些基準上執行各種資料壓縮程式的結果（測量壓縮大小、壓縮時間和解壓縮時間）的資訊。
• "資料壓縮詳解" 由 Matt Mahoney 撰寫。它討論了許多在大多數其他資料壓縮討論中被忽略的內容。例如，典型歸檔格式的實際功能（珍貴壓縮資料周圍的薄包裝），資料壓縮與人工智慧之間的密切關係等等。
• Mark Nelson 撰寫了關於資料壓縮的文章
  • Mark Nelson 和 Jean-loup Gailly。 "資料壓縮手冊"。1995 年。ISBN 1-55851-434-1.
• Encode 論壇 聲稱是“可能是網路上關於資料壓縮軟體和演算法的最大論壇”。
• "LZW 爭議" 由 Stuart Caie 撰寫。（LZ78、LZW、GIF、PNG、Unisys、專利等）
• "理解 gzip" 由 Zachary Vance (za3k) 撰寫。對三個 gzip 檔案（以及 deflate 資料格式）進行了非常詳細的逐位分析。