Версия 1.0.11
Модуль mod_deflate кодирует HTTP-ответ методами gzip и deflate, что позволяет уменьшить размер передаваемых данных в 2 и более раз. mod_deflate представляет из себя собственно модуль и набор патчей для Apache 1.3.12-1.3.23 и модуля mod_charset (Russian Apache).
Дистрибутив необходимо распаковать, перейти в каталог с исходными текстами и выполнить команду ./configure, указав ей путь к исходными текстам Apache. После конфигурирования нужно выполнить команду make:
tar zxf mode_deflate-1.0.11.tar.gz cd mod_deflate-1.0.11 ./configure --with-apache=<apache_dir> make
Команда make накладывает патчи на исходные тексты Apache и копирует mod_deflate.c в каталог "<apache_dir>/src/modules/extra/". При сборке Apache модуль необходимо активировать:
cd <apache_dir> ./configure ... --activate-module=src/modules/extra/mod_deflate.o ...
Если у Вас не установлена библиотека zlib, то Вы можете скачать дистрибутив и статически её собрать:
tar zxf zlib-1.1.3.tar.gz cd zlib-1.1.3 ./configure make
При конфигурировании mod_deflate необходимо указать путь к этой библиотеке:
cd mod_deflate-1.0.11 ./configure --with-apache=../apache-1.3.22 --with-zlib=../zlib-1.1.3 make
Параметр --with-zlib появился в mod_deflate версии 1.0.10. До этого mod_deflate собирался с уже установленной библиотекой zlib.
При конфигурировании можно указать ещё два параметра:
--with-idle-check - проверять уровень загрузки процессора. Этот параметр доступен только на FreeBSD 3.x и выше.
--with-patch=<path_to_patch> - использовать указанную программу patch. Параметр появился в версии 1.0.10.
Для того, чтобы ответ был сжат, в запросе прежде всего должен быть заголовок "Accept-Encoding", в котором указан метод gzip или deflate. На данный момент (2001 год) по обобщённым данным нескольких систем сбора статистики в Рунете около 90-93% всех запросов выполняется броузерами MSIE 4.x-6.x, понимающими gzip и deflate и около 5-7% - броузерами Netscape 4.x, понимающими gzip.
Кроме того, запрос не должен проходить через транзитные прокси-сервера, поскольку нельзя определённо сказать, умеют ли они корректно кэшировать компрессированые ответы. Например, неумеющий правильно кэшировать сжатые ответы прокси-сервер может передать закэшированный в сжатом виде ответ клиенту, непонимающему подобное кодирование. Наличие прокси-серверов проверяется по заголовку "Via". С этим же связано ограничение на версию протокола HTTP - сжатие выполняется, только если версия запроса не ниже 1.1, так как только в этой версии прокси-сервер обязан устанавливать заголовок "Via". Для запроса версии 1.0 нельзя определённо утверждать, что запрос не проходил через прокси-сервера.
Существует ещё несколько условий для сжатия ответа:
ответ должен иметь тип "text/html",
код ответа должен быть равен 200 (HTTP_OK),
ответ не должен уже иметь заголовка "Content-Encoding",
и в запросе не должен запрашиваться только заголовок (HEAD).
Если все описанные выше условия соблюдены, то в ответ добавляется
заголовок
Для того, чтобы ответы кодировались методом gzip достаточно одной директивы
При такой настройке сжатие будет выполняться только при условиях,
описанных в предыдущем разделе.
Однако ответы на запросы от Netscape 4.x сжиматься
не будут, поскольку Netscape 4.x делает запросы версии 1.0.
Поскольку сейчас около 90-93% запросов выполняется броузерами
MSIE 4.x-6.x и около 5-7% - броузером Netscape 4.x,
то часть из оставшихся 2-3% запросов может выполняться броузерами,
которые не понимают gzip в качестве
и получить уменьшение исходящего трафика HTML-файлов в два-три раза,
тогда как при настройках по умолчанию уменьшение не так заметно из-за того,
что около трети всех запросов выполняется через прокси-сервера.
Если же Вы всё же решили не сжимать запросы, проходящие через
прокси-сервера, то можно разрешить сжатие для запросов версии 1.0,
поскольку вероятность того, что прокси-сервер не укажет заголовок
"Via" достаточно мала:
С помощью директивы
Не рекомендуется использовать метод deflate по причинам, изложенным чуть ниже.
При возникновении проблем с тем или иным броузером, декларирующим понимание какого-либо метода, но непонимающим его на самом деле, в качестве временного решения рекомендуется использовать запрещающие переменные среды.
Ниже перечислены некоторые типы, которые можно достаточно безопасно кодировать методом gzip или deflate:
text/html
Воспринимается в сжатом виде всеми броузерами.
Этот тип всегда сжимается модулем mod_deflate.
text/plain
Воспринимается в сжатом виде всеми броузерами,
кроме плагина Macromedia FlashPlayer 4.x-5.x.
Как правило, именно этот тип имеют данные, которые FlashPlayer получает через броузер с помощью функции loadVariables(). Однако в сжатом виде FlashPlayer их не понимает. Но на самом деле, для него тип данных не имеет значения и поскольку эти данные имеют формат, как у типа "application/x-www-form-urlencoded", то можно устанавливать этот тип для этих запросов.
text/xml
application/xml
Воспринимаются в сжатом виде всеми броузерами, понимающими XML,
кроме плагина Macromedia FlashPlayer 5.x.
FlashPlayer не понимает сжатые файлы этого типа, полученные через броузер с помощью функции XML.load(). Но как и в случае с "text/plain" для FlashPlayer тип данных не имеет значения.
text/css
Воспринимается в сжатом виде всеми броузерами, кроме Netscape 4.x.
application/x-javascript
Воспринимается в сжатом виде всеми броузерами, кроме Netscape 4.x.
application/x-shockwave-flash
Воспринимается в сжатом виде всеми броузерами, имеющим соответствующий плагин,
кроме Netscape 4.x под Windows.
Однако сжатие файлов этого типа, возможно, не всегда эффективно, в частности
если в них используются изображения в формате jpeg и музыка в формате mp3.
text/rtf
application/msword
application/vnd.ms-excel
application/vnd.ms-powerpoint
Воспринимаются в сжатом виде только MSIE 4.x-6.x.
В описании протокола HTTP 1.1 (RFC 2616) описаны 4 метода кодирования -
gzip, deflate, compress и identity.
В описании протокола
gzip
Два метода кодирования, gzip и deflate, используют один и тот же
метод сжатия данных -
deflate
С методом кодирования deflate дела обстоят сложнее.
В описании протокола
The "zlib" format defined in RFC 1950 in combination with
the "deflate" compression mechanism described in
Что, по-видимому, должно означать, что перед сжатым
потоком должно быть 2 байта заголовка zlib, а после сжатого потока -
контрольная сумма
compress
Этот метод кодирования используют метод сжатия данных, реализованный
в программе compress, то есть, тело HTTP-ответа в этом случае
такое же, как если бы оно было сжато этой программой.
Этот метод понимают
identity
Этот метод кодирования никак не изменяет тело HTTP-ответа.
Устанавливает определённый в библиотеке zlib уровень сжатия от 1 до 9. Хотя уровень 1 наименее ресурсоёмок, тем не менее, он, как правило, позволяет уменьшить объём передаваемых файлов HTML в 2-4 раза. Увеличение уровня сжатия до 9 обычно не даёт такого впечатляющего результата, тo есть, если, например, при уровне 1 данные сжимаются в 4 раза, то при уровне 9 они сожмутся лишь в 5 раз. Насколько сжимается тот или иной файл в зависимости от уровня сжатия, Вы можете проверить с помощью программы gzip, указав ей параметр от -1 до -9.
В библиотеке zlib определён ещё один уровень - 0 (store), при котором сжатие не выполняется, но в контексте протокола HTTP он не имеет смысла, поскольку всегда можно передавать данные, вообще не используя сжатие.
Задаёт строку, при нахождении которой в заголовке "User-Agent" запрещается передача части ответа (range) в случае, если ответ может быть кодирован методом gzip или deflate. Таких директив может быть несколько. Если ответ не может быть кодирован методом gzip или deflate, то части (range) для данного броузера не запрещаются.
До версии 1.0.8 в одной директиве можно указывать только одну строку.
Рекомендуется устанавливать такую директиву
DeflateDisableRange "MSIE 4."
Разрешает или запрещает кодирование методом gzip или deflate.
Устанавливает минимальную версию протокола HTTP в запросе, при которой разрешается кодирование методом gzip или deflate.
Задаёт интервал проверки уровня загрузки процессора в секундах. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.
Задаёт минимальный уровень бездействия процессора в процентах, при котором разрешается кодирование методом gzip или deflate. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.
Устанавливает минимальный размер тела ответа в байтах, при котором разрешается кодирование методом gzip или deflate. Размер определяется из заголовка "Content-Length", если это заголовок отсутствует, то кодирование выполняется независимо от размера ответа.
Задаёт приоритет при выборе метода кодирования. Например, директива "DeflateOrder deflate gzip" делает метод deflate более приоритетным, чем gzip. Этой же директивой можно устанавливать только один метод кодирования. По умолчанию используется только метод gzip, поскольку использование метода deflate на данный момент ненадёжно.
Разрешает или запрещает кодирование методом gzip или deflate для проксированных запросов. Такие запросы определяются по наличию заголовка "Via".
Задаёт типы ответов, которые можно кодировать методом gzip или deflate. Символы "+" и "-" позволяют разрешать или запрещать типы ответов при наследовании конфигурации из предыдущей секции. Символ "+" использовать не обязательно. Запретить кодирование для ответов с типом "text/html" нельзя. Тип ответа должен быть указан точно, то есть, маски вида "text/*" не допускаются.
До версии 1.0.8 mod_deflate кодирует только ответы с типом "text/*".
Судить о том, был ли сжат тот или иной ответ, каким методом и насколько можно с помощью заметок (notes):
defl_m - один символ, означающий метод кодирования - "d" - deflate, "g" - gzip. Кроме того, если проверяется загрузка процессора, то возможно ещё одно значение "b" - blocked, означающее, что кодирование возможно, но запрещено из-за загрузки процессора.
defl_i - размер несжатого (input) ответа.
defl_o - размер сжатого (output) ответа. Необходимо заметь, число переданных байт (%b) по протоколу HTTP/1.1 будет больше, поскольку в %b учитывается служебная информация для кодирования чанками (chunks).
defl_r - число с точностью до двух знаков после запятой, показывающее
степень (ratio) сжатия. Считается как
В логах заметки можно использовать в виде %{defl_r}n.
Кодирование тем или иным методом можно запретить с помощью переменных среды "no_deflate" и "no_gzip", устанавливаемых директивами SetEnvIf, BrowserMatch и им подобным, например:
BrowserMatch "Konqueror" no_deflate BrowserMatch "rv:0.9.1) Gecko/" no_gzip no_deflate
На самом деле, указывать именно эти строки не нужно, так как, начиная с версии 1.0.7, mod_deflate содержит их в коде.
mod_deflate не сжимает ответы, прошедшие через mod_proxy, поскольку mod_proxy для отдачи ответа клиенту не использует функцию ap_send_http_header(). В то же время, ответы mod_proxy, вставляемые с помощью mod_rewrite в SSI-документы, сжимаются.
Текст, выведенный с помощью функций ap_rprintf() и ap_vrprintf(), не перекодируется Russian Apache. Это связано с тем, что Russian Apache, обрабатывая эти функции, работает напрямую с BUFF вместо того, что бы использовать функции ap_b*() и портит сжатый поток. Поэтому для этих функций запрещается перекодирование. На самом деле, эта особенность не должна повлиять на что-либо, поскольку на данный момент функции ap_rprintf() и ap_vrprintf() не используются для вывода каких-либо текстов на русском языке. Функция ap_rprintf() активно используется в mod_status и mod_info, и незначительно в mod_include для вывода fsize, в mod_autoindex для вывода размеров иконок и в mod_jserv для вывода статуса.
mod_deflate не учитывает веса методов кодирования, указанных
в заголовке
Поскольку для работы mod_deflate необходимо патчить тексты Apache, модуль должен быть статически слинкован с Apache.
Модуль, возможно, будет собираться на не-Unix платформах, но никаких телодвижений по портированию не делалось.
Ниже приводится список броузеров с указанием версии протокола
и методов кодирования, указываемые в заголовке
MSIE 4.x (10-14%), 5.x (76-79%) и 6.x (3-5%),
кроме версий под Macintosh
HTTP/1.1, "gzip, deflate"
Версии под Macintosh не понимают кодирование методами gzip и deflate и не передают заголовок "Accept-Encoding".
MSIE 4.x кэширует принятые ответы в сжатом виде, поэтому если
приём сжатого ответа прервать, а затем повторить снова,
то MSIE делает запрос с прерванного места, указывая в заголовке "Range"
смещение, равное длине полученного сжатого ответа.
Если ему передать несжатый остаток, то MSIE считает, что весь ответ
не сжат и показывает закэшированную часть в сжатом виде, а следом
за ней вновь полученную часть.
Как правильно передавать остаток в сжатом виде для MSIE 4.x, сказать сложно,
проще запретить передачу по частям в таких случаях.
Поэтому разумным компромиссом является директива
MSIE 4.x некорректно обрабатывает сжатый поток,
если длина запрашиваемого URL без учёта префикса "http://"
больше по-видимому 253 символов.
В этом случае
Netscape 3.x, 4.0-4.05, версии под Unix и PowerPC Macintosh
HTTP/1.0
Netscape 3.x хотя и не передает заголовок "Accept-Encoding",
но понимает метод x-gzip
Netscape 4.0-4.05 хотя и не передает заголовок "Accept-Encoding",
но понимает методы gzip и x-gzip
Версии под Windows и 68K Macintosh не понимают кодирование методами gzip и x-gzip.
Эти версии понимают сжатый ответ при условии, что он имеет тип "text/html" или "text/plain". Сжатые ответы с другими типами, обратываемые собственно Netscape, например, "application/x-javascript" или "text/css" (Netscape 4.x) не воспринимаются.
Netscape 4.06-4.08, 4.5-4.7x (3-5%)
HTTP/1.0, "gzip"
Эти версии также понимают методы x-gzip и x-compress.
Как и предыдущие версии, эти броузеры понимают сжатый ответ при условии,
что он имеет тип "text/html" или "text/plain".
В то же время ответы, обрабатываемые плагинами, например,
Версии Netscape 4.x под Windows кэшируют принятые ответы в сжатом виде, но не расжимают их при печати или предварительном просмотре перед печатью.
Mozilla m14-m18, 0.6-0.9.2, Netscape 6.0-6.1
HTTP/1.1, "gzip,deflate,compress,identity"
Эти версии также понимают методы x-gzip и x-compress.
Версия Mozilla 0.9.1 (июнь 2001) и созданные на её основе Netscape 6.1b1,
Galeon и SkipStone и не воспринимают заголовок "Content-Encoding" с пробелом
в конце заголовка и показывают ответ в сжатом виде.
Поэтому, начиная с версии 1.0.6, mod_deflate
запрещает кодирование методами gzip и deflate, если
заголовок "User-Agent" содержит строку
BrowserMatch "Galeon)" no_gzip no_deflate BrowserMatch "SkipStone)" no_gzip no_deflate
Mozilla 0.9.3-0.9.x, Netscape 6.2-6.x
HTTP/1.1, "gzip, deflate, compress;q=0.9"
Эты версии также понимают методы x-gzip и x-compress.
Opera 4.x-6.x
HTTP/1.1, "deflate, gzip, x-gzip, identity, *;q=0"
Lynx 2.6-2.8.x
HTTP/1.0, "gzip, compress"
Эти версии также понимают методы x-gzip и x-compress.
Konqueror 2.0.x
HTTP/1.1, "x-gzip; q=1.0, x-deflate, gzip; q=1.0, deflate, identity"
Обработка метода gzip в Konqueror реализованa неэффективно - сжатый ответ записывается во временный файл, после чего файл открывается функцией gzdopen() и считывается функцией gzread(). Что касается метода deflate, то его реализация просто не работает. Создаётся впечатление, что разработчики не понимали то, что они писали - сначала сжатый ответ записывается во временный файл, затем он частями считывается (зачем вообще файл!?) и передаётся функции inflate(), что однако не приводит к желаемому результату, поскольку функция inflateInit2() не вызывается вообще.
В связи с этим, начиная с версии 1.0.7, mod_deflate запрещает кодирование методом deflate, если заголовок "User-Agent" содержит строку "Konqueror".
Konqueror 2.1.x
HTTP/1.1, "x-gzip; q=1.0, gzip; q=1.0, identity"
Начиная с версии "Konqueror 2.1 post BETA >= 20010128", в заголовке "Accept-Encoding" не указывается deflate и x-deflate, но реализация осталась прежней.
Konqueror 2.2.x
HTTP/1.1, "x-gzip, gzip, identity"
В заголовке "Accept-Encoding" не указывается deflate и x-deflate, но реализация осталась прежней.
Macromedia FlashPlayer 4.x
Не понимает сжатые ответы, полученные через броузер с помощью функции loadVariables().
Macromedia FlashPlayer 5.x
Не понимает сжатые ответы, полученные через броузер с помощью функций loadVariables() и XML.load().
Около трети всех запросов выполняются через прокси-сервера. Ниже приводится список некоторых прокси-серверов. Для более или менее распространённых серверов в скобках указан приблизительный процент их использования на данный момент (2001 год).
Squid (около 70%)
Не умеет правильно кэшировать сжатые запросы.
MS Proxy 2.0 (IIS 4.0) (около 15%)
Не умеет правильно кэшировать сжатые запросы.
Oops (3%)
Начиная с версии 1.5.0, для клиентов, непонимающих кодирование методом
gzip, Oops отдаёт кэшированные сжатые ответы в разжатом виде.
(C) 2001, Igor Sysoev