Модуль mod_deflate

Версия 1.0.11

Модуль mod_deflate кодирует HTTP-ответ методами gzip и deflate, что позволяет уменьшить размер передаваемых данных в 2 и более раз. mod_deflate представляет из себя собственно модуль и набор патчей для Apache 1.3.12-1.3.23 и модуля mod_charset (Russian Apache).

Содержание

Установка
Как это работает
Некоторые рекомендации
Что можно сжимать
Какие бывают методы кодирования
Директивы
DeflateCompLevel
DeflateDisableRange
DeflateEnable
DeflateHTTP
DeflateIdleCheck
DeflateMinIdle
DeflateMinLength
DeflateOrder
DeflateProxied
DeflateTypes
Что можно записать в лог
Переменные среды
Известные ошибки и особенности
Броузеры, что они умеют
Прокси-сервера

Установка

Дистрибутив необходимо распаковать, перейти в каталог с исходными текстами и выполнить команду ./configure, указав ей путь к исходными текстам Apache. После конфигурирования нужно выполнить команду make:

tar zxf mode_deflate-1.0.11.tar.gz
cd mod_deflate-1.0.11
./configure --with-apache=<apache_dir>
make

Команда make накладывает патчи на исходные тексты Apache и копирует mod_deflate.c в каталог "<apache_dir>/src/modules/extra/". При сборке Apache модуль необходимо активировать:

cd <apache_dir>
./configure
    ...
    --activate-module=src/modules/extra/mod_deflate.o
    ...

Если у Вас не установлена библиотека zlib, то Вы можете скачать дистрибутив и статически её собрать:

tar zxf zlib-1.1.3.tar.gz
cd zlib-1.1.3
./configure
make

При конфигурировании mod_deflate необходимо указать путь к этой библиотеке:

cd mod_deflate-1.0.11
./configure
    --with-apache=../apache-1.3.22
    --with-zlib=../zlib-1.1.3
make

Параметр --with-zlib появился в mod_deflate версии 1.0.10. До этого mod_deflate собирался с уже установленной библиотекой zlib.

При конфигурировании можно указать ещё два параметра:

Как это работает

Для того, чтобы ответ был сжат, в запросе прежде всего должен быть заголовок "Accept-Encoding", в котором указан метод gzip или deflate. На данный момент (2001 год) по обобщённым данным нескольких систем сбора статистики в Рунете около 90-93% всех запросов выполняется броузерами MSIE 4.x-6.x, понимающими gzip и deflate и около 5-7% - броузерами Netscape 4.x, понимающими gzip.

Кроме того, запрос не должен проходить через транзитные прокси-сервера, поскольку нельзя определённо сказать, умеют ли они корректно кэшировать компрессированые ответы. Например, неумеющий правильно кэшировать сжатые ответы прокси-сервер может передать закэшированный в сжатом виде ответ клиенту, непонимающему подобное кодирование. Наличие прокси-серверов проверяется по заголовку "Via". С этим же связано ограничение на версию протокола HTTP - сжатие выполняется, только если версия запроса не ниже 1.1, так как только в этой версии прокси-сервер обязан устанавливать заголовок "Via". Для запроса версии 1.0 нельзя определённо утверждать, что запрос не проходил через прокси-сервера.

Существует ещё несколько условий для сжатия ответа:

Если все описанные выше условия соблюдены, то в ответ добавляется заголовок "Content-Encoding: gzip" или "Content-Encoding: deflate", а тело ответа сжимается указанным методом. Кроме того, в сжатом ответе удаляется заголовок "Content-Length", поскольку длина сжатого ответа неизвестна на момент передачи заголовков. В отсутствие заголовка "Content-Length" и при запросе версии HTTP/1.1 Apache передаёт ответ чанками (chunks) и добавляет заголовок "Transfer-Encoding: chunked". Необходимо заметить, что в этом случае соединение может находится в состоянии keep-alive после передачи ответа. Если же запрос версии 1.0, то при отсутствии заголовка "Content-Length" соединение закрывается сразу же после передачи ответа.

Некоторые рекомендации

Для того, чтобы ответы кодировались методом gzip достаточно одной директивы DeflateEnable on. Кроме того, из-за ошибки в MSIE 4.x рекомендуется использовать директиву DeflateDisableRange "MSIE 4."

При такой настройке сжатие будет выполняться только при условиях, описанных в предыдущем разделе. Однако ответы на запросы от Netscape 4.x сжиматься не будут, поскольку Netscape 4.x делает запросы версии 1.0. Поскольку сейчас около 90-93% запросов выполняется броузерами MSIE 4.x-6.x и около 5-7% - броузером Netscape 4.x, то часть из оставшихся 2-3% запросов может выполняться броузерами, которые не понимают gzip в качестве "Content-Encoding". Если эти запросы не представляют для Вас интереса, то можно добавить такие директивы
DeflateHTTP 1.0
DeflateProxied on
и получить уменьшение исходящего трафика HTML-файлов в два-три раза, тогда как при настройках по умолчанию уменьшение не так заметно из-за того, что около трети всех запросов выполняется через прокси-сервера.

Если же Вы всё же решили не сжимать запросы, проходящие через прокси-сервера, то можно разрешить сжатие для запросов версии 1.0, поскольку вероятность того, что прокси-сервер не укажет заголовок "Via" достаточно мала:
DeflateHTTP 1.0

С помощью директивы DeflateTypes можно разрешить кодирование для ответов с типом "text/plain". Если Вы разрешили кодирование для запросов версии 1.0, то не следует разрешать сжатие для типов "text/css" и "application/x-javascript", поскольку Netscape 4.x не понимает сжатые файлы этих типов.

Не рекомендуется использовать метод deflate по причинам, изложенным чуть ниже.

При возникновении проблем с тем или иным броузером, декларирующим понимание какого-либо метода, но непонимающим его на самом деле, в качестве временного решения рекомендуется использовать запрещающие переменные среды.

Что можно сжимать

Ниже перечислены некоторые типы, которые можно достаточно безопасно кодировать методом gzip или deflate:

Какие бывают методы кодирования

В описании протокола HTTP 1.1 (RFC 2616) описаны 4 метода кодирования - gzip, deflate, compress и identity. В описании протокола HTTP 1.0 (RFC 1945) описаны 2 метода кодирования - x-gzip и x-compress, являющихся предшественниками и полными аналогами методов gzip и compress. mod_deflate поддерживает только два метода кодирования - gzip и deflate и не поддерживает все остальные, в частности, метод x-gzip.

Директивы


Директива DeflateCompLevel

Syntax: DeflateCompLevel 1 .. 9
Default: DeflateCompLevel 1
Context: server config, virtual host, directory, .htaccess

Устанавливает определённый в библиотеке zlib уровень сжатия от 1 до 9. Хотя уровень 1 наименее ресурсоёмок, тем не менее, он, как правило, позволяет уменьшить объём передаваемых файлов HTML в 2-4 раза. Увеличение уровня сжатия до 9 обычно не даёт такого впечатляющего результата, тo есть, если, например, при уровне 1 данные сжимаются в 4 раза, то при уровне 9 они сожмутся лишь в 5 раз. Насколько сжимается тот или иной файл в зависимости от уровня сжатия, Вы можете проверить с помощью программы gzip, указав ей параметр от -1 до -9.

В библиотеке zlib определён ещё один уровень - 0 (store), при котором сжатие не выполняется, но в контексте протокола HTTP он не имеет смысла, поскольку всегда можно передавать данные, вообще не используя сжатие.


Директива DeflateDisableRange

Syntax: DeflateDisableRange строка [строка ...]
Default: нет
Context: server config, virtual host, directory, .htaccess
Compatibility: mod_deflate 1.0.4 и выше

Задаёт строку, при нахождении которой в заголовке "User-Agent" запрещается передача части ответа (range) в случае, если ответ может быть кодирован методом gzip или deflate. Таких директив может быть несколько. Если ответ не может быть кодирован методом gzip или deflate, то части (range) для данного броузера не запрещаются.

До версии 1.0.8 в одной директиве можно указывать только одну строку.

Рекомендуется устанавливать такую директиву

DeflateDisableRange "MSIE 4."

Директива DeflateEnable

Syntax: DeflateEnable on|off
Default: DeflateEnable off
Context: server config, virtual host, directory, .htaccess

Разрешает или запрещает кодирование методом gzip или deflate.


Директива DeflateHTTP

Syntax: DeflateHTTP 1.0|1.1
Default: DeflateHTTP 1.1
Context: server config, virtual host, directory, .htaccess

Устанавливает минимальную версию протокола HTTP в запросе, при которой разрешается кодирование методом gzip или deflate.


Директива DeflateIdleCheck

Syntax: DeflateIdleCheck число
Default: DeflateIdleCheck 1
Context: server config

Задаёт интервал проверки уровня загрузки процессора в секундах. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.


Директива DeflateMinIdle

Syntax: DeflateMinIdle 0 .. 100
Default: DeflateMinIdle 0
Context: server config

Задаёт минимальный уровень бездействия процессора в процентах, при котором разрешается кодирование методом gzip или deflate. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.


Директива DeflateMinLength

Syntax: DeflateMinLength число
Default: DeflateMinLength 0
Context: server config, virtual host, directory, .htaccess

Устанавливает минимальный размер тела ответа в байтах, при котором разрешается кодирование методом gzip или deflate. Размер определяется из заголовка "Content-Length", если это заголовок отсутствует, то кодирование выполняется независимо от размера ответа.


Директива DeflateOrder

Syntax: DeflateOrder метод [метод]
Default: DeflateOrder gzip
Context: server config, virtual host, directory, .htaccess

Задаёт приоритет при выборе метода кодирования. Например, директива "DeflateOrder deflate gzip" делает метод deflate более приоритетным, чем gzip. Этой же директивой можно устанавливать только один метод кодирования. По умолчанию используется только метод gzip, поскольку использование метода deflate на данный момент ненадёжно.


Директива DeflateProxied

Syntax: DeflateProxied on|off
Default: DeflateProxied off
Context: server config, virtual host, directory, .htaccess

Разрешает или запрещает кодирование методом gzip или deflate для проксированных запросов. Такие запросы определяются по наличию заголовка "Via".


Директива DeflateTypes

Syntax: DeflateTypes [+|-]mime-type [[+|-]mime-type ...]
Default: DeflateTypes text/html
Context: server config, virtual host, directory, .htaccess
Compatibility: mod_deflate 1.0.8 и выше

Задаёт типы ответов, которые можно кодировать методом gzip или deflate. Символы "+" и "-" позволяют разрешать или запрещать типы ответов при наследовании конфигурации из предыдущей секции. Символ "+" использовать не обязательно. Запретить кодирование для ответов с типом "text/html" нельзя. Тип ответа должен быть указан точно, то есть, маски вида "text/*" не допускаются.

До версии 1.0.8 mod_deflate кодирует только ответы с типом "text/*".


Что можно записать в лог

Судить о том, был ли сжат тот или иной ответ, каким методом и насколько можно с помощью заметок (notes):

В логах заметки можно использовать в виде %{defl_r}n.

Переменные среды

Кодирование тем или иным методом можно запретить с помощью переменных среды "no_deflate" и "no_gzip", устанавливаемых директивами SetEnvIf, BrowserMatch и им подобным, например:

BrowserMatch   "Konqueror"         no_deflate
BrowserMatch   "rv:0.9.1) Gecko/"  no_gzip no_deflate

На самом деле, указывать именно эти строки не нужно, так как, начиная с версии 1.0.7, mod_deflate содержит их в коде.

Известные ошибки и особенности

Броузеры, что они умеют

Ниже приводится список броузеров с указанием версии протокола и методов кодирования, указываемые в заголовке "Accept-Encoding". Для более или менее распространённых броузеров в скобках приводиться приблизительный процент их использования на данный момент (2001 год). Для некоторых броузеров даны комментарии о тех или иных ошибках или особенностей обработки сжатых запросов. Отсутствие комментария не означает, что ошибок нет, скорее о них пока не известно.

Прокси-сервера

Около трети всех запросов выполняются через прокси-сервера. Ниже приводится список некоторых прокси-серверов. Для более или менее распространённых серверов в скобках указан приблизительный процент их использования на данный момент (2001 год).


(C) 2001, Igor Sysoev