Модуль mod_deflate

 

http://sysoev.ru/mod_deflate/

07.08.2002

Версия 1.0.14

Модуль mod_deflate кодирует HTTP-ответ методами gzip и deflate, что позволяет уменьшить размер передаваемых данных в 2 и более раз. mod_deflate представляет из себя собственно модуль и набор патчей для Apache и модуля mod_charset (Russian Apache).

Содержание

Установка
Как это работает
Некоторые рекомендации
Что можно сжимать
Какие бывают методы кодирования
Директивы
DeflateCompLevel
DeflateDisableRange
DeflateEnable
DeflateHTTP
DeflateIdleCheck
DeflateMaxProcesses
DeflateMinIdle
DeflateMinLength
DeflateOrder
DeflateProxied
DeflateTypes
DeflateVary

Что можно записать в лог
Переменные среды
Известные ошибки и особенности
Браузеры, что они умеют
Использование заголовка "Vary"
Прокси-сервера

Установка

Дистрибутив необходимо распаковать, перейти в каталог с исходными текстами и выполнить команду ./configure, указав ей путь к исходными текстам Apache. После конфигурирования нужно выполнить команду make: 

tar zxf mode_deflate-1.0.14.tar.gz
cd mod_deflate-1.0.14
./configure --with-apache=<apache_dir>
make
Команда make накладывает патчи на исходные тексты Apache и копирует mod_deflate.c в каталог <apache_dir>/src/modules/extra/. При сборке Apache модуль необходимо активировать: 
cd <apache_dir>
./configure
    ...
    --activate-module=src/modules/extra/mod_deflate.o
    ...

Если у Вас не установлена библиотека zlib, то Вы можете скачать дистрибутив и статически её собрать: 

tar zxf zlib-1.1.4.tar.gz
cd zlib-1.1.4
./configure
make
В этом случае при конфигурировании mod_deflate необходимо указать путь к этой библиотеке: 
cd mod_deflate-1.0.14
./configure
    --with-apache=../apache-1.3.22
    --with-zlib=../zlib-1.1.4
make
Параметр --with-zlib появился в mod_deflate версии 1.0.10. До этого mod_deflate собирался с уже установленной библиотекой zlib.

При конфигурировании можно указать ещё два параметра:

Как это работает

Для того, чтобы ответ был сжат, в запросе прежде всего должен быть заголовок "Accept-Encoding", в котором указан метод gzip или deflate. В середине 2002 года по обобщённым данным нескольких систем сбора статистики в Рунете около 90-93% всех запросов выполняется браузерами MSIE 4.x-6.x, понимающими gzip и deflate и около 5-7% - браузерами Netscape 4.x, понимающими gzip.

Кроме того, запрос не должен проходить через транзитные прокси-сервера, поскольку нельзя определённо сказать, умеют ли они корректно кэшировать компрессированые ответы. Например, неумеющий правильно кэшировать сжатые ответы прокси-сервер может передать закэшированный в сжатом виде ответ клиенту, непонимающему подобное кодирование. Наличие прокси-серверов проверяется по заголовку "Via". С этим же связано ограничение на версию протокола HTTP - сжатие выполняется, только если версия запроса не ниже 1.1, так как только в этой версии прокси-сервер обязан устанавливать заголовок "Via". Для запроса версии 1.0 нельзя определённо утверждать, что запрос не проходил через прокси-сервера.

Существует ещё несколько условий для сжатия ответа:

Если все описанные выше условия соблюдены, то в ответ добавляется заголовок "Content-Encoding: gzip" или "Content-Encoding: deflate", а тело ответа сжимается указанным методом. Кроме того, в сжатом ответе удаляется заголовок "Content-Length", поскольку длина сжатого ответа неизвестна на момент передачи заголовков. В отсутствие заголовка "Content-Length" и при запросе версии HTTP/1.1 Apache передаёт ответ чанками (chunks) и добавляет заголовок "Transfer-Encoding: chunked". Необходимо заметить, что в этом случае соединение может находится в состоянии keep-alive после передачи ответа. Если же запрос версии 1.0, то при отсутствии заголовка "Content-Length" соединение закрывается сразу же после передачи ответа.

Некоторые рекомендации

Для того, чтобы ответы кодировались методом gzip достаточно одной директивы DeflateEnable on. Кроме того, из-за ошибки в MSIE 4.x рекомендуется использовать директиву DeflateDisableRange "MSIE 4."

При такой настройке сжатие будет выполняться только при условиях, описанных в предыдущем разделе. Однако ответы на запросы от Netscape 4.x сжиматься не будут, поскольку Netscape 4.x делает запросы версии 1.0. Поскольку сейчас около 90-93% запросов выполняется браузерами MSIE 4.x-6.x и около 5-7% - браузером Netscape 4.x, то часть из оставшихся 2-3% запросов может выполняться браузерами, которые не понимают gzip в качестве "Content-Encoding". Если эти запросы не представляют для Вас интереса, то можно добавить такие директивы 

DeflateHTTP  1.0
DeflateProxied  on
и получить уменьшение исходящего трафика HTML-файлов в два-три раза, тогда как при настройках по умолчанию уменьшение не так заметно из-за того, что около трети всех запросов выполняется через прокси-сервера.

Если же Вы всё же решили не сжимать запросы, проходящие через прокси-сервера, то можно разрешить сжатие для запросов версии 1.0: 

DeflateHTTP  1.0
поскольку вероятность того, что прокси-сервер не укажет заголовок "Via" достаточно мала.

Директива DeflateVary on позволяет управлять кэшированием при прохождении ответа через прокси-сервера, по крайней мере для самого распространённого из них – Squid. Однако в этом случае ранние версии MSIE будут кэшировать не все ответы. Подробнее об этом в разделе Использование заголовка "Vary".

С помощью директивы DeflateTypes можно разрешить кодирование для ответов с типом "text/plain". Если Вы разрешили кодирование для запросов версии 1.0, то не следует разрешать сжатие для типов "text/css" и "application/x-javascript", поскольку Netscape 4.x не понимает сжатые файлы этих типов.

Не рекомендуется использовать метод deflate по причинам, изложенным чуть ниже.

При возникновении проблем с тем или иным браузером, декларирующим понимание какого-либо метода, но непонимающим его на самом деле, в качестве временного решения рекомендуется использовать запрещающие переменные среды.

Что можно сжимать

Ниже перечислены некоторые типы, которые можно достаточно безопасно кодировать методом gzip или deflate:

Какие бывают методы кодирования

В описании протокола HTTP 1.1 (RFC 2616) описаны 4 метода кодирования - gzip, deflate, compress и identity. В описании протокола HTTP 1.0 (RFC 1945) описаны 2 метода кодирования - x-gzip и x-compress, являющихся предшественниками и полными аналогами методов gzip и compress. mod_deflate поддерживает только два метода кодирования - gzip и deflate и не поддерживает все остальные, в частности, метод x-gzip.

Директивы

Директива DeflateCompLevel

Syntax: DeflateCompLevel 1 .. 9
Default: DeflateCompLevel 1
Context: server config, virtual host, directory, .htaccess

Устанавливает определённый в библиотеке zlib уровень сжатия от 1 до 9. Хотя уровень 1 наименее ресурсоёмок, тем не менее, он, как правило, позволяет уменьшить объём передаваемых файлов HTML в 2-4 раза. Увеличение уровня сжатия до 9 обычно не даёт такого впечатляющего результата, тo есть, если, например, при уровне 1 данные сжимаются в 4 раза, то при уровне 9 они сожмутся лишь в 5 раз. Насколько сжимается тот или иной файл в зависимости от уровня сжатия, Вы можете проверить с помощью программы gzip, указав ей параметр от -1 до -9.

В библиотеке zlib определён ещё один уровень - 0 (store), при котором сжатие не выполняется, но в контексте протокола HTTP он не имеет смысла, поскольку всегда можно передавать данные, вообще не используя сжатие.

Директива DeflateDisableRange

Syntax: DeflateDisableRange строка [строка ...]
Default: нет
Context: server config, virtual host, directory, .htaccess
Compatibility: mod_deflate 1.0.4 и выше

Задаёт строку, при нахождении которой в заголовке "User-Agent" запрещается передача части ответа (range) в случае, если ответ может быть кодирован методом gzip или deflate. Таких директив может быть несколько. Если ответ не может быть кодирован методом gzip или deflate, то части (range) для данного браузера не запрещаются.

До версии 1.0.8 в одной директиве можно указывать только одну строку.

Рекомендуется устанавливать такую директиву 

DeflateDisableRange "MSIE 4."

Директива DeflateEnable

Syntax: DeflateEnable on|off
Default: DeflateEnable off
Context: server config, virtual host, directory, .htaccess

Разрешает или запрещает кодирование методом gzip или deflate.

Директива DeflateHTTP

Syntax: DeflateHTTP 1.0|1.1
Default: DeflateHTTP 1.1
Context: server config, virtual host, directory, .htaccess

Устанавливает минимальную версию протокола HTTP в запросе, при которой разрешается кодирование методом gzip или deflate.

Директива DeflateIdleCheck

Syntax: DeflateIdleCheck число
Default: DeflateIdleCheck 1
Context: server config

Задаёт интервал проверки уровня загрузки процессора в секундах. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.

Директива DeflateMaxProcesses

Syntax: DeflateMaxProcesses число
Default: DeflateMaxProcesses 0
Context: server config
Compatibility: mod_deflate 1.0.13 и выше

Задаёт максимальное число дочерних процессов Apache, при котором разрешается кодирование методом gzip или deflate. Дело в том, что библиотека zlib использует почти 300K памяти. Если процесс Apache, не сжимающий ответ, занимает около 500K физической памяти, то на компьютере с 512M памяти можно запустить около 900 процессов Apache. При большем количестве возможно начнётся активный свопинг. Однако, если часть Apache сжимает ответ, то 512M уже не хватит для 900 процессов и свопинг начнётся раньше. Если нагрузка на сервер такова, что обычно с ней справляются 500 процессов Apache, то можно поставить ограничение на сжатие до 700 процессов. В этом случае при пиковых нагрузках, требующих для обработки 700-900 процессов, сжатия не будет.

Ноль означает неограниченное число.

Директива DeflateMinIdle

Syntax: DeflateMinIdle 0 .. 100
Default: DeflateMinIdle 0
Context: server config

Задаёт минимальный уровень бездействия процессора в процентах, при котором разрешается кодирование методом gzip или deflate. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.

Директива DeflateMinLength

Syntax: DeflateMinLength число
Default: DeflateMinLength 0
Context: server config, virtual host, directory, .htaccess

Устанавливает минимальный размер тела ответа в байтах, при котором разрешается кодирование методом gzip или deflate. Размер определяется из заголовка "Content-Length", если это заголовок отсутствует, то кодирование выполняется независимо от размера ответа.

Директива DeflateOrder

Syntax: DeflateOrder метод [метод]
Default: DeflateOrder gzip
Context: server config, virtual host, directory, .htaccess

Задаёт приоритет при выборе метода кодирования. Например, директива "DeflateOrder deflate gzip" делает метод deflate более приоритетным, чем gzip. Этой же директивой можно устанавливать только один метод кодирования. По умолчанию используется только метод gzip, поскольку использование метода deflate на данный момент ненадёжно.

Директива DeflateProxied

Syntax: DeflateProxied on|off
Default: DeflateProxied off
Context: server config, virtual host, directory, .htaccess

Разрешает или запрещает кодирование методом gzip или deflate для проксированных запросов. Такие запросы определяются по наличию заголовка "Via".

Директива DeflateTypes

Syntax: DeflateTypes [+|-]mime-type [[+|-]mime-type ...]
Default: DeflateTypes text/html
Context: server config, virtual host, directory, .htaccess
Compatibility: mod_deflate 1.0.8 и выше

Задаёт типы ответов, которые можно кодировать методом gzip или deflate. Символы "+" и "-" позволяют разрешать или запрещать типы ответов при наследовании конфигурации из предыдущей секции. Символ "+" использовать не обязательно. Запретить кодирование для ответов с типом "text/html" нельзя. Тип ответа должен быть указан точно, то есть, маски вида "text/*" не допускаются.

До версии 1.0.8 mod_deflate кодирует только ответы с типом "text/*".

Директива DeflateVary

Syntax: DeflateVary on|off
Default: DeflateVary off
Context: server config, virtual host, directory, .htaccess

Разрешает или запрещает выдачу заголовка "Vary: Accept-Encoding" в ответах, сжатых методом gzip или deflate.

Что можно записать в лог

Судить о том, был ли сжат тот или иной ответ, каким методом и насколько можно с помощью заметок (notes):

В логах заметки можно использовать в виде %{defl_r}n. Рекомендуется следующий вариант: 

\"%{defl_m}n:%{defl_r}n\"

Переменные среды

Кодирование тем или иным методом можно запретить с помощью переменных среды "no_deflate" и "no_gzip", устанавливаемых директивами SetEnvIf, BrowserMatch и им подобным, например: 

BrowserMatch   "Konqueror"         no_deflate
BrowserMatch   "rv:0.9.1) Gecko/"  no_gzip no_deflate
На самом деле, указывать именно эти строки не нужно, так как, начиная с версии 1.0.7, mod_deflate содержит их в коде.

Известные ошибки и особенности

Браузеры, что они умеют

Ниже приводится список браузеров с указанием версии протокола и методов кодирования, указываемые в заголовке "Accept-Encoding". Для более или менее распространённых браузеров в скобках приводиться приблизительный процент их использования в середине 2002 года. Для некоторых браузеров даны комментарии о тех или иных ошибках или особенностях обработки сжатых запросов. Отсутствие комментария не означает, что ошибок нет, скорее о них пока не известно.

Использование заголовка "Vary"

MSIE обрабатывает заголовок "Vary" достаточно своеобразно:

Прокси-сервера

Около трети всех запросов выполняются через прокси-сервера. Ниже приводится список некоторых прокси-серверов. Для более или менее распространённых серверов в скобках указан приблизительный процент их использования на данный момент (2001 год).

(C) 2001, 2002, Igor Sysoev