сжатие текста

[vpnacc]

нужно сжимать короткие текстовые сообщения (от 20 до 300 символов).
использовал 5-6 разный архиваторов, но почти нет эфекта и даже чаще, наоборот, становится больше. притом обычные текстовички 10к+ сжимаются отлично в 2-10 раз.

почему не сжимается ? и чего с этим можно сделать?

[alibek]

Сжимаешь по одному файлу в архив или все файлы в один архив?
Если первое, то обычные архиваторы тут не очень эффективно. Было бы лучше написать свой, который бы использовал внешний большой словарь.

[Antonariy]

Почему не сжимается - информация имеет предел сжатия. Чем короче сообщение, тем меньше, так сказать, пустых мест между битами, некуда упаковывать биты, несущие информацию. Часто становится больше потому что используются алгоритмы со словарем, а в коротких сообщениях словари в худшем случае получаются равными самому сообщению. Самый эффективный алгоритм для коротких сообщений (и второй по скорости после хаффмана) находится в этом сборнике, называется Arithmetic Dymamic Bitwise Coding with rescale, увеличение размера происходит при длине меньше 16 символов. Причем именно для коротких - при преодолении порога в несколько килобайт (точное число не помню) начинает гнать пургу.

[vpnacc]

Сжимаешь по одному файлу в архив или все файлы в один архив?

это сообщения чата.

Было бы лучше написать свой, который бы использовал внешний большой словарь.

тоесть применительно к моей ситуации... надо прогнать тучу логов чата сделать "словарь" и вшить в клиента, я правильно понял?

Самый эффективный алгоритм для коротких сообщений (и второй по скорости после хаффмана) находится в этом сборнике, называется Arithmetic Dymamic Bitwise Coding with rescale

арифметический - 80% а хаффман кслову тоже только увеличиение дает.

[Antonariy]

Еще бы. Хаффман использует словарь.