Сжатие на уровне файловой системы

Здесь обсуждаются все вопросы, не попадающие под другие категории
master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Сообщение master_of_shadows »

Victor Gr. писал(а):master_of_shadows, спасибо за информацию!)

Это интересно.

Незачто. Хотя про файлы я может и наврал. Но точно не по 4к. Она чанками работает, может чанки жмёт... Фильтры на файлы которые надо скипать у неё есть.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

Аватара пользователя
Llama
Неотъемлемая часть форума
Сообщения: 9749
Зарегистрирован: 06 фев 2002, 11:40
Откуда: Менск

Сообщение Llama »

JFFS/YAFFS/2 :)
Опыт растет прямо пропорционально выведенному из строя оборудованию

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Сообщение master_of_shadows »

Llama писал(а):JFFS/YAFFS/2 :)

JFFS по слухам в нете предназначенна для всяких телефонов/сматрфонов и посему плохо дружит с Eee PC. Так как флэшка последнего видна в система как блок девайс. Где-то ещё видел что грустно становится её от дисков в 1 Гиг и более. С YAFFS/2 то же самое. Плюс к тому же она не жмёт :).

На сколько я понимаю юзать придётся обычную ФС, модные для флэша не подходят. Я вот с дуру поставил ReiserFS. Придётся откатываться на XFS или JFS. Ибо Reiser монтируется секунд по 5 :(.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

Аватара пользователя
mend0za
Неотъемлемая часть форума
Сообщения: 2332
Зарегистрирован: 30 авг 2002, 12:33
Откуда: Minsk

Сообщение mend0za »

JFFS2 (как самая распростанённая) - предназначена для работы с flash и учитывает специфику этого носителя.

master_of_shadows, слухи тебя обманывают. Это не обязательно телефоны, это любое устройство использующее flash, например NAS (Network Attached Storage), E-Readers и т.д.


драйвера всяких MTD для работы с ними как с файловыми системами сейчас все представляются как блочные устройства.
И увидел я зверя, выходящего из тундры. И число его было 3.14159265358979324...

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Сообщение master_of_shadows »

mend0za, под всякими телефонам,смартфонами я имелл ввиду всевозможные девайсы с MTD. Вот тут читал почему для флэшек не катит JFFS2: http://www.linux-mtd.infradead.org/faq/jffs2.html.

I am going to use JFFS2 on top of my USB stick/CF card/etc, is it OK?

<...>

So, the answer is probably yes, you technically can, but be sure you realize why you do this. In general it is bad idea. It is much better to use any conventional file system like ext2.

Also note, these devices are "black boxes". The way they implement this flash-to-block device translation layer is not usually published. And in many cases the algorithms used at this layer are far from brilliant. For example, many USB sticks and other cards lose data in case of unclean reboots/power cuts. So, be very careful.


Так как у флэшек есть контролёр, который представляет её уже не как MTD, а как блочный девайс, то юзать JFFS2 не стоит, по словам товарищей с www.linux-mtd.infradead.org.

Это всё в теории. На практике, к сожалению, я ничего не нашол.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

Аватара пользователя
Quantum
Неотъемлемая часть форума
Сообщения: 259
Зарегистрирован: 20 мар 2006, 15:53
Откуда: г. Минск

Сообщение Quantum »

Перавага JFFS2 ды YAFFS у тым, што падчас запісу ці перазапісу файлаў усе даньні запісваюцца ў канец файлавай сыстэмы. Як вынік, гэта, у тэёрыі, падаўжае жыцьцё flash-дыска за конт больш роўнага выкарыстаньня прасторы дыска (на традыцыйных файлавых сыстэмах некаторыя кавалкі дыска выкарыстоўваюцца больш інтэнсіўна за іншыя, а як бо флэшка мае абмежаваны лік цыклаў перазапісу...)

Аватара пользователя
Victor Gr.
Неотъемлемая часть форума
Сообщения: 891
Зарегистрирован: 13 авг 2004, 15:39
Откуда: Минск
Контактная информация:

Сообщение Victor Gr. »

Прабачце за афтопік,

рэсур мае толькі цыклы перазапісу?
Колькасьць чытаньняў флэшку не сапсуе?

booxter
Неотъемлемая часть форума
Сообщения: 1427
Зарегистрирован: 04 апр 2004, 21:04

Сообщение booxter »

Victor Gr., не. А вось у некаторых embedded-машынках флэшку можна папсаваць, калі хаця б разоў са 20 надпісаць штосьці зверху. Таму часта пры распрацоўцы грузяцца з NFS. А на флэшцы правяраецца толькі гатовая прашыўка.

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Сообщение master_of_shadows »

Quantum, Victor Gr., на предыдущей странице ответы на ваши вопросы. Не ленимся, жмём цифру "1" внизу этой страницы ;).

Добавлю про чтение для флэшки Eee PC: нет ограничений. Читабельность записанных данных - 10 лет.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

Аватара пользователя
Llama
Неотъемлемая часть форума
Сообщения: 9749
Зарегистрирован: 06 фев 2002, 11:40
Откуда: Менск

Сообщение Llama »

В eeepc не "флэшка". Т.е. не NAND а SSD. разбрасывание информации по болкам памяти происходит аппаратно.
Опыт растет прямо пропорционально выведенному из строя оборудованию

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Сообщение master_of_shadows »

Нашол ещё одно интерестное решение: UnionFS + SquashFS. Оно реально опробированно, работает в Лайв дистрибутивах и есть пакеты для Убунту.

Кроме того посмотрел что же весит больше всего. Из примерно 2.5-х гигов системы ~1 Гиг приходится на /usr/share и ~800 мегов на /usr/lib. И то и другое хорошо жмётся (либа ОО сжалась в три раза gzip-ом) и имеет 99% ro файлов. Так что решение с UnionFS + SquashFS выглядит вкусным.

Вот интерестные тесты производительности: http://tree.celinuxforum.org/CelfPubWik ... omparisons . Как я и предпологал, можно даже получить ускорение работы с ФС ценой несколько большей загрузки Проца.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Сообщение master_of_shadows »

После 3 часов курения манов по сборке модулей (доооолго искал правильный путь через module-assistant), 1 часа сборки модулей и тестов на домашней машине, уставноки добра на Eee PC, создания образа, 1.5 часового ковыряния в настройках/доках, завёл таки squashfs + aufs.

C 1.8 Гига стало 770 Мегов. 1 Гиг места. Есть мелкие замедления при первом старте Гнома/ОО. Пока что не снёс родной /usr -потестирую, будет бэкапом.

Код: Выделить всё

$df | grep usr-ro; du /usr-ro | tail -n 1
/usr.sqfs               767744    767744         0 100% /usr-ro
1834825 /usr-ro


Накатал отчёд.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Re: Сжатие на уровне файловой системы

Сообщение master_of_shadows »

Добавлю: апгрейдился с 7.10 на 8.10. При этом попробовал не убирая сжатие это сделать. Тот ещё секас :). Раз 5-ть упирался в не хватку места. Приходилось заново пережимать /usr. Каждый раз при не хватке места dpkg падал. Был даже момент когда система сделалась полу-живая: Гном не грузился, криво встал dmesg. Грешным делом я даже подумал о том, что бы с нуля поставить систему :). Но желание таки довести начатое до логического конца: или смерть, или будет жить, пересилило. И теперь у меня стоит 8.10 через апгрейд. Но /usr таки пришлось расжать, и теперь я его уже не жму - лень, и гиг места погоды не сделают, к сожалению.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

master_of_shadows
Маньяк
Сообщения: 199
Зарегистрирован: 06 мар 2004, 19:23
Откуда: Минск
Контактная информация:

Re:

Сообщение master_of_shadows »

nab писал(а):http://en.wikipedia.org/wiki/ZFS

Идут года (ц).

Итак ZFS уже доступна через FUSE на Линухе. Есть ещё вот такая мега рульная штука: http://blogs.sun.com/erwann/entry/zfs_o ... esktop_zfs . Уже хочу :) ! Практические мечта всей жизни. Сжатие + шифрование + версионность и всё на уровне ФС.
[Ubuntu 8.10] @ home PC & MSI Wind

...take a look at the sky, just before you die...

Аватара пользователя
chuck
Маньяк
Сообщения: 190
Зарегистрирован: 01 апр 2002, 11:27
Откуда: .msk.su

Re: Re:

Сообщение chuck »

master_of_shadows писал(а):
nab писал(а):http://en.wikipedia.org/wiki/ZFS

Идут года (ц).

Итак ZFS уже доступна через FUSE на Линухе. Есть ещё вот такая мега рульная штука: http://blogs.sun.com/erwann/entry/zfs_o ... esktop_zfs . Уже хочу :) ! Практические мечта всей жизни. Сжатие + шифрование + версионность и всё на уровне ФС.


Грустно читать... остается только констатировать что Linux по сути был и будет лишен ZFS.

Ответить