1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.

Lossy DNG

Тема в разделе "Фото", создана пользователем UncleSam, 06.06.12.

  1. UncleSam

    UncleSam Активный участник

    11.867
    7
    Поделюсь находкой. Оказывается, Adobe DNG Converter, начиная с 6-й версии, позволяет делать DNG, сжатые с потерями. Это что-то типа JPEG, только более пригодные для дальнейшей обработки. Разница в размерах - где-то треть от исходного рава. Если уменьшать количество пикселов (есть и такая опция), то и того меньше. В принципе, полезно, чтобы хранить в архивах всякую малозначащую муть. Можно, конечно, винты всё новые и новые покупать, но, во-первых, каждый винт надо дублировать, во-вторых, когда винтов один-два - это ещё ничего, а когда больше, то уже начинается веселуха. Ну и ещё комп вроде как уже купленный, т.е. расходы только на электроэнергию при конвертации, а винт стоит копеечку.

    Ну т.е. две опции на выбор: исходные равки или lossy dng. Потому что хранить в архивах днг без сжатия вместо исходных равов - довольно глупо, как мне кажется.

    Конвертировать в днг можно как из рума, так и с помощью бесплатного конвертера.
     
  2. UncleSam

    UncleSam Активный участник

    11.867
    7
    Мои дальнейшие исследования на эту тему.

    Конвертация в lossy происходит с использованием установок обработки, ну яркость там, виньетка, HSL и прочая лажа. Поэтому правильнее было бы конвертить в лосси исходные равы без настроек, чтобы потом можно было применить свою обработку, как к исходному файлу. Я проверил - работает. На глаз невозможно отличить, что конвертировалось из лосси, а не из рава, даже если были грандиозные изменения типа экспозиция +3.

    Но, уж как это заведено у адобов, есть бочка дёгтя в ложке мёда: XMP не создаются и при изменениях не учитываются, если формат файла - DNG. Данные XMP пишутся прямо в сам файл и пофиг. Как же обойтить данную прублему? Как всегда, через задницу. Но способ рабочий зато :)

    1) включаем в руме или ACR-е запись XMP-шек
    2) создаём их (Ctrl-S в руме или make sidecar в ацээре)
    3) xmp переносим в отдельную папочку, чтоб они не валялись рядом с равами
    4) конвертим адобе днг конвертором (не румом!) в лосси днг и получаем днг-шки с виду такие же, как исходные равки
    5) кладём хмп рядом с днг
    6) каким-нибудь пакетным текстовым редактором (я бы использовал FAR) заменяем в хмп-шках FILENAME.CR2 на FILENAME.DNG, а dc:format="image/x-canon-cr2" на dc:format="image/dng"
    7) пытаемся обновить картинки в руме через synchronize folder, но получаем хрен по всёй морде, потому что грёбаный рум, как я уже говорил, в упор не видит хмп, если файл днг-шный
    8) импортируем хмп в днг с помощью всеобъемлющего ExifTool-а командами вида
    exiftool.exe -TagsFromFile "FILENAME.XMP" -XMP:All --Orientation "FILENAME.DNG"
    9) делаем снова synchronize folder, и рум обновления видит

    А вот и ни фига :)

    Пункт 8 не заработает, потому что на сегодня экзифтул не умеет обновлять лосси днг. Пишет "Error: [minor] DNG Version 1.4.0.0 not yet supported". Поэтому сначала конвертим румом лосси в обычный днг v5.4 без компрессии, а потом уж импортируем туда хмп.

    Вот такие вот извращения ради экономии каких-то жалких 66% дискового пространства :d:d:d

    На самом деле всё ГОРАЗДО интереснее!!! Я убедился, что можно без малейших заморочек конвертить равы в лосси днг, архивировать dng+xmp, а исходные равы убивать. А случае атомной войны можно будет не так уж сильно заморочиться и настройки румовские подцепить, или отредактировать заново. К тому времени экзифтул, небось, уже будет кушать эти днг-шки. Всё равно мы архивы держим на крайний случай, который, может, и не наступит никогда.

    Минус данной технологии чуть ли не единственный - некоторая потеря качества исходника. Но вы сначала её найдите, эту разницу с исходником, а потом будем разговаривать. Я не нашёл даже в масштабе 1:1.

    Ещё один минус, для кого-то, может, и неважный - это то, что а) используется лайтрумовский демозаик и б) не все конверторы кушают DNG. Допустим, в моём любимом RPP демозаик лучше румовского, а днг эти он не воспринимает. Но, повторюсь, что эта методика применима, в первую очередь, к гавнищу всякому, а экономия места - ни фига себе какая получается.

    Короче, есть рабочая методика "увеличения" размеров винта в 3 раза практически на халявку. Берите, пользуйтесь :)

    Для меня лично это ужасно актуально, потому что школьно-детсадовских равов просто ужасть сколько, а снимать в жпег совесть не позволяет. И хранить их приходится весь учебный год, а потом ещё и в архив записывать. А винты свыше 500 гигов - жутко ненадёжные.

    ---------- Сообщение добавлено 06.06.2012 21:46 ----------

    А сюда я написал это, в первую очередь, чтоб самому не забыть :)

    ---------- Сообщение добавлено 06.06.2012 21:55 ----------

    Короче, технология такая: пришёл со съёмки, равки импортнул, грубо исправил ошибки экспозиции и ББ и конвертнул, а равы грохнул. Именно так я теперь и буду делать, чтоб винты не засорять.

    Тестовый (и заодно уже рабочий) пример: 3604 файла общим объёмом 37 гигов превратились в 12 гигов.
     
  3. Akvilon

    Akvilon Активный участник

    6.901
    0
    UncleSam, есть еще альтернативый метод. В потраченное на весь этот геморрой время снимаешь еще один заказ (берешь еще один заказ на ретушь и т.п.) и покупаешь несколько винтов. И морочишь голову себе и людям )))
     
  4. UncleSam

    UncleSam Активный участник

    11.867
    7
    Akvilon, как минимум, я не хочу, чтоб вся квартира была винтами завалена. Ну и повторюсь, что винты свыше 500 гигов ненадёжны. А ещё много носителей - это попадос на бэкапы и каталогизацию. Про онлайновые хранилища тоже не забывай. Ты ведь сам их искал, помнится? А там за гигабайты абонплата идёт.

    А про геморрой... Ну потратил я один раз пару часиков (причём в своё удовольствие, потому что для меня это было развлечением), зато теперь всё время буду этой фигнёй пользоваться и доп. потерь времени уже не будет. Сравни 2 часа раз в жизни и 2 2-х и более-терабайтных винта каждый год. Что дороже выйдет? А экономия в скорости бэкапов?

    Да и не уговариваю я никого :) Есть вон люди вообще новый мерседес покупают, когда в старом пепельница заполняется.
     
  5. Akvilon

    Akvilon Активный участник

    6.901
    0
    Очень спорно. Относительно недавно закупался винтами, много гуглил, плюс немного общался с грамотными мастерами по восстановлению инфы. И склонен считать, что ты заблуждаешься :)

    Да, вот это очень интересная мысль. Тут соглашусь, пожалуй.

    Я как раз пару часов, потраченных на изучение этой фигни, никогда не назвал бы геморроем. Это интересно. Ну ты меня знаешь, я ж такой же, как и ты ))) А вот выполнение этой процедуры в качестве рутинной я и считаю геморроем ))

    P.S. Ты в аське вообще появляешься хоть иногда? )))
     
  6. UncleSam

    UncleSam Активный участник

    11.867
    7
    А я ж всё равно делаю быструю проявку равов и контрольки (а-ля индекс-принты). И какая разница, в жпег выгонять или в днг? А с учётом того, что купил слишком-много-пиксельный аппарат для всякой малобюджетки, мне сжатие равов прям вот актуально. Если из 18 мегов можно сделать 3-4, то разница уже не в 3 раза, а поболе. А в жопег не могу снимать. Руки кривые слишком :d

    А с учётом того, что у меня всё оптимизировано и автоматизировано с помощью всяких утилит, то и вовсе затраты времени и сил близятся к нулю.

    Специально для тебя могу появиться :)
     
  7. IvUs

    IvUs Активный участник

    10.987
    57
    Мужики из WD не знают и по глупости на свою Black-серию дают 5 летниию гарантию
    Три жутконенадежных террабайтника из этой серии уже несколько лет живут в квартире и все никак не проявят свою жуткую ненадежность, такое коварство.
     
  8. Akvilon

    Akvilon Активный участник

    6.901
    0
    Это ни о чем не говорит. Да, по утверждению самих WD, у блэков "best-in-class reliability". Но это значит лишь что они, возможно, надежнее других WD винтов, причем в своей же дешевой ценовой категории. Есть гораздо более дорогие и несравнимо более надежные серверные решения, на многие из которых, насколько я знаю, нет 5-летней гарантии, ну и что? Если отвлечься от винтов, на рынке вообще можно найти уйму продуктов сомнительного качества, обладающих лайфлонг гарантией.

    Ну это совсем уж детский лепет, сорри..
     
  9. Флавиус

    Флавиус Активный участник

    8.314
    49

    Сомнительно. У меня есть мысли, что многие модели винтов внутри идентичны, а размер диска определяется программной прошивкой. Т.е. производитель может выпускать блины по 1ТБ, а потом резать объем диска прошивкой для меньшего объема.
     
  10. Akvilon

    Akvilon Активный участник

    6.901
    0
    Не буду говорить за всех, но сигейты, например, всегда четко указывают, какие там блины стоят. Да и вообще теория прикольная, но что-то мне подсказывает, что это фантастика :)
     
  11. DELL

    DELL Активный участник

    4.144
    0
    давно не интересовался этим вопросом, но если память не изменяет, то ранее, выпуск 60-ти и 80-ти гиговых сегейтов был чисто маркетинговой фишкой, для расширения модельного ряда. Т.к. начинка была идентична, и лишь на программном уровне отлючалась одна из головок. Вполне себе допускаю, что и нынче так поступают.
     
  12. nibumbum

    nibumbum Активный участник

    2.882
    0
    Миш, сорри, а не проще ли применить сохранённые xmp к dng-шкам прямо в конверторе, командой load settings?
     
  13. UncleSam

    UncleSam Активный участник

    11.867
    7
    Тыщу штук по одному? Мне кажется, что проще не будет :shuffle:
     
  14. IvUs

    IvUs Активный участник

    10.987
    57
    детский лепет это когда лепят про "жуткую ненадежность" да еще отталкиваясь от магической цифры в 500гб.
    А у меня маленькая личная статистика. :d

    ---------- Сообщение добавлено 07.06.2012 13:06 ----------

    Ага. То есть, оказывается, есть более надежные и менее надежные винты, и ценовые категории бывают разные, а не просто "винты свыше 500 гигов ненадёжны".

    Зачем отвлекаться? :)
     
  15. ego

    ego Участник

    229
    0
    Миша, я заценил.
    Так что спасибо.

    --------------
    С уважением
    Евгений
     
  16. UncleSam

    UncleSam Активный участник

    11.867
    7
    Ещё довольно интересный опыт. Обработал пакетно XMP-шки Perl-овым скриптом и сконвертировал DNG Convertor-ом. Он внедрил XMP в DNG, а сам исходник оставил без изменений!!! То есть, подгружаем в рум, видим все настройки, а по нажатию Ctrl-Shift-R смотрим оригинальную картинку. XMP, таким образом, можно выкидывать сразу после конвертации.

    А вот если румом экспортировать, то он содержимое DNG приводит в соответствие с найстройками, т.е. гробит исходник.

    Иными словами, конвертить в lossy надо ТОЛЬКО DNG convertor-ом!!! Думаю, это очень существенный вывод.

    Если кому надо, то вот мой скрипт. Делает замену во всех XMP в текущем каталоге и всех подкаталогах, а оригиналы сохраняет под именем *.orig.
    Эх, люблю Perl :)
     
  17. UncleSam

    UncleSam Активный участник

    11.867
    7
    Ну и совсем уж, надеюсь, последние изыскания показали, что при использовании Adobe DNG Converter-а даже с уменьшением количества пикселов исходный массив данных не претерпевает никаких изменений, кроме собственно ресайза, ну и, как пишут в тех. документации, дизеринга. Можно делать что угодно: менять экспозицию, рисовать кистями, включать шумодав и т.д. Конвертору на всё это фиолетово, он всех этих редактирований не видит, а только тупо внедряет XMP в готовый DNG, полученный из сырых данных.

    Если меняется размер, то координаты всяких там кистей, градиентов и удалялок пятен, соответственно, пересчитываются.

    А вот рум при конвертации поганит исходный массив.

    Итак, ТОЛЬКО днг конвертер!!! Никаких румов для конвертации в lossy dng!!!

    Выходит, моя перловая программа как бы и без надобности. Новый алгоритм туп до безобразия: делаем с равами что угодно, потом в любой момент конвертируем в DNG адобе конвертером (!!!) и убиваем равы+хмп.

    Неудобство DNG (спасибо тебе, добрый дядюшка адоп) в том, что все изменения пишутся прямо в файл. Убил бы за это. Дайте мне базуку кто-нибудь. Поэтому перед существенными изменениями не забываем делать виртуальные копии.
     
  18. sblack

    sblack Активный участник

    864
    0
    ))) ну-ну
    ЗЫ: насколько я знаю, xmp был придуман для того чтобы не нарушать авторских прав производителей на их RAW форматы. Дело тут именно в этом, а не в невозможности сохранить настройки в CR2 или другом RAW файле. DNG снимает это ограничение и надобность в xmp отпадает
     
  19. UncleSam

    UncleSam Активный участник

    11.867
    7
    Так как за всю мазуту пользуюсь пожатым днг, и это просто праздник какой-то (дружно вспомнили Карабаса в исполнении Этуша), напишу об опыте использования.

    Первое и главное замечание: почти всё написанное выше надо вычеркнуть :)

    Конвертирую сейчас в руме. Это удобнее. Никаких недостатков по сравнению с днг конвертором на самом деле нет, я ошибался.

    Lossy DNG полезен, если а) обрабатывать планируется только в руме и б) вам не нужно запредельное качество.

    Я конвертирую бюджетку в 6 мпкс. Этого вполне достаточно для печати 20*30 и более чем - для 10*15 и 15*21. DNG-шка с полноразмерной (!!!) превьюхой (очень удобно для отбора-сортировки) занимает где-то 3,5-4 Мб. К примеру, я сегодня настрелял на 8-мегапиксельный кенон где-то 10-12 гигов, а после конвертации они превратились в 3,7. Неплохая прибавка к пенсии (дружно вспомнили Голубкова в исполнении Пермякова). А с 14-мегапиксельного панасоника вообще разница раз в пять. Главное - это лишнее на винте не хранится. То, что ни в жисть востребовано не будет.

    Сжатый днг сохраняет практически исходные возможности накрутки ББ и экспозиции. По шумам и детализации я сравнивал пиксел в пиксел картинку из рава и из лосси днг и глазоньками разницы не увидел. Приборы, уверен, покажут разницу. Наложите слои в режиме вычитания, если вам делать нехрен, и расскажите, как глубоко я неправ.

    Короче, это восхитительное средство для ускорения работы и экономии места. Ведь даже если пикселы не резать, то всё равно они меньше места занимают, чем равы, и лайтрум с ними побыстрее шуршит. А вот прикола насчёт fast preview data я так и не понял. Никакого ускорения не заметил, зато размер растёт, и равки эти никто отобразить не может.

    Ну а что-то ценное и полезное лучше хранить в исходниках. К тому же, вдруг захочется другим конвертором воспользоваться. Lossy DNG никто, кроме адобы, не понимает, плюс всё равно есть же какие-то потери цвета. И если перегонять днг из сжатого в несжатый, который понимают все, то у альтернативных конверторов крышняк сносит.

    Из недостатков: при первичном конвертировании превьюшка почему-то криво вставляется. Чтобы было нормально, в руме надо делать Metadata -> Update DNG Preview & Metadata.
     
  20. dr.ZmeY

    dr.ZmeY Активный участник

    4.495
    0
    Вот, Миш, ты себе игрушку нашёл... Ну тебе понятно, ты каждый столб на улице сериями жахаешь...))) Мне этого не надо. У меня RAID из четырех SAS по 1Тб... мне хватает )))
     
  21. UncleSam

    UncleSam Активный участник

    11.867
    7
    dr.ZmeY, не угадал. Как раз-таки столбы у меня в равах хранятся. А в сжатом днг - то, за что деньги плотють. Я ж для себя, любимого, в руме не обрабатываю :) RPP only. А он лосси не понимайт. Пытается открыть, но пишет что-то вроде hände hoch или, может, nicht schießen, я особо не присматривался, да и венгерский этот для меня - тёмный лес. С другой стороны, если для клиентов в рпп полноформатные равки обрабатывать, то с голоду помрёшь. Оно круто, конечно, но медленно, а кто б за это платил.
     
  22. Akvilon

    Akvilon Активный участник

    6.901
    0
    dr.ZmeY, ты же свадьбы снимаешь, или я ошибаюсь?
     
  23. UncleSam

    UncleSam Активный участник

    11.867
    7
    Вообще здесь, по-моему, та же история, как с большими фотоаппаратами. Есть люди, которым килограммы, мегапикселы и гигабайты душу греют. К сожалению, я к ним не отношусь. Меня бесят и лишний вес, и лишние пикселы, и лишние байты.

    Соглашусь, что винты не запредельных денег стоят и можно ходить и каждые полгода покупать по терабайту. Но ведь возникнет та же ситуация, что с CD и DVD: где всё это дерьмо хранить и как оттуда выковыривать нужное? Но если дисков будет в 3 или 5 раз меньше, то коллапс откладывается, соответственно, на более поздний срок.

    Софт решает хардверные проблемы. Разве ж не зашибись?

    Не панацея, но и не безделушка. Что-то среднее.
     
  24. Akvilon

    Akvilon Активный участник

    6.901
    0
    UncleSam, не сравнивай. Килограммы создают реальные проблемы. А проблема с лишними мегабайтами при нынешней цене винтов кажется надуманной.
     
  25. UncleSam

    UncleSam Активный участник

    11.867
    7
    Akvilon, кроме цены, есть ещё одна штука: управлять этим зоопарком и резервными копиями. Потому что без резервирования архив - не вполне архив. Реально, тут с одним-то внешним винтом гимор, а если их три или, не приведи, господи, пять?

    У тебя архив на CD/DVD был когда-нибудь?
     
  26. Akvilon

    Akvilon Активный участник

    6.901
    0
    UncleSam, на CD/DVD был. Вот как раз во времена CD для меня была актуальна экономия места на винте :d А вообще я ж не утверждаю, что проблема вообще не актуально. Просто мне кажется, что ты перегнул, сравнив её по актуальности с килограммами желаза :)
     
  27. Emin

    Emin Активный участник

    1.281
    0
    5 баллов!!!!!!
     
  28. dr.ZmeY

    dr.ZmeY Активный участник

    4.495
    0
    Akvilon,
    Уже лет 5 или 6 не снимаю... Так, балуюсь со стоками и журналами...
     
  29. UncleSam

    UncleSam Активный участник

    11.867
    7
    Чё так мало-то? Восемь, как минимум.

    Блин, вот в кого пальцем ни ткни, каждый умнее меня. Это ж надо, каким меня мать недоумком родила. И, главное, поделать с этим ничего нельзя. Гены-с.

    Именно в этом состоит главное отличие русских форумов от буржуйских. На русском форуме что ни скажи и что ни спроси, обязательно тебя идиотом изобразят.

    Мне-то пофиг, но всем умным рекомендую скромнее быть и ум не так ярко засвечивать, ибо рано или поздно и вас дураками покажут, а вам, в отличие от меня, будет обидно. А если каждый с себя начнёт не умничать, так и всем ништяк будет. Все будут наслаждаться жизнью в прекрасном и удивительном мире, где все люди плюс-минус идиоты, и потому никто не пытается других уму-разуму учить. Просто дураки будут своими дурацкими знаниями и мыслями делиться, и каждый из общего котла возьмёт, что ему нужно, а что не нужно, молча другим оставит. Вдруг кому-то пригодится.
     
  30. kharkov

    kharkov Участник

    483
    0
    и что сообщили грамотные специалисты? что, чем мельче пиксель, тем надёжнее?
    конечно, винт по 500 можно сделать из двух блинов по 250, и, соответственно, плотность записи меньше, а надёжность - выше. а еще лучше - два отдельных винта по 250
    а стали придираться к цифрам: почему именно 500, а не 799?
    с формулой "чем больше плотность записи, тем меньше надёжность" кто-нибудь будет спорить, или как?
    посудите сами: ткнул иголкой в поверхность винта, а на этом месте был целый гигабайт информации - он пропал
    а если ткнул иголкой в квадратный пиксель, попал только в середину, а по краям еще вон сколько намагничено - оно и не размагнитится

    эээээ... где эту нынешнюю цену винтов, эта, искать?
    и, раз уж общался со специалистами, подскажи, какие, там, модели самые надёжные, что-ли...