fractal

Иван Сторожев


Previous Entry Share
fractal

[sticky post]Для коммутации

Для того, чтобы мне что-нибудь сообщить. Комменты скринятся

  • 1
vas_s_al January 23rd, 2012
Иван, добрый день!
Пишу вам, чтобы выразить своё сожаление по поводу того инцидента, который, видимо, имел место в сообществе "Знание-сила".

Я не знаю обстоятельств конфликта, но мне очень грустно, что один из организаторов дела просвещения интернетчиков (модератор) задел (вольно или невольно) активного участника дела просвещения интернетчиков (т.е. вас).

Пожалуйста, обдумайте всё спокойно. Мне кажется, что две книги из многих сотен, которые вы уже там выкладывали - это ничтожно малый процент разногласий.

Мы не знакомы с вами лично, однако ваше участие в распространении знаний по Китаю и плановой экономике (мои любимые темы) и ваши советы по сканированию привели к тому, что вас я больше, чем кого бы то ни было ещё среди виртуальных френдов, считаю товарищем. В полном смысле этого слова.

Я очень надеюсь, что соображения общей пользы смягчат вас. Тем более, что vwr, кажется, обескуражен и явно не расчитывал на такой результат.

Мы все иногда ошибаемся. И все иногда нечаянно обижаем других людей.
Прошу вас, возвращайтесь.

Алексей.

ivanstor January 23rd, 2012
Дело в том, что это не первая выходка, по отношению к моим постам, модераторов знания-власть. Обратите внимание: в обсуждение моего поста сразу всплыл вопрос "а не выпилить ли что-нибудь ещё?".
Я занимаюсь обработкой книг для собственного удовольствия и в рассуждении улучшения кармы :-)
Заниматься пустыми препирательствами с людьми, которые "не понимают" у меня нет ни времени, ни желания. Я сделал две попытки — этого вполне достаточно.
И ещё. Возможно, Вы не поверите, но я не обиделся. У меня вообще нет никаких эмоций по отношению к модераторам сообщества. Только голая целесообразность: взаимодействие с неадекватами занимает слишком много времени, создает атмосферу непредсказуемости, а у меня его, времени, мало и нет никакого желания разгадывать извивы сознания неинтересных мне людей.
Что касается Вашей беспокойства относительно коллекции сырых сканов, то я ведь предложил схему взаимодействия. Вы выкладываете ссылку в эту ветку или присылаете в личку. Я обрабатываю и выкладываю в свой журнал. Вы забираете и, разумеется, делаете что хотите. Дальнейшая судьба обработанных мною книг меня совершенно не интересует. Их уже и продают активно, да и черт с ним.
Если, по каким-то причинам, Вас не устраивает такая схема — предложите свою. Согласуем условия и будем работать. Я, например, очень хотел бы почитать упомянутую Вами "Ниву".

vas_s_al January 24th, 2012
Как вариант - я по-прежнему выкладываю сканы в "Знание-силу", вы их оттуда качаете, понравившиеся обрабатываете, выкладываете у себя. Я таскаю их из вашего журнала обратно в З-С.
Такой вариант даёт возможность видеть "сырые" архивы всем желающим.

В случае недоразумений шишки сыпятся на меня. Как вам?

"Нива" будет в ближайшее время.
Я сейчас переснимаю Гладышевского и ещё несколько книг, которые по-хорошему надо давно было бы отдать владельцу. Использование сканера вместо фотоаппарата положительно сказалось на качестве формул и индексов. )
А "Ниву" я недавно позаимствовал, её пока можно подержать у себя.

Пока я доучился до обработки сканов СканТейлором с выделением зон картинок. Кстати, как потом страницы с картинками сжимать? А то я сканирую в 600 дпи, как вы советовали, и получается, что несколько страниц с картинками в итоговом пакете занимают места столько же, сколько все остальные бинаризованные страницы с текстом.
Так что новые сканы буду выкладывать в виде "полуфабрикатов".
Степень готовности полуфабрикатов будет повышаться по мере освоения мною всё более поздних стадий обработки.

ivanstor January 24th, 2012
Как вариант - я по-прежнему выкладываю сканы в "Знание-силу", вы их оттуда качаете, понравившиеся обрабатываете, выкладываете у себя. Я таскаю их из вашего журнала обратно в З-С.
Такой вариант даёт возможность видеть "сырые" архивы всем желающим.
В случае недоразумений шишки сыпятся на меня. Как вам?


Что-то мне в этом подходе не нравится, как легко догадаться. В итоге я буду продолжать работать от З-С и на З-С, поскольку будет очевидно, где я взял сканы. Идеальный вариант для модераторов.

Пожалуй, я от такого варианта откажусь. Думаю, что если бы Вы примерили этот вариант на себя, то, наверное, и не стали бы его предлагать.
Кстати, сколько ваших сырых сканов обработали "все желающие"? Я прикидываю, в пределах первых десятков. Или меньше?
В общем, может быть всё же остановимся на варианте приватной передачи мне сырых сканов? Если я какой-либо скан сочту непригодным для обработки, я Вам об этом сообщу, в разумные сроки, и вы сможете выложить его в надежде на обработку кем-то ещё. Т.е. вы ничего не теряете.
------
Касательно СканТейлора и картинок.
Пожалуйста, не надо высылать мне "полуфабрикаты" для обработки. Практика показывает, кем-то предварительно обработанные сканы могут как сильно облегчить мою задачу, так и строго наоборот.
Я всегда готов скачать сделанные Вами полуфабрикаты (у меня быстрый интернет) и дать любые консультации, но для продакшена лучше давать мне совсем "сырые" сканы. Дело в том, что я использую СканТейлор только для обрезки полей и устранения перекосов. Потом сохраняю в серое/цветное. А преобразование в черно-белое и вообще доводку, я делаю на другом ПО и по сильно ресурсоемким алгоритмам. Достаточно сказать, что у меня в коридоре на антресоли стоит довольно мощный компьютер (4 ядра, 3.4 Гц, 8 Гб). Компьютер "голый", без монитора и клавиатуры, и работает круглосуточно. Именно на нем я осуществляю конвертацию сканов. И именно поэтому из Ваших фотографий получаются такие неплохие DJVU. Например, последняя книжка "К семидесятилетию Сталина..." считалась часов 8. СканТейлор так обрабатывать не умеет.

По картинкам скажу в следующем комментарии. Там всё непросто.

ivanstor January 24th, 2012
Теперь конкретно по картинкам. Ни в одном из сделанных мною сканов я не использовал для разделения картинок СканТейлор. С картинками он работает очень неважно. Но даже если его использовать для выделения картинок, нужно сначала, до СканТейлора, убрать у них типографский растр. Иначе неизбежна их порча при исправлении перекосов СканТейлором.
Что это за типографский растр, почему его нужно убирать и как это сделать Вы можете gjlhj,yj почитать здесь. Это сайт лучшего средства для удаления типографского растра из сканов — плагина Descreen (для фотошопа).

Кратко, если не удалить типографский растр, то при последующих поворотах (особенно на маленький угол) и изменении размеров картинок, на них возникает характерные дефекты в виде наклонных полос, регулярно расположенных пятен и просто изображение выглядит "грязно". Причем при сканировании в низких разрешениях, примерно 300 dpi и меньше, все эти дефекты могут появиться сразу во время сканирования и хорошо видны на сырых сканах. Следует учесть, что эти дефекты возникают не всегда и выглядеть могут по разному. Фактически, это результат интерференции двух регулярных структур, т.е. муар.

С размерами ситуация следующая.
Из-за типографского растра картинки нужно сканировать в высоком разрешении, от 600dpi. Но для конечного результата, книги в DJVU или PDF, такое разрешение не нужно и полностью бессмысленно! Наоборот, нужно уменьшить картинки до размеров, соответствующих сканированию в 150-200 dpi, причем потерь в деталях не будет.
Т.е. после сканирования в 600dpi и удаления растра, можно и нужно уменьшить картинку в 3-4 раза по линейным размерам. Поскольку размер файла картинки пропорционален, в первом приближении, её площади, т.е. квадрату линейных размеров — экономия получится очень большая.
Но обратите внимание. Тест уменьшать до 150-200 dpi нельзя. Наоборот, мы тестовые страницы (без картинок) сканируем в 300 dpi и потом увеличиваем в два раза, до 600 dpi.
Поэтому если на странице одновременно есть текст и полутоновая картинка, то применяют следующую последовательность действий:
1) Сначала удаляют типографский растр на картинках. При этом текст не должен быть затронут фильтром, поскольку фильтр снижает его четкость. Т.е. нужно выделить картинки и только потом сделать descreen. Это нужно делать до любых других операций. Можно, однако, поворачивать картинки на угол, кратный 90° — это не помешает удалению растра. Но на любой другой угол поворачивать нельзя.
2) Потом все сканы засовываем в СканТейлор. Если надо, разрезаем развороты, обрезаем, выравниваем, устанавливаем поля.
3) Дальше есть такие варианты:
3.1) Выделяем картинки в СканТейлоре, в нем же бинаризуем текст. Потом, с помощью утилиты ST split разделяем картинки и текст и программой DjVu Imager кодируем всё в djvu. Я не пользуюсь этим способом.
3.2) Картинки разделяем Сканкромсатором и потом кодируем в DjVu скриптом в комстроке. Я редко, но пользуюсь этим способом.
3.3) Картинки разделяем в ФотоШопе. Для этого у меня есть набор action's, которые сильно убыстряют процесс. Бинаризацию делаю тоже набором action's ФотоШопе или, если скан плохого качества, скриптом в комстроке с помощью других программ. Потом пакую в DjVu, как в варианте 3.2.
Вопросы?

vas_s_al January 24th, 2012
Эм...
Понятно, что всё несколько сложнее, чем я представлял.
С картинками понятно.
Со степенью готовности сканов - тоже.

1) Скажите, почему вы не пользуетесь вариантом 3.1. Он кажется самым простым и про него написано на сайтах.

2) Если картинок в книжке нет, достаточно ли, на ваш взгляд, стандартной процедуры СканТейлор - сборка в DjVu? Почему вы не пользуетесь бинаризацией в СканТейлоре?

ivanstor January 28th, 2012
Появилось время, отвечаю на вопросы.

1) Скажите, почему вы не пользуетесь вариантом 3.1. Он кажется самым простым и про него написано на сайтах.
Потому, что СканТейлор не очень хорошо автоматически выделяет картинки. Всё равно приходится каждую просматривать и часто вручную подправлять. А последнее в СканТейлоре делать неудобно.
Потом запускать ST Split, что-то там настраивать... В общем не получается экономии времени. Хотя если сканы хорошие, а картинки контрастные по отношению к тексту, можно пользоваться и СканТейлором. Тут надо каждый раз решать с конкретным сканом. С накоплением опыта, становится ясно с одного взгляда — будет СканТейлор работать на этом скане или нет.

2) Если картинок в книжке нет, достаточно ли, на ваш взгляд, стандартной процедуры СканТейлор - сборка в DjVu? Почему вы не пользуетесь бинаризацией в СканТейлоре?
Тут такое дело. Авторы спроектировали СканТейлор делая упор на максимальной простоте использования. Пользоваться действительно просто, но при этом пришлось делать много компромиссных решений. В частности бинаризацию плохих сканов, например Ваших фотографий, СканТейлор делает, как правило, не очень хорошо, а хорошие сканы он делает хорошо, но долго.
Поэтому я и пользуюсь для бинаризации другой программой.
Однако если сканы нормальные, со сканера, не испорчены сжатием в JPEG, вполне можно пользоваться для бинаризации СканТейлором. Тут опять "практика — критерий истины" :-)

vas_s_al March 13th, 2013
Иван, здравствуйте!
Я на ДР сделал подарок сам себе - новый комп.
И поскольку с некоторыми моими книгами возникают объективные сложности, связанные с их обработкой, думаю, будет правильно, если я сам буду работать над своими кривыми сканами.

В связи с этим не согласитесь ли вы поделиться со мной вашими ноу-хау в области создания электронных книг.

Из моих сканов хорошего качества вы делаете Дежавю, которые я считаю эталонными, поэтому если вы раскроете технологию, я буду знать, что делаю лучшее из возможного. И буду спокоен и весел.

Я читал ваши инструкции, размещенные в интернете, но, как я понимаю, им уже несколько лет, наверняка с тех пор подходы поменялись.

ivanstor March 13th, 2013
Давайте сделаем так.
Во-первых, дальнейшее общение на эту тему лучше вести емейлом. Поэтому пришлите мне в комментарии к этому посту свое мыло, я на него отвечу. Адрес, с которого я отвечу, и будет для общения.
Во-вторых, какой-то жесткой методики, которую я мог бы рассказать, а Вы, следуя ей, получили бы хороший результат, нет. Это правда, я не пытаюсь Вас деликатно послать. Основа работы -- знания и опыт. Процесс обрабтки я гибко меняюю, в зависимости от скана. Если скан простой -- изменений нет и рузультат получается быстро и он качественный. Если же скан сложный, время и усилия по обработке легко возрастаю на порядки, буквально. Опираюсь при этом на теоретические знания по обработке изображений и опыт, который "сын ошибок трудных".
Начать следует с этих ссылок, там есть ссылки на методики и нужны программы:
http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=32945
http://forum.ru-board.com/topic.cgi?forum=93&bm=1&topic=3514
http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=29984
http://www.djvu-soft.narod.ru/
Особенно обратите внимание на ссылке в начале тредов на http://forum.ru-board.com/

Для ориентира привожу список программ, которые я постоянно использую, практически с каждым сканом. Хотя все одновременно не всегда.
Фотошоп, с плагинами ScanMacros (Автор: Arcand); Descreen, платный, находится в сети в полпинка.
ScanTailor
ScanKromsator
ImageMagick
G'Mic (в комстроке)
FR версия 8
Book Restorer
DjvuOCR
Djvu Small Mod
DjvuLibre
Gimp с рядом плагинов, в частности G'Mic в версии плагина.
Perl
Процесс обработки идет частично в программах с графическим интерфейсом, частично в комстроке. Имеется набор написанных мною скриптов на Perl и cmd, которые постоянно модифицирую под текущий скан.

Иногда использую и другие программы, но перечисленные использую постоянно.
Всегда готов ответить на вопросы, особенно конкретные.
Может быть, Вам стоит попробовать что-то реально сделать, а я бы посоветовал по конкретным проблемам?

Книга Г.Х. Эйхе. Опрокинутый тыл.

garaif August 6th, 2013
Здравствуйте, Иван!
Вопрос по книге: Эйхе Г.Х. Опрокинутый тыл. М.: Воениздат, 1966. Скажите, пожалуйста, у Вас есть возможность перезалить оцифрованную копию этой книги? К сожалению, у ранее выложенной на сервисе "narod.ru" копии закончился срок хранения и соответствующий файл был удален.
С уважением, Сергей.

Re: Книга Г.Х. Эйхе. Опрокинутый тыл.

ivanstor August 6th, 2013
Возможности выложить нет. Но книга есть на торрентах. Например, на http://rutracker.org

Re: Книга Г.Х. Эйхе. Опрокинутый тыл.

garaif August 6th, 2013
Скачать издание с Рутрекера уже пробовал. Но здесь по меньшей мере две недели нет ни одного сида для раздачи этой книги. Возможно, Вам известен кто-то в ЖЖ, у кого еще сохранилась электронная копия этого издания, кто не счел бы за труд ею поделиться? В библиотеках нашего города, к сожалению, искомой книги нет.

Re: Книга Г.Х. Эйхе. Опрокинутый тыл.

ivanstor August 7th, 2013
Попробуйте узнать у absurdman. Он предоставил сканы.

well_p December 8th, 2013
Простите а как все таки http://biblio.unibe.ch/adam/zoom/zoom.php?col=ryh&pic=Ryh_5917_59 отсюда можно картинки копировать ? Был бы вам очень признателен за подсказку .

ivanstor December 9th, 2013
Ответил в личку

sectopod January 9th, 2014
Здравствуйте! Такой вот вопрос - не доводилось ли вам работами с материалом, отснятым не на сканере, а фотоаппаратом? Можно ли таким путём получить приемлемый результат?

ivanstor January 11th, 2014
Такой вот вопрос - не доводилось ли вам работами с материалом, отснятым не на сканере, а фотоаппаратом?
Приходилось. БОльшая часть сканов vas_s_al'а как раз сделаны фотоаппаратом.

Можно ли таким путём получить приемлемый результат?
Можно, но при прочих равных сканер предпочтительней.

  • 1
?

Log in

No account? Create an account