Фотопейзаж и компьютер

1.7. Механизмы константности зрительного восприятия

Деятельность мозга по улучшению картинки нужно описать подробнее. Еще Декарт заметил, что часто мы визуально воспринимаем вещи правильнее, чем это можно было бы сделать, основываясь только на том, как они видны в реальности. Это явление называется константностью зрительного восприятия.

Существует множество видов константности восприятия: константность восприятия размеров, формы, яркости, цвета и другие.

Так, в изображении на сетчатке размеры предметов подчиняются законам передачи перспективы. Но благодаря механизму константности размеров мы воспринимаем размер очень близких предметов уменьшенным по сравнению с тем размером, который получился на сетчатке. А размер удаленных предметов воспринимается немного увеличенным. То есть, мозг частично исправляет перспективные искажения размеров предметов. Коррекция восприятия осуществляется на основе сведений об условиях просмотра (в том числе, с учетом признаков глубины) и хранящихся в памяти знаний о свойствах предметов, которые мы видим.

Включив лампу накаливания, мы обнаруживаем, что белая бумага стала восприниматься немного желтоватой. Однако через небольшой промежуток времени бумага снова станет восприниматься белой. Произошла адаптация к цвету источника освещения. Влияние цвета источника освещения на воспринимаемый цвет ослабляется свойством зрительной системы человека, которое называется хроматическая адаптация.

Видя нарисованный на картинке эллипс, мы часто можем легко определить по остальным деталям картинки, что на самом деле это – круг, видимый сбоку. Сработала константность формы.

Наличие механизмов константности зрительного восприятия объясняется тем, что человеку важнее выделить в изображении реальные знакомые объекты, чем определить фотометрический уровень освещенности или, к примеру, цвет источника освещения.

Разумеется, мозг корректирует (с помощью накопленных знаний) информацию, получаемую не только от органов зрения, но и от других органов чувств.

Обнаружено, что степень такой коррекции (коэффициент константности), обычно составляет 10–70 %. Константность восприятия наблюдается уже у трехлетних детей, и ее развитие продолжается до 10–12 лет.

Мы можем не только видеть предметы или пейзажи, но и вспоминать их и даже мысленно конструировать их. Различают следующие основные виды визуальной памяти.

• Сенсорная (иконическая) память – это, например, изображение, остающееся в памяти после срабатывании вспышки в темной комнате. Длится около полусекунды, но содержит многие детали. Объясняется продолжающейся активностью фоторецепторов и тех нейронов, которые находятся в сетчатке и, возможно, в первичной зрительной коре.

• Кратковременная память хранит последовательные менее детальные визуальные образы и в более структурированном виде, но не более 30 секунд. Также объясняется продолжающейся деятельностью нейронов, но уже, возможно, той, которая обеспечивается обратными связями между ними.

• Долговременная память может хранить картинки (фрагменты картинок) годами и даже всю жизнь. Объясняется возникшими при запоминании изменениями в структуре связей между нейронами и в свойствах синаптических переходов. Долговременная память ассоциативна. Чтобы вспомнить какой-либо пейзаж, часто бывает нужно сначала вспомнить ту поездку, во время которой он был увиден, или какие-то обстоятельства, с ним связанные. Картинки, хранящиеся в такой памяти, сильно перемешиваются с воспоминаниями других типов (звуки, запахи, эмоции и другие). Запомненные картинки, похоже, с течением времени постепенно деградируют.

Процесс восприятия изображения сложным образом переплетен с деятельностью визуальной памяти:

• восприятие картинки непрерывно корректируется с помощью информации, хранящейся в визуальной памяти;

• воспринимаемые картинки непрерывно поступают в память;

• видимая картинка содержит больше деталей, чем находится в памяти.

Говорят, что встречается фотографическая память (эйдетическая). Это когда человек может взглянуть на лист бумаги с каким-то незнакомым ему текстом, закрыть глаза и по памяти зачитывать этот текст хоть слева направо, хоть наоборот, а хоть и снизу вверх. И даже правильно отвечать на неожиданные вопросы, например, если соединить заданные три слова линиями, то получится острый угол или тупой. Вместо текста может быть взята картинка. Однако, похоже, научным образом этот феномен никогда не исследовался, и существует ли он на самом деле, неизвестно.

1.8. Сравнение с фотоаппаратом

Попробуем сравнить процессы обработки изображения (в нашем случае пейзажа) фотокамерой и зрительной системой человека.

Сначала сравним «угол зрения» объектива с углом зрения глаза.

Нормальная острота зрения у человека – это когда не сливаются в одну точку две точки, разделенные углом в 1 дуговую минуту, что соответствует 60 пикселям на градус (пнг). Средняя острота зрения примерно равна 85 пнг, а для пилотов морской авиации США – 150 пнг.

Для человека с остротой зрения 85 пнг и полем зрения 180° × 125° получаем, что полное изображение состоит из 15300 × 10625 пикселей, то есть, около 163 мегапикселей.

Для одного «кадра» поле зрения приблизительно равно 1° 40' × 1° 40', и часть изображения, спроецированного на фовеа, состоит из 142 × 142 пикселей, то есть, около 0.02 мегапикселей.

Для 100-миллиметрового объектива (углы зрения по горизонтали 20° и по вертикали 14°) и камеры с сенсором 5472 × 3648 пикселей получаем «остроту зрения» этой пары в 273 пнг по горизонтали и 243 пнг по вертикали.

Теперь сравним рецепторы сетчатки с пикселями сенсора камеры.

Размер наружной части рецептора, содержащей светочувствительный пигмент, равен 1 ÷ 2 микрон для палочки или 1 ÷ 5 микрон для колбочки. Размер пикселя сенсора равен 2.5 ÷ 8 микрон, размер зерна фотопленки: 0.05 ÷ 3 микрон.

Плотность палочек: 40–150 тысяч на мм², колбочек: 5–150 тысяч на мм². Плотность фоторецепторов сенсора – до 40 тысяч на мм². На цветной фотографии: около 30 тысяч точек на мм².

Чувствительность: 5–14 фотонов для палочки и в 100–1000 раз больше для колбочки. Для сенсора – несколько фотонов (сенсор ICCD, intensified CCD, усиленный ПЗС-сенсор), для зерна высокочувствительной фотопленки – 4 фотона.

Разрешающая способность: Количество рецепторов сетчатки одного глаза – 130 миллионов. Количество пикселей сенсора обычного фотоаппарата – до 30 миллионов. Максимальный размер кадра на сегодняшний день имеют 80-мегапиксельные матрицы в цифровых задниках Phase One iq280: 53,7×40,4 мм. Разрешающая способность сенсора: от 200 линий на миллиметр (у крупноформатных цифровых фотокамер) до 70 линий на миллиметр (у web-камер и мобильных телефонов).

Получается, что по количеству пикселей и их средней плотности фотоаппараты догоняют глаз. Но вот разрешающая способность сетчатки в центре фовеа пока что в 2–8 раз выше, чем у сенсоров современных камер (если сравнивать только плотности рецепторов и пикселей, без учета «оптики»).

Как воспринимается яркость сцены фотоаппаратом и зрительной системой человека?

Зависимость воспринимаемой глазами яркости от фактической яркости предмета нелинейна. Для того чтобы почувствовать изменение яркости в темных тонах, достаточно очень небольшого изменения фактической яркости. Тогда как для того, чтобы почувствовать изменение яркости в светлых тонах, потребуется более сильное изменение фактической яркости. В такую нелинейность вносят свой вклад следующие факторы:

• переключение рецепторов: при низких яркостях работают палочки, а при более высоких яркостях палочки полностью насыщаются и работают только колбочки; на промежуточных уровнях яркости функционируют и те и другие;

• истощение пигмента рецепторов на высоких уровнях яркости;

• изменение чувствительности сетчатки к свету, осуществляемое на уровне нейронов сетчатки;

• когнитивные механизмы – регулирующие восприятие яркости на основании знания наблюдателем содержимого сцены. Например, мы избегаем смотреть на солнце или на огонь электросварки незащищенными глазами.

Благодаря всему этому наши глаза могут видеть в диапазоне яркостей, границы которого различаются в 2²⁴ раз, то есть более чем в 16 миллионов раз! При этом роль сужения зрачка относительно невелика. Максимальные изменения зрачка для здорового человека – от 1,8 мм до 7,5 мм, что соответствует изменению площади зрачка всего в 2⁴ раз.

Теперь о яркости в числах.

Динамический диапазон (диапазон яркостей), воспринимаемый человеком: дневное зрение – 15 000: 1 (13 EV, exposure value), ночное зрение – 10 000 000: 1 (27 EV). Для сравнения, темная ночь: -6 EV, яркий солнечный свет: +22 EV. Контраст, воспроизводимый на бумаге: 8 EV, на пленке: 8–14 EV, воспринимаемый сенсорами цифровых камер: 8–14 EV, на экране монитора: 10 EV.

Снова сравним с фотоаппаратом. Для сенсора камеры зависимость воспринимаемой яркости от фактической яркости предмета линейна, за исключением краев воспринимаемого диапазона. Поэтому диапазон яркостей камеры с 14-битной разрядностью всего лишь 2¹⁴, что менее 17 тысяч. Но и это только теоретически. На практике из-за наличия шума этот диапазон снижается до 2⁹, что равно 512.

Следовательно, наши глаза лучше приспособлены для среды с широким диапазоном яркостей, чем наши фотоаппараты. Правда, нужно уточнить, что перепад яркостей, для которого темновая адаптация не превышает десятых долей секунды, составляет только 10–13 EV. Чтобы получить значение 27 EV для ночного зрения, приведенное выше, необходимо адаптироваться в течение получаса и более.

Фотоаппарат строит попиксельное отображение 3-мерного пейзажа на плоскость кадра по законам прямой линейной перспективы, которое затем обрабатывается программным обеспечением камеры и, возможно, пользователем с помощью компьютера, и воспроизводится на экране монитора или на каком-нибудь носителе (бумаге, пленке, ткани).

Система «глаз-мозг» превращает 3-мерный пейзаж в серию «кадров», каждый из которых содержит резкое отображение на плоскость (точнее, на внутреннюю поверхность сферы) только небольшого кусочка рассматриваемого пейзажа. Далее, структура границ яркостей и границ цвета каждого кадра превращается в частотно модулированный сигнал и подвергается Фурье-анализу с целью обнаружения только самых важных для мозга деталей. Вся остальная информация об изображении, вероятно, пропадает (не запоминается), а в случае появления необходимости – домысливается мозгом с помощью предыдущих знаний, а также интерполяции поступивших данных об изображении.

Обработанное таким образом изображение пейзажа помещается в память. Увиденная картинка не отображается в голове целиком, а составляется из набора только тех объектов или свойств, которые были важны в момент просмотра. В этот набор входят: суть сцены (общее описание), размещение объектов (или пятен) по сцене и некоторые важные детали опознанных объектов.

Наибольшая разница между двумя этими системами обработки изображений состоит в цели обработки. Зрительная система человека не предназначена для любования пейзажем. Для нее нужно рассортировать элементы пейзажа на важные и неважные и обработать только важные. Таким образом, на выходе фотоаппарата мы имеем попиксельное изображение (фотографию), удобное для просмотра человеком. А «на выходе» зрительной системы человека, то есть в его зрительной памяти, – «разобранное на части» изображение, удобное для анализа структуры картинки и содержащее минимум малосущественных деталей.

Полученная с помощью камеры и распечатанная фотография сделана опять же для человека, который рассматривает ее и снова превращает в разобранную на части картинку, но уже другим образом, с учетом того, что это все-таки не реальный пейзаж, а всего лишь картинка. И, может быть, с учетом того, как понял зритель замысел фотографа.

Поскольку принципы работы сравниваемых систем различны, то приведенные выше цифры трудно сопоставить. Чему ближе соответствует количество пикселей сенсора? Количеству рецепторов сетчатки? Но сигналы от рецепторов не используются напрямую для построения изображения. Они подвергаются структурному анализу и малосущественная часть информации, полученная от сетчатки, пропадает.

Может быть, количеству волокон зрительного нерва (1–1.5 миллиона), по которым визуальная информация передается в мозг? Тоже соответствия нет, потому что по этим волокнам изображение передается в виде серии «частичных» картинок, соответствующих разным положениям проекции на сетчатку относительно фовеа. Да еще и преобразованное в серии нервных импульсов.

Зрительная система человека умеет адаптироваться к условиям наблюдения (яркости, цвету освещения). Цифровые камеры тоже пытаются осуществить баланс белого с помощью разных алгоритмов (рассмотрим в другой главе ниже).

В отличие от фотоаппарата, наблюдаемое изображение в голове находится в виде разных срезов, начиная от выделенных границ и карты движущихся элементов, до распознанных объектов и их значения для наблюдателя. Благодаря наличию прямых и обратных нейронных связей между этими срезами, картинки постоянно уточняются и информация об изображении непрерывно обогащается. Интерпретация картинки высшими слоями зрительной коры сравнивается с картинкой, полученной сетчаткой. И становится ясно, куда надо посмотреть еще и что уточнить. Отсюда – тот большой объем информации, которую можно получить с помощью зрительной системы.

В конце главы сделаем небольшое лирическое отступление. А все-таки, какой крутой «гаджет» дан каждому из нас! Я имею в виду наши головы. Мы пользуемся ими всю жизнь, днем и ночью. В начале жизни эти «гаджеты» имеют только какие-то базовые прошивку и чипы. Но с течением времени прошивка непрерывно обновляется, скачиваются все новые и новые приложения, новые микросхемы появляются, а старые перекоммутируются.

Этот процесс происходит частично автоматически, по мере появления изменений в окружающей нас среде, которые мы замечаем и обдумываем, а частично управляется нашими желаниями, когда нам хочется узнать что-то конкретное или научиться делать что-то нужное, и мы добиваемся этого. Чем больше наполняется начинка нашего гаджета, тем более тонкие детали окружающей среды начинают привлекать наше внимание, хочется их понять и когда это удается, функционал гаджета снова обогащается.

Когда моя дочь училась в пятом классе, она меня спрашивала: «Зачем мне, будущему гуманитарию, учить математику?». Я отвечал, что когда решаешь задачку, мысли в голове протаптывают тропинку, ручейки мыслей пробивают русла. И когда формулы и математические определения забудутся, эти тропинки и русла останутся и будут помогать правильно думать.

Сейчас я бы добавил, что сформированные в процессе изучения школьной математики структуры мозга позволят увидеть будущие, возможно совсем не математические, обстоятельства под новым углом, дадут еще один срез конкретной жизненной ситуации.

Глава 2
Цветовые пространства и модели восприятия цвета

Получив некоторое представление о том, как работает зрительная система человека, перейдем к нашей основной теме – фотографии. Но сначала нужно напомнить суть основных понятий, относящихся к цвету и восприятию цвета человеком. В детали вдаваться не станем, а затронем только то, что будем использовать в остальной части этой книжки. Кто захочет, всегда сможет изучить любой вопрос более глубоко, отталкиваясь от упомянутых здесь терминов и воспользовавшись поиском в интернете.

Во многих случаях, хотя, может быть, и не всегда, художник или фотограф хочет, чтобы цвета его картины или фотографии воспринимались зрителем точно так же, как их видит сам автор. Независимо от того, рассматривается ли изображение в виде твердой копии или в виде картинки на экране. Да еще и независимо от условий просмотра (освещение, фон, геометрия просмотра, окружение), которые могут быть не такими, как у автора. Системы управления цветом в компьютерных программах как раз и призваны решить эту задачу настолько, насколько это возможно. Для понимания сути происходящего необходимо знакомство с азами науки о цвете, которые и излагаются в этой главе.

Конечно, сходные проблемы возникают и в других творческих профессиях. Передача нужного смысла слова (строчки, абзаца) от писателя или поэта к читателю. Передача впечатления от музыкального произведения от композитора к слушателю. В отличие от передачи цвета в последнем случае едва ли возможна какая-то формализация. Слишком многое зависит от культурного уровня и опыта читателя/слушателя. Впрочем, аналогия просматривается очень четко, так что, вероятно, все-таки это будет сделано. Но пока можно считать, что фотографам еще повезло. Или не повезло, смотря как к этому относится.

2.1. Цветовые пространства

Как известно, воспринимая видимый свет, человек ощущает его яркость (интенсивность) и еще нечто, называемое «цвет». Интенсивность можно измерить физическим прибором, а цвет – напрямую нет. Но для того, чтобы работать с цветом на компьютере, нужно сначала цвет оцифровать, то есть, каждому видимому цвету поставить в соответствие число (или несколько чисел).

Можно было бы характеризовать цвет видимого излучения его спектральным распределением энергии, которое можно измерить. Тем более что излучение с одним и тем же спектром воспринимается разными людьми с нормальным зрением как имеющее один и тот же цвет. Но в то же время существуют пары излучений с очень разными спектрами, которые человеком воспринимаются как имеющие совершенно одинаковый цвет (явление метамеризма). Кроме этого, ставить в соответствие цвету не числа, а функции, неудобно.

Как оцифровать цвет проще, помогают понять законы Грассмана (Hermann Grassmann), открытые эмпирически еще в 1853 году в экспериментах по смешиванию лучей света разных цветов:

1) цвет трехмерен, то есть одному цвету нужно ставить в соответствие три числа;

2) при непрерывном изменении цвета только одного из смешиваемых лучей цвет смеси тоже меняется непрерывно;

3) цвет смеси зависит только от смешиваемых цветов и не зависит от их спектров.

Отсюда следует, что все видимые цвета должны образовать некоторую непрерывную область (тело) в трехмерном пространстве. Каждая точка этого тела будет соответствовать определенному цвету. Если выбрать два разных цвета и соединить соответствующие им точки отрезком прямой, то этот отрезок будет определять все оттенки, которые можно получить, смешивая эти два цвета. Причем в случае линейного пространства пропорция смеси будет равна отношению длин частей отрезка, на которые цвет смеси делит его.

Поскольку отрезок, соединяющий два любых видимых цвета, содержит только видимые цвета, то он полностью находится внутри тела видимых цветов, а это значит, что это тело должно быть выпукло (без впадин и ямок).

По форме тело видимых цветов похоже на продолговатый фрукт, у которого один бок срезан. Точки поверхности «фрукта» (кроме среза) соответствуют монохромным цветам разной длины волны и разной интенсивности, то есть, имеющим максимальную насыщенность (монохромны, например, цвета радуги). Поверхность «отрезанной» части тела (кроме среза) соответствует «цветам» монохромных инфракрасных и ультрафиолетовых излучений, которые глаз не видит. Если выбрать какой-либо цвет на поверхности тела и понижать его насыщенность, добавляя все возрастающее количество белого цвета, то соответствующая точка начнет перемещаться вглубь тела и в пределе достигнет точки этого белого цвета, которая будет находиться где-то в середине «фрукта». Точки снаружи от поверхности, образованной цветами монохромных излучений, соответствуют «цветам», имеющим насыщенность бо́льшую, чем насыщенность монохромных цветов, что физически невозможно. Для получения такой насыщенности нужно было бы из монохромного цвета вычесть какое-то количество белого цвета, что физика не может сделать. А математика – пожалуйста.

Нейтрально серые цвета образуют линию, проходящую внутри тела видимых цветов и соединяющую самую темную точку (черную) с самой яркой (белой). Возникает важный вопрос, как определить, что такое нейтрально белый, серый и черный цвета. На глаз тут полагаться нельзя из-за хроматической адаптации (привыкнув к любому почти белому цвету, глаз начинает воспринимать его как чисто белый). Поэтому, работая с цветом математически, нужно каждый раз оговаривать, что в данном конкретном случае подразумевается под белым (и, как следствие, серыми и черным цветом). В теории черный цвет (излучение с нулевой интенсивностью) тоже имеет цветность, которую глаз, конечно, не видит.

Одну и ту же трехмерную фигуру (конечно, также как и фигуры любой другой размерности), можно рассматривать в различных координатных системах, линейных и нелинейных. Различные координатные системы, в которых может рассматриваться тело видимых цветов, называются цветовыми пространствами. Один и тот же цвет в разных цветовых пространствах записывается наборами разных чисел. В некоторых из этих пространств можно изобразить только часть видимых цветов и тело приобретает вид куба, конуса, биконуса или другую форму. Линейное преобразование цветового пространства соответствует тому, что мы как-то поворачиваем это тело и изменяем его размер равномерно и пропорционально. Нелинейное преобразование означает, что мы растягиваем или сжимаем тело видимых цветов так, что разные его части сжимаются или растягиваются по-разному.

Различных цветовых пространств (как и систем координат) можно придумать бесконечно много. На практике применяются только те из них, которые обладают некоторыми полезными свойствами. К общим свойствам цветовых пространств (ЦП) относятся:

• цветовой охват;

• линейность по восприятию;

• однородность по восприятию;

• зависимость от устройства;

• нормированность;

• точка белого и точка черного.

Цветовой охват (gamut, гамут, вкусное слово, думаю, оно приживется в русском языке) – это совокупность всех таких видимых цветов, которые могут быть представлены в данном ЦП. Кроме видимых цветов в некоторых ЦП могут быть представлены и физически невоспроизводимые цвета.

Линейность по восприятию (perceptually linear) означает, что изменение координат цвета приводит к изменению воспринимаемого цвета примерно в той же пропорции. Для однородного по восприятию цветового пространства (perceptually uniform), кроме того, близким разностям цветов соответствуют близкие по длине отрезки, соединяющие эти цвета.

Если при определении ЦП используются характеристики конкретного устройства (сканера, монитора, принтера), то такое пространство называется устройство-зависимым (или аппаратно-зависимым). Аппаратно-зависимое ЦП удобно для использования при работе с этим самым устройством. Если ЦП определяется с помощью величин, не связанных с каким-либо конкретным устройством, то оно называется устройство-независимым. Устройство-независимое ЦП предназначено для выполнения общих операций с цветом таких, как редактирование изображений или преобразования из ЦП одного устройства в ЦП другого устройства. Поскольку при этом отсутствуют ограничения, связанные с возможностями какого-либо устройства, то все такие операции могут быть выполнены без потерь.

Цветовой охват аппаратно-независимых ЦП обычно большой и может содержать физически нереализуемые цвета. Но даже если в процессе преобразования получится промежуточное изображение, в котором часть цветов окажутся физически нереализуемыми, при дальнейшей обработке эти цвета могут благополучно (и правильно!) вернуться в область воспроизводимых цветов.

При сравнении цветовых охватов устройств и цветовых пространств часто используется гамут Пойнтера (Michael R. Pointer). Гамут Пойнтера – это аппроксимация совокупности всех таких цветов, которые могут быть получены окрашиванием поверхности. То есть, с помощью вычитания цветов. Гамут Пойнтера является частью множества всех видимых цветов (которое получается сложением цветов).

Нормировку ЦП и выбор точек белого и черного обсудим в следующем параграфе.