Кажись, Фуджа-то наигралась с экзотическим байером:)
А давайте-ка сегодня поговорим немного о системах цветоразделения и вариантах байера - история интересная.
Вообще самый качественный вариант цветоразделения - 3 матрицы с дихроической призмой - 3CCD . Здесь и далее картинки натырены из Википедии.
Активно применялся и применяется в видеокамерах. Для фотокамер этот способ малоприменим - дело в том, что практически невозможно чисто механически совместить три изображения на трех отдельных сенсорах настолько точно, чтобы получить разрешение хотя бы в несколько мегапикселей. Кроме того, конструкция получается довольно громоздкой. Поэтому решение используется только в видеокамерах.
Второй вариант - многослойные сенсоры, которые по структуре в чем-то имитируют цветную фотопленку. Самый известный пример - сигмовский X3 Foveon . Принцип действия такого сенсора основан на том, что свет с разными длинами волн проникает в кремний на разную глубину.
Поскольку нет мозаики байеровского фильтра, то не нужна интерполяция, и разрешение картинки получается по-настоящему честным.
Но у фовеона свои проблемы, в частности искажение цвета из-за метода цветоразделения, особенно в красном канале, который на сенсоре лежит в самом низу, и до него доходят лучи, искаженные предыдущими двумя слоями. Все эти искажения приходится исправлять с помощью матричных профилей, из-за чего сильно растут шумы, деградирует картинка.
Камеры Sigma достаточно дороги и в целом коммерческим успехом не пользуются. Хотя у Фовеона множество приверженцев-энтузиастов.
Третий и самый популярный вариант - классический байеровский фильтр и его вариации.
Принцип действия фильтра прост - поверх ячеек лежит мозаика из цветных фильтров, пропускающих лучи разного цвета. Получается три ЧБ канала, каждый из которых отражает яркость лучей, прошедших через свой цветной фильтр. При обработке вся эта информация из трёх черно-белых каналов интерполируется в конечное цветное изображение.
На самом деле, можно считать, что у байера четыре канала, потому что зеленых ячеек вдвое больше, чем красных или синих. Это связано с тем, что зеленый канал наиболее важен для человеческого зрительного аппарата и несет для нас наиболее полезную яркостную информацию. Тогда как синий и красный каналы по сути являются цветоразностными.
У байера есть свои недостатки. В первую очередь это недостаточное цветовое разрешение итоговой картинки - поскольку она всегда является плодом интерполяции. Сейчас RAW-конвертеры научились более-менее сносно интерполировать недостающую информацию, однако все равно тот же 4-мегапиксельный Фовеон по разрешающей способности приравнивают к 10-мегапиксельному байеру - и не зря. Простейшую геометрию не обманешь никакими алгоритмами. Поэтому пришлось наращивать мегапиксели и упираться в дифракцию.
В разное время в истории развития цифровых камер появлялись разного рода "экзотические" вариации байеровского фильтра.
Например, в начале 2000-х Sony сделала вариант RGBE (E for Emerald), где половина зеленых ячеек заменена изумрудными:
Вроде бы как это позволило значительно улучшить цветопередачу и приблизить ее к тому, как цвет воспринимается человеческим глазом.
Рассматривая семплы со знаменитой в свое время камеры Sony F-828, в принципе я могу сказать, что цвет у нее неплохой, но принципиальных отличий от современных камеры с обычным байером я не вижу, если честно.
Технология RGBE использовалась Сони недолго, и они вернулись к улучшению традиционного байера.
В конце 90-х также появились сенсоры с байером, основанном на инвертированном наборе первичных цветов - CYGM (cyan, yello, green, magenta). Вот оказывается даже такое было.
Использовались такие сенсоры в некоторых компактах Кэнона и Никона, а также у Кодака, на рубеже 90-х и 2000-х годов.
Основной плюс такого фильтра в том, что он очевидно более "прозрачен", чем классический байеровский. То есть его светопропускание значительно выше, значит можно увеличить чувствительность сенсора и расширить динамический диапазон.
Но все это происходит в ущерб качеству цветоразделения, поскольку каждый фильтр пропускает сравнительно широкую полосу спектра, и разделить соседние оттенки при этом довольно трудно.
Поэтому фотографии с таких камер получались довольно "тухлые" по цвету, и даже агрессивная обработка тут не помогала - что матрица не захватила, то можно только нафантазировать.
Эта технология по вполне понятным причинам тоже долго не прожила.
За несколько лет до своего банкротства в 2007-м году Кодак успел запатентовать еще один вид байера, где половина зеленых ячеек были сделаны совершенно прозрачными. В нескольких вариациях.
Ячейки без фильтров должны по идее улучшить общую чувствительность сенсора.
Пошли такие сенсоры в какие-то реальные модели камер или не пошли - мне лично не известно. Скорее всего на их основе делаются высокочувствительные сенсоры специального назначения.
В течение почти десяти лет Фуджи делала камеры на основе собственной технологии байера "EXR" в нескольких вариациях.
Ячейки в таком сенсоре расположены по диагонали, что позволяет объединять соседние ячейки одного цвета для получения большей чувствительности. Кроме того, при таком расположении ячеек возможны более сложные структуры, позволяющие часть ячеек экспонировать сильнее, а другую часть - слабее, получая больший динамический диапазон.
На основе технологии Фуджи сделали два вида сенсоров CCD (SuperCCD), в которых за счет такой структуры не только повышается разрешение, но и за счет дополнительных маленьких ячеек с низкой чувствительностью можно получить расширенный динамический диапазон.
SuperCCD продержался аж до 2010 года в разных моделях камер Фуджи, но позже все равно уступил место BSI (back side illuminated) CMOS, но с диагональным байером.
Проблема любого байеровского фильтра в том, что он склонен после интерполяции давать цветной муар на периодических структурах. По сути это биение частот, а цветной рисунок возникает как раз именно из-за чередования цветных ячеек на байере. Чтобы уменьшить этот эффект, в 90% камер перед сенсором ставят специальный фильтр "АА" (anti alias), который по сути размывает изображение. Естественно при этом сильно теряется и без того невысокое разрешение изображений, получаемых путем интерполяции, но зато в какой-то степени уходит муар.
Поэтому Фуджи придумали особый вид байера X-Trans CMOS, который якобы должен уменьшить возможность появления муара и позволить безбоязненно делать сенсоры без АА-фильтра. Новый байер выглядит вот так:
Такая мозаика байеровского фильтра, по мнению Фуджи, должна давать большее яркостное и цветовое разрешение, препятствовать появлению муара и давать более "пленочное" зерно за счет того, что в каждом ряду ячеек теперь есть все три цвета, а их расположение как бы более хаотичное, подобно зерну на пленке.
Муара на таком сенсоре действительно не будет, но что касается разрешения, то вопрос крайне спорный.
Ведь, если задуматься, на классическом байере зеленые ячейки, дающие основную яркостную информацию, расположены более "равномерно", не сгруппированы в крупные квадраты 2х2, и, соответственно, яркостное разрешение должно быть несколько выше.
На самом деле, чисто на практике никаких особых преимуществ перед обычным байером X-Trans не показал. В целом разрешающая способность такого сенсора примерно на уровне традиционных аналогов, никакого особого "теплого лампового зерна" я не заметил.
А вот при обработке RAW-файлы с экзотического байера доставляют головную боль. Дело в том, что поначалу вообще ни один конвертер, кроме родного фуджевского, адекватно не интерпретировал такую мозаику. Да и позднее, когда тот же Adobe сделали апдейт и улучшили интерполяцию, результат ничем не лучше обычного байера, а может быть в каких-то ситуациях даже и хуже.
Лично я обращал внимание на отчетливую "пунктирность" всяких вертикальных элементов изображения - очевидно, из-за крупных 2х2 зеленых ячеек.
Кстати, та же самая ситуация наблюдается с их старым SuperCCD, который до сих пор никто толком не умеет правильно интерполировать.
Так получается, что традиционный байер пока что дает самый надежный и удобный для интерпретации результат, проверенный временем.
Возможно именно поэтому Фуджи сейчас на беззеркальной камере нижнего сегмента решила обкатать свежий сенсор с обычным байером, безо всяких выкрутас. Наигрались?
, видеокамер и сканеров . Фильтр Байера состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов, расположенных как показано на рисунке.
Исторически это самый первый из массивов цветных фильтров. Назван по имени его создателя, доктора Брайса Э. Байера (англ. Bryce Bayer ), сотрудника компании Kodak , запатентовавшего предложенный им фильтр в 1976 г. Для отличия от других разновидностей его называют GRGB , RGBG , или (если надо подчеркнуть диагональное расположение красного и синего пикселов) RGGB .
Принцип работы
Матрица является устройством, воспринимающим спроецированное на него изображение. Поскольку полупроводниковые фотоприёмники примерно одинаково чувствительны ко всем цветам видимого спектра, для воспринятия цветного изображения каждый фотоприемник накрывается светофильтром одного из первичных цветов: красного, зелёного, синего (цветовая модель RGB).
Вследствие использования фильтров каждый фотоприемник воспринимает лишь 1/3 цветовой информации участка изображения, а 2/3 отсекается фильтром. Для получения остальных цветовых компонентов используются значения из соседних ячеек. Недостающие компоненты цвета рассчитываются процессором камеры на основании данных из соседних ячеек в результате интерполяции (по алгоритму demosaicing). Таким образом, в формировании конечного значения цветного пикселя участвует 9 или более фотодиодов матрицы.
В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:
| G | R |
| B | G |
При этом фотодиодов зелёного цвета в каждой ячейке в два раза больше, чем фотодиодов других цветов, в результате разрешающая способность такой структуры максимальна в зелёной области спектра, что соответствует [ ] особенностям человеческого зрения.
Изменения в структуре расположения
Для снижения заметности артефактов дебайеризации были разработаны модифицированные фильтры Байера, содержащие изменения, «разбавляющие» однородную периодическую структуру «неправильным» расположением части цветных пикселей. Вместо минимального 4-пиксельного элемента матрицы повторяется 12- или 24-пиксельный. Однако они не нашли массового применения из-за значительного роста необходимой вычислительной мощности для обработки полученного изображения.
Пример применения
Сфотографируем исходный объект (для наглядности его часть увеличена):
| → |  |
При этом получаются три цветовые составляющие:
 |
||
| ↓ | ||
 |
 |
 |
| ↓ | ||
 |
Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек, спроецированных на него объективом. И только 4 предметных точки, рядом расположенных и спроецированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:
Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости называется Sharpening . Дополнительно, в этот момент процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более чётких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает его размытость. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах функции коррекции изображения отсутствуют совсем либо их можно выключить.
Того самого, который, работая в компании Kodak инженером, в 1976 году изобрел «тот самый» шаблон размещения цветных фильтров на сенсоре захвата цветного изображения. «Байеровская матрица» или «байеровский шаблон» с тех пор успели стать стандартными, сегодня матрицы такого типа установлены в подавляющем большинстве фото- и видеокамер, сотовых телефонов разного уровня развития, планшетов, систем видеонаблюдения (учетных, естественно), вебкамер и еще в массе девайсов непонятного подчас назначения. Патентом на это решение до последнего времени владела обанкротившейся недавно компания Kodak, которая в этом году проводила закрытый аукцион по продаже патентов, и владелец решения должен был смениться. Однако, все эти перипетии сути дела не меняют…
Причиной такого решения в 70-е годы было желание производителя сделать производство устройств захвата изображения дешевле, за счет удешевления основного элемента. Матрицы в то время были в сотни или даже тысячи раз дороже сегодняшних, а по своим характеристикам еще и на пару порядков хуже тех, что сегодня устанавливаются в мобильных телефонах. Чуть ранее для получения цветного изображения приходилось ставить три матрицы после блока разделения светового потока на три части. Каждая матрица имела свой цветовой фильтр - естественно, красный, зеленый или синий. Так работало телевидение, и эту модель цветоделения изобрели давным давно, а первый фотограф, который ей воспользовался, был вообще не цифровым - так снимал Россию для спецпроекта, на который ему выделили массу денег прямо из казны русской короны. Собственно, и показывал цветные кадры им он сам, превращая свой фотоаппарат в проектор.
Впрочем, взнос Байера в современную экономику не умаляется от того, что не он изобрел модель цветоделения. Он всего лишь подогнал ее под современные технологии, сильно удешевив производство сначала видеокамер, а затем и фотоаппаратов. Если вкратце, Байер просто предложил устанавливать светофильтры не перед матрицей, а перед каждым пикселом, копируя модель телевизионных трубок, которые тогда существовали). В итоге, разные пикселы воспринимали информацию о разных цветовых компонентах света. Сделав еще и повторяющийся рисунок (его все знают, вот, наверху) расположения светофильтров, он довел решение до совершенства и отдал патент исследовательскому центру, в котором работал, получив возможность поставить на нем свое имя изобретателя. Перспективы данного решения были не просто радужными - они были безоблачными, отчего это решение используется в электронике уже более 35 лет.
Впрочем, Panasonic одно время производил линейку трех-матричных камер, долго окучивая аудиторию разницей в качестве и точности передачи цвета, ничего этим и не добившись - экономика сама вывела байеровские модели на первое место, потому что решение позволило кремний экономить. Недостатки у этого решения, естественно, тоже есть.
Прежде всего, это известный всем муар, который, в общем-то, связан не столько с самой моделью, сколько с последующими алгоритмами интерполяции - ведь матрица разрешением 12 Мп на деле имеет только 3 Мп честного разрешения во всех трех каналах, остальное «досчитывается» из соседних. Так, в ней будет по 3 млн красных и синих пикселов, и целых 6 зеленых. Несправедливость такая связана с тем, что человеческий глаз восприимчив больше как раз к контрасту в зеленых тонах, да и данных по контрасту изображения в нем хранится куда больше (кто редактирует с использованием разных каналов по отдельности, это знают) - а так как единицей измерения, в данном случае, является блок из 4 близлежащих пикселов, на которые приходится только 3 цветных фильтра, было решено два из них красить в зеленый. Однако, на этом все не заканчивается - дальше начинаются электронные размышления. Ведь, с одной стороны, производители решили сэкономить, но не были готовы признавать, что 12-мегапиксельная матрица в результате стала 3-мегапиксельной (на момент изобретения 12-мегапиксельных матриц и не было, они даже до 1 Мп не дотягивали), поэтому добавили в формирование изображения еще два алгоритма: интерполяции (недостающие пикселы в каждом канале просто додумываются по данным близлежащих пикселов из этого и двух других каналов, то есть, по сути, просто размываются) и шарпинга (из-за размытия 3-мегапиксельной картинки на 12 Мп приходится хотя бы четкость повысить, чтобы не было совсем уж сплошного мыла). В итоге, картинка стала больше, при сохранении количества деталей, резче, но при этом вылезли наружу и все артефакты - при пересечении геометрического расположения пикселей с линиями в кадре при сопоставимых размерах (например, волокна рубашек, полоски на одежде) возникает волнообразный рисунок на поверхности, который и принято называть муаром. В лучшем случае, будет он монохромным, а то ведь в бюджетных моделях еще и цветным быть может.
Второе - это пикселизация. Из-за того, что первые матрицы имели очень малое разрешение, был актуален так называемый эффект алиасинга. Строго вертикальные изображения очень легко уместить в стопку пикселов, равно как и строго горизонтальные, вот только снять так практически невозможно, и если прямая линия переходит в изображении с одной строки на вторую, третью, она будет пикселами разных рядов или линий «ломаться», что решили исправить сглаживающим фильтром. Итогом стало дополнительное размытие картинки. А что, собственно, ужасного, если изначально там четкости всего на четверть площади мегапикселов, а остальное и без того додумываются (размывается, то есть)? В результате, естественно, резкость все равно теряется. Со временем пиксельность камер только росла, и сегодня, когда выпускаются, к примеру, 36-мегапиксельные монстры, вроде Nikon D800, им ставят более тонкий сглаживающий фильтр - в результате и резкость (не программная, а фактическая) вырастает.
Сегодня модель байера постепенно устаревает - строгое геометрическое расположение рядов пикселей, необходимость установки сглаживающего фильтра, съедающего детализацию уже не устраивают пользователей, им чего-то новенького хочется. Естественно, не всем, поэтому на рынке начали появляться направления, которые, по всей видимости, со временем найдут применение во все увеличивающемся количестве камер, так как имеют уникальный подход.
Возьмем упомянутую выше Nikon D800E - его старший брат-мутант, который был сделан стараниями маркетологов, которым необходимо продать куда большую плотность пикселов (ведь технологические процессы идут именно к уменьшению размера точки изображения), чем фотографов, стал уже детищем последних. Вдумайтесь сами, если фотоаппарат выходит на разрешение, на котором муар уже не столь заметен, равно как и пикселизация кривых линий - можно избавиться и от сглаживающего фильтра, чтобы повысить резкость, верно? Тут решили пока пойти на компромисс, сделав его просто тоньше.
Pentax K-5 IIs - тоже разновидность своей старшей сестры, камера, сделанная простым исключением сглаживающего фильтра из уравнения тоже в результате должна дать большую резкость, что, при прочих замечательных характеристиках (высокая влагозащита, портативность, функциональность, цена), сулит обладателю кучу бонусов.
Fujifilm X-Pro1, X-E1 - камеры, сделанные на небайеровской матрице, отчего вообще не имеют сглаживающего фильтра. Даже при относительно небольшом разрешении им это попросту не требуется, так как проблема муара и пикселизации перед ними не стоит. Итогом становится замечательная резкость, которую видно невооруженным глазом. Собственно, она здесь не взялась ниоткуда - просто инженеры решили дать людям не самые дешевые, но очень хорошие решения, естественно, дороже конкурентных аналогов, если они, конечно, есть.
Sigma DP - камеры небайеровского типа изначально. Трехслойная матрица Foveon, которая является развитием идеологии трех матриц, изначально качественно выше по реальному разрешению (а не интерполированному), отчего проблем с передачей данных о цвете и муаром и пикселизацией у нее не существует. Проблемой является только несовершенство самого технологического процесса при производстве матриц, на который и приходится львиная доля критики.
Понятно, что после появления такого нового подхода к резкости на это поведутся практически все производители фотоаппаратов, в особенности, наиболее ориентирванные на запросы рынка (Sony, Samsung). Последние уже будут думать не столько о том, что это действительно нужно (а нужно это, на деле, не более чем 10% фотографов с зеркалками), сколько о том, что «у них есть, у нас нет» и будут копировать подход, просто для того, чтобы занять измерительные приборы их аудитории. В общем, детище Брайса Байера хот и сыграло существенную роль в экономике в историческом плане, сегодня начинает сдавать свои позиции, и со временем, возможно, вообще уйдет в прошлое.
