Pastaraisiais metais tapo labai madinga kalbėti apie pikselių grupavimas arba pikselių grupavimas Mobiliuosiuose įrenginiuose tai technika, kuri pasirodo beveik kiekviename naujo jutiklio pristatyme. Jei tai skamba kaip magiškas žodis, esate netolimoje ateityje: teisingai pritaikyta ji leidžia... jutikliai su šimtais megapikselių veikia geriau, kai trūksta šviesos, telefonui nereikės augti kaip plytai.
Tačiau, be rinkodaros, svarbu suprasti, kas slypi už šios technologijos. Kas tai tiksliai yra, kaip tai veikia ir kokiais atvejais reikėtų jį aktyvuoti arba vengti? Čia pateikiame teorijos ir praktikos analizę konkrečiais pavyzdžiais (64, 108 ir 200 MP), populiariausiais prekių pavadinimais („Tetracell“, „Quad Bayer“, „Chameleon Cell“ arba „Light Fusion“), realiais privalumais ir trūkumais bei netgi jų vaidmeniu 8K vaizdo įrašuose ir profesionaliose mašininio matymo srityse.
Kas yra pikselių grupavimas?
Pats terminas viską pasako: tai yra sugrupuoti kelis gretimus jutiklio pikselius ir laikyti juos vienu „superpikseliu“Paprastai tai daroma 2x2 (4 viename), 3x3 (9 viename) arba net 4x4 (16 viename) blokais. Toks „sujungimas“ sumažina efektyviąją nuotraukos skiriamąją gebą, tačiau dėl to akivaizdžiai padidina jautrumą šviesai.
Skaičiais tariant: jutiklis 64 MP Paprastai jis sukuria 16 MP nuotraukas. naudojant 4 viename; vienas iš 108 MP sumažėja iki 27 MP su 4 viename oa 12 MP jei naudojate 9 viename; ir jutiklį 200 MP Jis gali sujungti iki 16 pikselių ir pateikti vaizdus 12,5 MP. Pagrindinė idėja Kalbama apie nominalios skiriamosios gebos paaukojimą siekiant padidinti šviesą ir kontroliuoti triukšmą.
Šis metodas būdingas ne tik mobiliajai fotografijai. Jis jau buvo naudojamas prieš daugelį metų Tradiciniuose fotoaparatuose jis buvo naudojamas kaip priemonė triukšmui sumažinti arba vaizdo apdorojimui supaprastinti, tačiau išmaniuosiuose telefonuose jis išpopuliarėjo „sugrįžus“ megapikselių karui.
Kaip tai veikia jutiklio ir interneto paslaugų teikėjo lygmeniu
Jutiklis fiksuoja šviesą per spalvų filtrų masyvą (dažniausiai „Bayer“), kur Maždaug 25 % pikselių užfiksuoja raudoną spalvą, dar 25 % mėlyną, o likę 50 % žalią.Vaizdo signalo procesorius (ISP) tvarko demosaicingą duomenų rinkimą ir, kai įvyksta grupavimas, sujungia gretimų pikselių grupių duomenis, kad kiekvienam „superpikseliui“ sudarytų vieną vertę.
Priklausomai nuo dizaino, tas derinys gali pasireikšti tokiu lygiu: aparatinė įranga (sumuojamas vidurkis su mažesniu triukšmu) arba programinės įrangos lygmeniu skirtinguose gamybos etapuose. Praktinis rezultatas yra tas, kad superpikselis yra lygus „didesniam“ pikseliui, galinčiam užfiksuoti daugiau fotonų per tą patį ekspozicijos laiką, pagerinant signalo ir triukšmo santykį bei dinaminį diapazoną.
Reikia atsižvelgti į tai, kad nors skiriamoji geba yra sumažinta (Pavyzdžiui, esant ketvirčio raiškai su 4 viename jutikliu), jutiklis ir toliau naudoja visą savo paviršiaus plotą šviesai matuoti. Todėl sudėtingose scenose rūšiavimas gali išryškinti daugiau šešėlių tekstūros ir geriau valdyti šviesias sritis nei prastai eksponuotas visos raiškos kadras.
Praktiniai pavyzdžiai: nuo 48, 64, 108 ir 200 MP iki 12–27 MP
Klasikinis atvejis: 48 MP su keturių colių „Bayer“ raiška Paprastai jie sukuria 12 MP nuotraukas naudodami 4 viename jutiklį. Tas pats pasakytina ir apie jutiklius 64 MP → 16 MPAukščiausios klasės modeliuose įprasta kai kurių flagmanų telefonų 108 MP raiška sumažėja iki... 27 MP su 4 viename funkcija O. 12 MP su 9 viename funkcija (kaip ir „Samsung“ išpopuliarintoje 108 MP šeimoje).
su 200 MP Neseniai keli gamintojai sujungė iki 16 viename, taip suteikdami 12,5 MPRyškus pavyzdys yra „Galaxy S23 Ultra“: jis sugrupuoja 16 pikselių ir generuoja 12,5 MP; esant geram apšvietimui, jis gali naudoti didesnę skiriamąją gebą. Kitas atvejis: „Google Pixel 7/7 Pro“. Jie pradeda nuo 50 MP ir grupės 4 ir 1 taip pat likti ties 12,5 MP. „OnePlus 10 Pro“ Panašiai veikia ir su 48→12 MP.
Svarbiausia yra lankstumas: kai kurie jutikliai yra tokie: „Chameleono ląstelė„Jie leidžia rinktis iš 4 viename, 16 viename arba pilnos raiškos televizorių.“ prisitaikantis į sceną ir tai, ko vartotojui reikia kiekvieną akimirką.
Kodėl jis egzistuoja: fizinės ribos, pikselių dydis ir erdvė
Mobilieji telefonai turi struktūrinių problemų: vidinė erdvė yra labai ribotaKuo daugiau pikselių yra tame pačiame paviršiuje, tuo mažesnis tampa kiekvienas pikselis, ir mažesni pikseliai surenka mažiau šviesos. 0,7 μm pikselis užfiksuoja mažiau fotonų nei 1,2 μm pikselis ir daug mažiau nei 2 μm pikselis.
Galėtumėte padidinti jutiklio dydį, kad išlaikytumėte didelį pikselių skaičių, bet tada telefonas būtų storesnis ir sunkesnis, be to, apsunkintų optiką, stabilizavimą ir energijos suvartojimą. Pavyzdžiui, 1 / 1,31 ″ jutiklis Kai kuriuose „Google Pixel“ modeliuose matyti pastangos pritapti. didesni pikseliai plonose važiuoklėse, todėl reikalingi tokie dizaino sprendimai kaip išsikišę moduliai.
Ar tai tikrai kažkas naujo?
Ne. Pikselių grupavimas turi diapazoną Skaitmeninėje fotografijoje, o ypač vaizdo įrašuose, tai padeda sumažinti triukšmą ir duomenų kiekį. Panašios technologijos jau buvo tiriamos DSLR fotoaparatuose, tokiuose kaip „Canon EOS 7D“, siekiant pagerinti didelio ISO našumą. Naujovė yra ta, kad jos plačiai naudojamos 64–200 MP mobiliuosiuose telefonuose dėl šių skaičių komercinio patrauklumo.
Tikri privalumai ir trūkumai
Kaip ir viskas fotografijoje, biningas turi privalumų ir trūkumų. Svarbiausia žinoti, kada tai tau naudinga, o kada ne..
- Daugiau šviesos ir mažiau triukšmo: „Lygiavertis“ superpikselis užfiksuoja daugiau fotonų, todėl galima naudoti mažesnį ISO, sumažinti grūdėtumą ir padidinti dinaminį diapazoną šešėliuose.
- Geresnis paryškinimų valdymas: Derindamas signalus, interneto paslaugų teikėjas gali subalansuoti labai intensyvias šviesas ir didelio kontrasto scenas, suteikdamas daugiau erdvės.
- Kūrybinis lankstumas: Pasirinkimas tarp pilnos raiškos arba sugrupavimo, atsižvelgiant į sceną, suteikia universalumo nekeičiant aparatinės įrangos.
- Vaizdo įrašo efektyvumas: Tai leidžia lengviau nuskaityti mažiau „švarių“ duomenų iš jutiklio, o tai naudinga esant didelei skiriamajai gebai ir kadrų dažniui.
O trūkumai? Ne viskas yra tobula ir verta juos turėti omenyje.
- Mažesnė efektyvi skiriamoji geba: Palyginti su natūraliu didelės raiškos režimu, prarandate smulkias detales, o tai akivaizdu, jei daug apkarpote.
- Artefaktai ir apdorojimas: Dėl skaidymo gali atsirasti išlyginimas, aureolės arba per didelis fokusavimas; kokybė priklauso nuo interneto paslaugų teikėjo ir algoritmų.
- Ribotas RAW formatas: Kai kurie mobilieji telefonai nesiūlo „gryno“ RAW formato be rūšiavimo; arba RAW formatas pateikiamas iš anksto rūšiuotas, todėl redagavimo galimybės yra mažesnės.
- Tai nepakeičia didelio jutiklio: Fizinis pikselių dydžio padidinimas išlieka optimalus esant prastam apšvietimui.
Prekiniai pavadinimai: „Tetracell“, „Quad Bayer“, „Light Fusion“ ir „Chameleon Cell“
Gamintojai šiai koncepcijai suteikia savo pavadinimą. „Samsung“ kalba apie „Tetracell“ kalbant apie savo 4 viename ISOCELL jutiklius, ir šią idėją pritaikė 9 viename ir 16 viename konfigūracijoms su labai didele skiriamąja geba.
„Sony“ išpopuliarino „Quad Bayer“ su 48 MP IMX586: pikseliai grupuojami po tuo pačiu spalvų filtru, kad būtų sukurti 12 MP vaizdai su mažiau triukšmo ir išplėstu dinaminiu diapazonu.
„Huawei“ tai vadina „Light Fusion“ Kai kuriuose modeliuose su išmaniuoju aktyvinimu, priklausomai nuo scenos. Ir „Samsung“ giriasi „Chameleon Cell“ 200 MP jutikliuose, kurie keičia vaizdą pagal apšvietimą (4 viename – 50 MP arba 16 viename – 12,5 MP), be to, leidžia fotografuoti visa raiška.
Pikselių grupavimas, palyginti su didelių jutiklių ir skaičiavimo fotografija
Jei turėtume daug vietos, visada rinktumėmės dideli pikseliai ant didelių jutikliųKadangi ploname telefone tai neįmanoma, pramonė derina tris metodus: rūšiavimą, šiek tiek didesnius jutiklius ir kompiuterinė fotografija (daugialypė ekspozicija, sujungimas, dirbtinio intelekto triukšmo mažinimas).
Atskyrimas nepakeičia didesnio jutiklio privalumų, bet Tai sušvelnina plonų važiuoklių trūkumusBe to, mobiliųjų įrenginių interneto paslaugų teikėjai ir programinė įranga taip patobulėjo, kad tipiškų skaidymo artefaktų (muaro efekto, keistų interpoliacijų, dirbtinių kraštų) valdymas gerokai sumažėjo.
Atkreipkite dėmesį į praktinius apribojimus: Ne visi režimai palaiko RAW formatą Be to, prekės ženklai pasirenka skirtingus ryškumo, triukšmo mažinimo ir spalvų balansus, įskaitant ir atskyrimą. Štai kodėl du telefonai su tuo pačiu jutikliu gali duoti labai skirtingus rezultatus.
Fotografavimas ir vaizdo įrašymas: 8K raiška, skaitmeninis priartinimas ir apkarpymas
Papildomas daugelio megapikselių privalumas yra vaizdo įrašymas. Norint įrašyti 8K raiška, reikia daug daugiau nei 33 MP švarios raiškos.Ir būtent čia šie „daugiau nei pakankamai“ jutikliai leidžia gauti tiesioginius rodmenis arba rodmenis su mažesniu masteliu, pagerindami ryškumą ir sumažindami judančius artefaktus.
Fotografijoje itin didelė raiška atveria duris priartinti apkirpantTai naudinga, kai nėra specialaus teleobjektyvo. Apkarpius kadrą iki 108 arba 200 MP, esant geram apšvietimui, galima gauti įtikinamą „teleobjektyvo“ efektą. Tačiau jei jūsų mobilusis telefonas turi teleoptinį įrenginį Stabilizuotas šis režimas paprastai veikia geriau nei apkirpimas, ypač fotografuojant smulkias detales.
Esant geram apšvietimui, Skirtumai tarp išmestos nuotraukos ir pilnos raiškos nuotraukos Plika akimi jie gali atrodyti stebėtinai maži. Didelės raiškos režimas tampa būtinas, kai gerokai priartinate vaizdą arba planuojate didelį spaudinį.
Kada naudoti rūšiavimą, o kada – visą skiriamąją gebą
Nakties ar uždarose scenose šiukšlių mėtymas šviečia geriausiai. Sustiprinkite šviesą, išvalykite triukšmą ir atverkite šešėlius nereikalaujant didinti ISO iki stratosferinių verčių, o dinaminis diapazonas paprastai yra atlaidesnis fotografuojant su ženklais, gatvių apšvietimu ar intensyviais langais.
Praktinė patirtis tai patvirtina: yra mobiliųjų telefonų, kurie tinka Numatytasis rūšiavimas nuotraukų režimu ir rezervuoti visą raišką konkrečiam režimui. Klasikinis pavyzdys buvo telefonai su 108 MP, kurie automatiniu režimu suteikė 27 „švarius“ MP, o iki 108 MP padidino tik pasirinkus specialųjį režimą.
Su saule ir gera šviesa, ryškumo skirtumai nuo 12/16/27 MP vienam sugrupavimui iki 48/64/108 MPVisa 200 MP raiška ekrane vos pastebima. Paprastai esant visai raiškai yra nedidelis dinaminio diapazono pranašumas dėl sujungimo ir didesnių apkirpimo galimybių.
Viena įdomi detalė: Failo dydis Naudojant 4 viename fotoaparatą, raiška ne visada sumažėja ketvirtadaliu. Nors raiška sumažėja ketvirtadaliu, dėl papildomo apdorojimo (triukšmo, HDR, ryškinimo) JPEG failai gali būti lengvesni tik 30–50 %, o kai kuriose naktinėse scenose „išmestas“ failas gali sverti panašiai dėl agresyvaus papildomo apdorojimo.
Taip pat pastebėsite, kad kartais interneto paslaugų teikėjas taiko per didelį fokusavimą Naktinių nuotraukų kraštams paryškinti. Tai suteikia didesnį ryškumo pojūtį, tačiau geriausia nepersistengti, jei vėliau redaguosite, nes gali likti aureolės.
Rinkodaros triukas ar naudingas anonsas?
Prekių ženklai žino, kad „200 MP“ yra patrauklesnis nei „2 μm pikseliai“. Komercinis ieškinys egzistuoja Ir neturėtume būti naivūs. Tačiau taip pat tiesa, kad tinkamai atliktas atliekų rūšiavimas siūlo įdomią pusiausvyrą: detales, kai apšvietimas tinkamas, ir Puikus veikimas esant prastam apšvietimui be milžiniškų modulių.
Kai kurie gamintojai, pristatydami 108–200 MP jutiklius su binning funkcija, taip pat stato už lygiagrečios linijos su mažiau megapikselių ir didesniais pikseliaisTai dvi viena kitą papildančios filosofijos: universalumas ir glaustumas, viena vertus, ir įgimtas jautrumas, kita vertus.
Už mobiliųjų įrenginių ribų: mašininis matymas ir pramonė
Idėja Pridėkite pikselių, kad padidintumėte jautrumą Jis taip pat tinka kompaktiškoms pramoninėms kameroms, integruotoms vaizdo sistemoms, stebėjimo įrangai ir net lengvam astrofotografijos įrenginiui. Kai konstrukcijai reikalingi maži moduliai, bet pritaikymui reikia daugiau šviesos, rūšiavimas padeda nedidinant kainos ar jutiklio dydžio.
Be to, tai leidžia pakoreguoti skirstymą (2×2, 3×3, 4×4) konkrečiam naudojimui, balansuojant skiriamąją gebą ir jautrumą pagal aplinką – tai labai vertinama įterptosiose sistemose ir pritaikytuose sprendimuose.
Žvelgiant iš perspektyvos, pikselių rūšiavimas yra tik dar vienas įrankis mobiliosios fotografijos arsenale: Tai nepakeičia didelio jutiklioTačiau jis leidžia gauti švaresnes nuotraukas esant prastam apšvietimui, pašalinti triukšmą ir pagerinti dinaminį diapazoną; o šviesią ir saulėtą dieną galite jį išjungti, kad išnaudotumėte visas megapikselių galimybes, arba pasirinkti jo patogumą, jei norite tiesiog greitai pasidalinti nuotraukomis per daug negalvodami.
