Over the years, the "Star Wars" series of movies have always shocked the hearts of countless moviegoers: whether it is the Jedi knights who fought against the evil forces despite the sinister, or the courage and sacrifice of the resistance organization in the face of oppression, and finally through the excellent The strategy to win... Beyond that, the brilliant lightsaber duels in the movie, as well as the actions of droids like R2-D2, C-3PO, and BB-8, are impressive. Without these droids, Star Wars might not have had such an amazing ending.
Roboti a metaverze jsou jedním z nejžhavějších témat Mezinárodního veletrhu spotřební elektroniky (CES) 2022. Dnes jsou běžné nehumanoidní stroje, které pro nás pracují, jako jsou doručovací roboti,-automobily, zametací roboty a vzdušné drony. Vzhledem k dopadu veletrhu CES jsme možná na pokraji nové éry: V každé domácnosti bude alespoň jeden robot ze sci-fimové scény, jako jsou Star Wars.
Na druhou stranu, jak se bezkontaktní služby během pandemie COVID-19 stále zrychlují, metaverse služby, které kombinují virtuální a realitu, získávají na popularitě a poptávka po takových službách exponenciálně roste. Mnoho lidí začíná používat technologii Augmented Reality (AR, Augmented Reality) nebo Virtual Reality (VR, Virtual Reality). Brzy budou zařízení AR a VR přenášena jako chytré telefony. To zahájí novou éru, kdy budou služby dostupné kdykoli a kdekoli, což znamená, že již nebudeme muset navštěvovat banky nebo výrobce a můžeme udržovat produkty, aniž bychom museli vstupovat do továrny.
Obrázek 1: Doručovací robot Ocado
Eye of the Machine (Machine Vision)
Supported by amazing advances in semiconductor processing and Image Signal Processing (ISP, Image Signal Processing) technology, falling prices, and excellent high-resolution high performance, CMOS image sensor (CIS) technology has become the mainstay of various devices such as smartphones. "Eye". Pixels are what determines camera performance, and competition around them has pushed camera technology to 600 megapixels beyond the human eye.
Jsou ale obrázky s vysokým-rozlišením nutně vhodné pro strojové vidění? Pro oči špičkových-strojů odpovědných za bezpečnost a zabezpečení nestačí ani ta nejostřejší dvou-(2D) obrazová data, aby fungovaly místo lidí. Takový stroj nemusí být schopen plnit úkoly v taktických operacích jako R2-D2. Ale u samostatně-řídících aut a dronů je nutné přesně identifikovat brzdný moment při jízdě vysokou-rychlostí; u zařízení pro rozpoznávání obličeje je nutné přesně skenovat obličeje namísto plochých obrázků; pro zařízení AR v reálném čase{10} Prohledávejte velké prostory pro rozšířenou realitu. Tyto stroje vyžadují nejen 2D obrazová data, ale také trojrozměrnou (3D) technickou podporu. Stroj může získat 3D data pomocí složitého výpočetního procesu bez kamery, s pomůckami, jako je ultrazvuk nebo laserové zařízení. Stroj s tolika doplňkovými součástmi by však spotřebitelé odmítli z hlediska designu i ceny.
Obrázek 2: Nezbytné vlastnosti oka stroje
Díky spolupráci očí a mozku mohou lidé vidět předměty stereoskopicky a rozpoznat hloubku a vzdálenost. Prostřednictvím podobného mechanismu mohou stroje také identifikovat vícerozměrné objekty a měřit vzdálenosti pomocí triangulace. Například stereo vidění využívá k dosažení efektu rozpoznávání dvě kamery a procesor. Tyto mechanismy však také trpí nevýhodami, jako je výpočetní složitost, nedostatečná přesnost měření rovinných vzdáleností a nízká přesnost v relativně tmavých místech, což zužuje rozsah takových mechanismů. Nedávno byla jako alternativní metoda k překonání těchto nedostatků uvedena do praxe metoda-čas{2}}letu (ToF). ToF je jednoduchý způsob, jak měřit vzdálenost výpočtem času, který potřebuje světlo k odrazu od objektu. Tato metoda se snadno a rychle provozuje a má další výhodu v přesném měření vzdáleností bez ohledu na světelné prostředí, protože využívá samostatný zdroj světla.
ToF: vzdálenost se získá měřením doby oběhu vyzařovaného světla-
Stereoskopické vidění: dva optické systémy sledující stejný objekt ze dvou různých bodů vzhledem ke stejné základní linii
Obrázek 3: Porovnání metod Stereo Vision a ToF Object Recognition
metoda doby letu
ToF lze rozdělit do dvou kategorií: přímý ToF (d-ToF, přímý ToF) a nepřímý ToF (i-ToF, nepřímý ToF). Vzdálenost se vypočítá pomocí fázového rozdílu vráceného světla. SK hynix vyvinul tyto dvě technologie senzorů ToF, aby je mohl využít v různých produktech. Je možné, že roboti budoucnosti budou mít jedno oko, které používá i-ToF k rozpoznávání objektů na blízko, a druhé oko, které používá d-ToF k prozkoumávání vzdálených objektů.
Účelem tohoto článku je objasnit i{0}}technologii ToF společnosti SK hynix.
Obrázek 4: Srovnávací analýza nepřímého ToF a přímého ToF
Metoda i-ToF vypočítá fázový rozdíl od světelného zdroje s poměrem nábojů nashromážděných ve více než dvou různých pamětích v pixelu a podle toho změří vzdálenost. Ve srovnání s d-ToF má tento mechanismus určitá omezení v měření vzdálenosti, protože když se světlo vrací z dálky, existuje méně signálů, které lze oddělit kvůli snížené intenzitě. Ve srovnání s d-ToF má však výhodu vyššího rozlišení, protože díky jednoduchému obvodu dokáže pixel oddělit signál sám od sebe a pixel lze snadno zmenšit. Abychom kompenzovali omezení i-ToF a maximalizovali jeho výhody, provádí se nyní velký výzkum zaměřený na zlepšení poměru signálu -k-šumu (SNR), zvýšení kvantovou účinnost (QE) zdrojů infračerveného světla nebo použít techniky k odstranění světla pozadí (BGL). a rozšířit.
Současnou i{0}}toF pixelovou strukturu lze zhruba rozdělit na hradlovou strukturu a difúzní strukturu. Metoda hradlové struktury generuje potenciálový rozdíl aplikací modulovaného napětí na mřížku pro sběr okolních elektronů. Difúzní struktura na druhé straně funguje jako proud-asistovaný fotonický demodulátor (CAPD) ke sběru elektronů pomocí proudu generovaného aplikací modulovaného napětí na substrát. Ve srovnání s prvním může druhý rychle detekovat elektrony generované v hlubších oblastech, čímž je přenos efektivnější, ale vyžaduje větší ztrátu energie, protože používá více-zátěžový nižší proud. Navíc, jak se pixely zmenšují a počet pixelů se zvyšuje díky vysokému rozlišení, spotřeba energie se dále zvyšuje.
In order to maximize the advantages of CAPD and reduce its limitations, SK hynix has developed 10um QVGA-class and 5um VGA-class pixel technology, using a new structure called VFM (Vertical Field Modulator). Next, let's take a deep dive into VFM technology and its benefits.
Výhody technologie VFM Pixel
Existují různá kritéria pro posouzení dobrého senzoru pro měření vzdálenosti, ale především by měl být schopen přesně detekovat vzdálenost a snížit problémy s ohřevem díky nižší spotřebě energie. Jinými slovy, dobrý senzor musí detekovat signály rychle s vysokou účinností a nízkou spotřebou energie, přičemž musí také přesně oddělit signály na základě fázových rozdílů.
1. SK hynix's CIS back-illuminated (BSI) technology and combination
Like CIS, back-illuminated processing brings a number of advantages to ToF sensor design or performance. The light source used to calculate the time of flight is infrared light (IR) because it must be invisible to the human eye. And, it calculates accurate distances even in low-light environments. Infrared has a longer wavelength compared to visible light, which means that without using a thicker wafer than CIS, most of the light is penetrated, resulting in extremely low signal levels in the pixels. But that doesn't mean the thickness can grow infinitely. It is difficult to quickly collect electrons produced in deeper regions, just as deep-sea fishing is more difficult than fishing at fishing spots. When backside illumination is used instead of front illuminated (FSI), the signal can be detected quickly because backside illumination allows the light to be collected closer together, where the electric field, which acts as a fishing line, is also projected from the opposite side by become stronger with light.
Obrázek 5: Porovnání předního -osvětleného a zadního- osvětlení (propustnost a sběr světla na tloušťku)
The performance of i-ToF depends on its ability to separate signals according to the rate of charge accumulation. In this regard, front-illuminated sensors may cause errors in distance, because when light passes through the pixel surface, it is more likely to directly enter the detection node, ignoring the phase difference. It's like there are other students in the classroom when the roll call is taking place. In front-illuminated, there are also many restrictions on metal wiring to ensure a higher fill factor, while back-illuminated allows a wider choice of metal wiring, like drawing water from the ground than cutting down trees in a dense forest Collecting rainwater is more efficient (Figure 6).
Obrázek 6: Míra akumulace náboje i{1}}ToF pro různé metody osvětlení (podobné čerpání vody pod zem a kácení stromů v hustých lesích)
Této výhody-zadního osvětlení lze dosáhnout kombinací s technologií zpětného osvětlení CIS-od SK hynix, která disponuje technologií pro vytváření pixelů menších než 1 mikron.
2. Optický vlnovod s příkopovou strukturou (SLA) a kvantová účinnost
Podle mechanismu i{0}}ToF využívajícího rychlost akumulace náboje potřebujeme k získání přesných údajů o vzdálenosti na delší vzdálenosti maximální úroveň signálu. Proto je nezbytné vysoké QE v infračerveném rozsahu vlnových délek.
Jak již bylo zmíněno výše, vzhledem k vysoké pronikavosti zdroje infračerveného světla je jeho intenzita světla slabší než u viditelného světla, takže hloubka sběru světla je hluboká. Jedním ze způsobů, jak se s tím vypořádat, je záměrně vytvořit struktury mikročoček (malé-čočky uspořádané podle velikosti a počtu pixelů pod čočkou fotoaparátu) vysoko, aby se dosáhlo lepšího sběru světla, ale výška je omezena technická omezení. SK hynix zvolil jiný přístup k překonání tohoto nedostatku. Umístěním několika čoček na každý pixel, které jsou menší než velikost pixelu, tato metoda zvyšuje hloubku sběru světla-, čímž se zvyšuje celkové množství přijímaného světla.
Kromě toho SK hynix také vykopává speciální strukturu vzoru na zadní straně, takže dopadající světlo se dotýká struktury a odráží se od ní, prodlužuje dráhu přenosu světla a soustředí světlo na modulační oblast, čímž snižuje míru ztráty světla a zlepšení účinnosti přenosu při stejné intenzitě světla dosahuje efektu zabití dvou much jednou ranou. Ve skutečnosti to potvrzuje, že QE je pod 940nm světelným zdrojem více než dvojnásobné. Při vyšším QE se mu podařilo snížit chybu mezi skutečnou a naměřenou vzdáleností o téměř 55 procent ve srovnání s předchozími metodami.
Obrázek 7: SLA (vlevo) a příkopový-strukturovaný optický vlnovod (vpravo)
3. Zajistěte nízkou spotřebu energie a vysoký výkon
S výjimkou spotřeby energie světelného zdroje spotřebovává snímač ToF nejvíce energie v obvodu, který moduluje signál, když pracuje. Výkon modulačního budícího obvodu je úměrný proudu protékajícím deskou. Jinými slovy, můžeme snížit spotřebu energie snížením proudu substrátu. Přesná a přesná měření vzdálenosti navíc vyžadují kratší modulační periody a rychlou detekci signálu. Vozidlo (foton) se musí zrychlit sešlápnutím plynového pedálu, aby rychle ujelo stejnou vzdálenost (tloušťka křemíku), což spotřebuje hodně paliva (nebo proudu). Jako další příklad, čerpání vody z hluboké studny vyžaduje velkou sílu ke zvednutí kladky. Ale co kdybyste dokázali odčerpat spodní vodu? Všechnu vodu, kterou potřebujete, vytáhnete s malou námahou, stačí jen točit kohoutkem.
Metoda VFM zvyšuje oblast vyčerpání tím, že optimalizuje podmínky a strukturu implantace iontů pixelů, umožňuje jim fungovat jako pumpa a posiluje vertikální elektrické pole. Proto se k proudu přidává síla elektrického pole, která dokáže efektivně sbírat elektrony a zároveň může také dosáhnout rychlého sběru za podmínek malého proudu a zvýšit spotřebu energie. Rozsáhlé experimenty ukázaly, že při zvýšení proudu dochází ke ztrátě výkonu VFM pixelu, což znamená, že jde o vhodnější strukturu pro nízký výkon a proud již není důležitým faktorem. Jinými slovy, metoda zlepšuje výkon pixelu řízením proudu prostřednictvím konstrukce, která umožňuje silné vertikální elektrické pole, takže funguje pouze jako vodítko. Ve srovnání se snímačem ToF -třídy QVGA má snímač ToF 5um VGA-třídy menší velikost pixelu a vyšší rozlišení, ale proud na pixel je snížen a nárůst spotřeby energie je téměř nulový. .
Obrázek 8: Jako snímač ToF má struktura VFM efektivnější spotřebu energie
Shrnout
SK hynix přispívá k vytváření ekonomické a sociální hodnoty tím, že umožňuje různým výrobcům modulů vstoupit na širokou škálu aplikačních trhů poskytováním úzké technické podpory a senzorů při vývoji technologie senzorů ToF.
In the future, we will be able to use AR/VR equipment to travel around the world, use drones to deliver packages, let home robots bring packages to us, ask sweeping robots to clean for us, and even sit in self-driving cars powered by facial recognition. Watch the news in the car. We expect these scenarios to be realized in the new world that SK hynix's deep solution technology is about to open up.
