Technical Info

기술법령과 정책

기술자료안내

기술전문서 & 자료

PDF 기술자료안내

월간 전자부품

Embedded Word

월간 인터페이스

월간 트랜지스터기술

실무기술강좌

전자부품의 기초

고주파회로 기초

임베디드 시스템

컨트롤러 PIC 기초

마이크로파 ID 카드

자료신청안내

예정자료안내

매진자료안내

기술정보나눔터

회원등록(무료)

전방위 카메라 Hyper Omni Vision용 CMOS 이미지센서 
 

자료제공: 국제테크노정보연구소
참고자료안내: CCD카메라와 영상처리회로 설계

서 론

전방위 카메라는 회전체 반사경과 집광렌즈 및 촬상소자를 사용함으로써 전방위를 한번에 촬상 가능하게 하는 카메라 시스템이며, 시큐리티, 감시카메라, 로봇비전 등에 그 응용이 기대되고 있다. 회전체 반사경으로서 쌍곡면을 이용한 전방위 카메라는 Hyper Omni Vision(HoVI)의 명칭으로 연구가 진행되고 있으며, 상품화도 되고 있다. 반사경의 형상으로서 HOVI의 쌍곡면을 비롯하여 구면, 방물면, 원추, 복합형 등, 여러 형상을 이용한 전방위 카메라가 보고되고 있지만, 촬상소자로서는 종래의 CCD(Charge Coupled Device)가 사용되고 있다. 통상, 이 촬상소자 면상의 투영화상은 회전체 미러이기 때문에 인간이 그대로 관찰하는 데는 적합하지 않는 일그러진 화상으로 되고 있다. 따라서 관찰을 위해서는 통상적으로 촬상소자 출력을 외부의 계산기 등으로 좌표변환처리를 행하고 있다.

본고에서는 이 좌표변환을 on-chip상에서 행하는 이미지센서를 제안함과 동시에, 소자 시제에 대한 기본특성 평가에 대해 언급한다. 센서상의 화소를 좌표 변환에 따라 배열함으로써 쌍곡면 미러에 의해 생기는 화상의 일그러짐을 온칩상에서 제거하는 것을 목적으로 했다. 이에 따라, 종래부터 사용되어 온 촬상소자 외부에서 소프트웨어적인 화상처리가 필요없게 되어, 처리가 고속화되고, 장치를 간단하게 구성할 수 있다. 여기서는 종래부터 사용되고 있던 CCD 대신에, CMOS(Complementary Metal Oxide Semiconductor) 이미지센서 기술을 적용했다. CMOS 이미지센서는 CCD에 대해서 설계의 자유도가 높고, 비격자점상의 화소 배열이 용이하기 때문이다.
게다가, 전방위 카메라를 고기능화하기 위해, 움직임 검출기능의 도입을 검토했다. CMOS 이미지센서에서는 화소내에 처리회로를 도입하는 것은 CCD에 비해 용이하며, 각종 기능 센서가 연구되고 있다. 여기서는 움직임 검출회로로서 화소 레벨 프레임간 차분회로에 대해 테스트 회로를 시제하여 기본동작을 확인하고 HOVI용 CMOS 이미지센서의 도입 가능성에 대해 검토했다.
이후, 전방위 카메라에 있어서 화상변환 및 그 이미지센서 화소배열의 실현방법에 대해 언급한다. 이어서, 이와 같은 좌표변환을 하는 HOVI용 CMOS 이미지센서의 설계와 시제에 대해 언급하고 그 평가 결과에 대해 해설한다. 또, HOVI의 전방위 감시카메라에 대한 응용을 목적으로 움직임 검출을 위한 화소 레벨 프레임간 차분회로의 검토에 대해 언급한다.

전방위 카메라에 있어서 좌표변환

■ 종래의 수법
Hyper Omni Vision(HOVI)에서는 회전 쌍곡면 미러를 이용하여 전방위 카메라 시스템을 실현하고 있다. 그림 1에 HOVI의 장치구성 및 전방위의 화상이 얻어지는 원리를 나타낸다. 공간내 임의의 물점 P(X, Y, Z)가 쌍곡면 미러에 의해 2차원의 화상면상의 점 p(x, y)에 투영된다. 그림 2에 전방위 촬상의 모양을 나타낸다. HOVI의 시야영역은 그림 2(a)와 같은 원통면이다. 이러한 원통면상의 구형 영역을 쌍곡면 미러를 통하여 CCD 카메라로 받아들였을 때, 2차원의 화상면상에서는 전방위의 상은 그림 2(b)와 같이 부채꼴로 된다. 그러나, CCD의 화소 배열은 격자 모양의 배열이기 때문에, 얻어지는 화상은 그림 2(c)와 같이 왜곡을 수반하게 된다. 종래에 이 화상의 왜곡은 소프트웨어에 의한 화상처리로 보정해 왔다.

■ 본 제안의 수법
여기서는 전방위 카메라 HOVI의 촬상소자로 사용하는 CMOS 이미지센서의 화소 배열을 쌍곡면 미러에 의한 투영화상을 역변환하는 방식에 대해 언급한다.
화소 좌표의 산출은 다음과 같이 했다. 쌍곡면 미러에 의하여 공간내 임의의 물점 P(X, Y, Z)가 좌표면에 투영되는 점 p(x, y)의 좌표는 다음 식으로 표현된다.

여기서, b, c는 쌍곡면의 파라미터, f는 카메라의 촛점거리이다. 식 (1), (2)로 나타낸 바와 같이, 쌍곡면 미러에 의해 공간 좌표를 평면에 투영하는 과정에서 화상에 일그러짐이 발생한다. 본고에서는 식 (1), (2)로 나타낸 좌표 변환에 따라 방사상으로 화소를 배열함으로써 왜곡이 제거된 화상을 출력시키는 것을 시도했다. 이 모양을 그림 3에 나타낸다. 그림 3(b)에서, 원형으로 일그러진 전방위 화상에 대하여 방사상의 화소 배열을 가지는 이미지센서를 촬상소자에 사용함으로써 그림 3(c)와 같이 왜곡이 보정된 전방위 화상을 출력시킬 수가 있을 것으로 생각된다.

 좌표변환용 CMOS 이미지센서

■ 설계 내용
앞에서 언급한 왜곡제거의 원리를 실증할 목적으로, 실제로 방사상의 화소 배열을 가진 CMOS 이미지센서를 설계, 시제했다. 시제 프로세스에는 CMOS 0.6μm 프로세스를 이용했다. CMOS 프로세스의 높은 설계 자유도를 살려 비격자 점상의 레이아웃을 실시했다.
화소배치는 다음과 같이 했다. 우선 상정하는 회전 방물면경은 末陰産業(株)에서 제작한 HOVI 카메라의 방물면경으로 했다. 그 미러 파라미터는 b=11.7mm, c=18.0mm, 앙각 20도, 부각 70도이다. 이에 따라 최대 허용되는 앙각과 부각이 정해진다. 다음에 앙각과 부각을 설정했다. 이 설정에 의해 화소 배치 영역이 정해지고, 화소 어레이 면적이 정해진다. 실제로는 사용 펀더리에 의해 최대 칩면적이 사각 8.9mm라고 하는 제약이 있기 때문에 이것에 의해 최대 앙각이 제약을 받는다. 여기서는 앙각을 20도로 설정했다. 이 경우 어레이의 최외주 화소위치는 중심으로부터 2.6mm가 된다. 또 부각에 의해 최내주에서의 화소배치가 정해진다. 여기서는 설계규칙 등에 의해 최소 화소 사이즈를 10μm 정도로 하고 최대 부각을 30도로 결정했다. 이 경우 최내주의 화소 사이즈는 18μm로 그 배치위치는 중심으로부터 0.9mm로 된다.

시제한 칩의 사진을 그림 4에 나타낸다. 또, 이번에 시제한 칩의 사양을 표 1에 나타낸다. 화소회로에는 CMOS 이미지센서로 일반적으로 사용되고 있는 APS(Active Pixel Sensor)를 사용했다. 본 칩의 레이아웃상의 특징으로, 방사상의 화소 배열이므로 원주 외측의 화소는 드문드문하지만, 내측은 조밀하게 되는 점을 들 수 있다. 이 때문에 중심으로 향할수록 화소면적의 크기는 제한된다. 그래서 본 시제에서는 표 1과 같이 화소 사이즈를 내측으로부터 8주마다 크기를 변경하고 4종류 사이즈의 화소를 사용했다. 이에 따라, PD 사이즈도 4종류로 했다(표 1 참조).

그림 5는 최내주 화소 부근의 칩 현미경 사진이다. 또, APS의 화소회로를 구동하기 위해 필요로 하는 읽어내기 회로는 통상적인 매트릭스 모양 화소배열의 이미지센서에 있어서 수직 읽어내기 회로에 상당하는 읽어내기 회로를 본 칩에서는 동경(動徑) 방향으로 배치하고, 수평 읽어내기 회로에 상당하는 읽어내기 회로를 원주 방향으로 배치했다. 또한, 본 설계에서는 배치 배선은 모두 손으로 작업했다.

■ 화소의 특성
시제한 이미지센서의 화소특성을 평가했다. 평가에는 센서 칩상에 형성한 화소 TEG(Test Element Group)를 이용하여 실시했다. 그림 6은 포토다이오드(PD) 사이즈 사각 18μm, 사각 20μm, 사각 30μm, 사각 40μm에 있어서의 입력 광강도에 대한 출력전압의 관계이다. 축적시간은 16msec로 하고, 광원으로는 중심파장 660nm의 적색 LED를 사용했다. 이 결과에서, 입력광 다이내믹 레인지(=10Log(최대입력광강도/최저입력광강도))는 화소 사이즈에 거의 의존하지 않고 약 23dB이었다. 화소에는 차광 메탈을 실시하고 있지 않으므로 실제로는 수광부 이외 부분에서의 확산 캐리어의 영향이 매우 크기 때문에 PD 사이즈 의존성이 나타나지 않을 것으로 생각된다. 실제 주변 차광을 실시한 사각 30μm 화소에서는 입력광 다이내믹 레인지는 27dB로 되었다. 또한 선형성이 별로 좋지않는 원인으로, 화소신호의 읽어내기를 외부에 부착된 전류/전압 변환 앰프에서 하고 있기 때문에, 화소내 증폭 트랜지스터의 비선형성이 나타나고 있다고 생각된다. 이 결과에서, 실내광 정도의 빛을 본 센서로 수광 가능하다는 것을 확인할 수 있었다. 또 최내주에서 최외주까지의 APS에 의해 거의 감도는 변함없다는 사실도 확인할 수 있었다.

■ 어레이 특성
이 칩의 특징인 방사상으로 나열된 화소 배치에 있어서의 화소간 편차에 대해 평가를 했다. 평가 데이터로서는 암시에 있어서 리셋 동작 직후의 전체 화소수 1024개로부터의 출력 전체를 AD보드에 의해 PC에 수납, 1,000회 평균한 것을 이용했다. 그림 7은 원주 방향 배열에 있어서의 출력전압을 플롯한 것이며, 그림 8은 그림 7에서 화소번호 #1부터 #128까지를 확대한 것이다. 여기서 화소번호 매김은 다음과 같이 정의했다.

우선, 어떤 동경방향에 대해 중심으로부터 외주로 향해 화소번호를 매긴다(화소번호 #1~32). 최외주에 이른 후, 인접의 동경방향을 선택하여 다시 중심으로부터 번호를 매긴다(#33~64). 이후, 이 순서를 반복하여 화소번호 #1024까지 매긴다. 그림 7과 그림 8에서 알 수 있듯이, 출력신호는 거의 선형으로 감소한 다음, 32화소째에서 다시 출력은 상승한다. 또 내측에 배열된 화소일수록 신호치는 감소하고 있다.
이 변화의 원인은 센서의 출력 배선저항에 의한 것이라고 생각된다. 내측일수록 신호치가 작아지는 것은, 읽어내기 회로 부분의 배선저항이 내측만큼 커지기 때문이며, 32화소마다 신호치가 변화하는 것은 원주 부분의 배선저항이 변화하기 때문이다. 화소 출력신호인 화소내 증폭용 트랜지스터의 드레인 전류는 칩 외부에 부착된 전류/전압 변환앰프에 의해 읽어내기를 하고 있다. 배선저항에 의한 전압강하가 발생하면 증폭용 트랜지스터의 게이트-소스간 전압이 변화하기 때문에, 출력신호 레벨의 배선저항 의존성이 발생한 것으로 생각된다. 따라서 배선저항을 고려한 레이아웃을 실시함으로써 출력편차를 줄일 수 있다고 생각한다. 또한, 암전류의 PD 사이즈 의존성도 리셋 전압에 영향을 미친다고 생각되지만, 그림 7에서는 리셋 직후의 출력전압을 플롯하고 있으므로 실제로는 암전류의 영향은 적을 것으로 생각된다. 또, 본 구조의 경우, 외주측이 PD 사이즈가 크기 때문에 암전류가 커지며, 따라서 리셋 전압이 낮아질 가능성이 있지만, 그림 7에 나타낸 바와 같이 실험결과는 반대의 경향이다. 이러한 사실에서도 암전류의 영향은 적을 것으로 생각된다.

■ 출력 화상의 특성

시제 칩에 의해 실제로 테스트 패턴을 촬상함으로써 본 제안의 원리 실증을 시도했다.
그림 9(a)에 나타낸 바와 같은 동심원의 패턴을 촬상했다. 이 동심원 패턴은 설계에 사용한 방사상의 화소좌표와 위치 관계를 대응시켜 제작했다. 동심원 패턴을 칩으로 촬상하면 칩상에서 그림 9(b)와 같이 촬상된다. 방사상으로 배치된 화소에 동심원 화상이 투영되었을 경우, 직선으로 변환되어 출력될 것이다. 촬상의 결과, 그림 9(c)와 같이, 동심원이 세로의 직선으로 변환되어 화상 출력되는 것을 확인했다. 또, 그림 10(a)와 같은 반원의 형태를 촬상한 결과, 그림 10(b)와 같이 H의 형태로 변환되는 것을 확인했다.

또 문자의 촬상을 시도했다. 통상적인 CCD를 사용한 앞장에서 언급한 시판 HOVI 시스템으로 실제로「奈」라고 하는 문자를 촬상하고, 그 출력을 변환하지 않고 그대로 표시함으로써 그림 11(a)와 같이 일그러진 「奈」라고 하는 문자를 얻었다. 그리고, 이 일그러진 문자를 테스트 패턴으로 사용하여 시제 칩으로 촬상했다. 그림 11(b)는 그 촬상결과이다. 왜곡이 보정된 「奈」의 문자가 화상으로서 출력되는 것을 확인할 수 있었다. 이와 같이 시제 비전칩에 의해 전방위 카메라의 왜곡을 온칩에서 제거할 수 있다는 것을 알았다.

또, 실제로 회전 쌍곡면 미러를 이용한 촬상 시스템을 구축했다. 회전 쌍곡면 미러로서는 앞서 언급한 末陰産業(株) 제품 사방위 카메라의 미러를 이용했다. 회전 쌍곡면 미러에서 반사된 상은 초점거리 3mm의 카메라 렌즈를 이용하여 결상시켰다. 이 렌즈의 초점거리는 원래의 사방위 카메라 시스템에서 사용되고 있던 렌즈와 같다. 이대로는 보드상에 실장된 센서칩에 대한 워킹 디스텐스가 짧아지기 때문에, 초점거리 100mm인 2장의 릴레이 렌즈를 삽입했다. 그림 12는 원통상에 묘화된 세로의 줄무늬를 본 시스템으로 촬상한 결과이다. 연직의 세로선으로 출력되고 있는 것을 확인할 수 있다. 이 결과에서, 본 시스템이 왜곡이 없는 화상출력이 가능한 사방위 카메라로서의 기본 기능을 실증할 수가 있었다.

움직임 검출 기능의 도입

왜곡제거와 동시에 HOVI 움직임 검출기능의 도입을 검토했다. 한번에 전방위를 관찰하면서 움직임을 검출할 수 있는 기능은 감시카메라에서 매우 유용할 것으로 생각된다. 따라서 그 기본 기능을 확인하는 것은 HOVI에 있어서 중요하다.
CMOS 이미지센서 적용의 이점을 살려, 화소마다 프레임간 차분을 실시함으로써 움직임 검출 실현을 시도했다. CMOS 프로세스에 의해 제작되는 이미지센서에서는 화소에 기능회로를 도입할 수 있다.

화소마다 프레임간 차분을 하기 위한 화소회로로서, 그림 13에 나타낸 chopper 비교기를 이용한 프레임간 차분회로를 고안했다. 이 회로의 이점은 단일의 커패시터로 프레임 메모리를 구성하고 있는 점이다. 회로동작은 다음과 같다. 우선, 광전변환한 전압신호를 소스 폴로워에 의해 증폭한다. N번째 프레임의 신호를 프레임 메모리에 축적한다. 1프레임간 보존한다. 다음에 N+1번째 프레임의 신호치와 프레임 메모리 신호의 차분연산을 초퍼 비교기에서 실시한다. 비교를 행한 후에 N+1번째의 프레임에 있어서의 신호를 프레임 메모리에 축적한다. 이와 같은 동작에 의해, 프레임간 신호치를 차분연산하여 움직임 검출기능의 실현을 시도했다. 또한 그림 13의 스위치 S1은 MOS 스위치로 했다.

0.35μm CMOS 프로세스를 이용하여 이 화소회로를 시제하여 평가를 했다. 프레임 메모리용 커패시터로서는 폴리커패시터를 사용하고, 그 용량치는 차지 인젝션(charge injection)의 영향을 저감하기 위해 350fF로 했다. 평가를 위한 광원으로는 파장 660nm의 적색 LED를 2개 사용했다. 이들 2개의 LED를 프레임마다 다른 광량으로 발광시켜 프레임간에 임의의 광량차를 작제하고 칩에 조사하여 프레임간의 광량차에 대한 회로의 출력을 측정했다. 또한 0.35μm CMOS 프로세스에서는 PD감도 자체는 앞서 언급한 0.6μm CMOS 프로세스에 비해 나빠지지만, 미세화에 의해 회로규모를 크게 할 수가 있기 때문에 채용했다.

측정결과를 그림 14에 나타낸다. 측정은 회로에서의 전류출력을 외부 IV 변환회로에 의해 전압으로 변환하고 있다. 기준이 되는 참조광량을 그림에 나타내고 있다. 그림 11에서, 프레임간의 광량차에 비례한 신호출력이 얻어져, 프레임간의 광량 변화를 검출할 수 있다는 사실을 확인했다. 또 선형오차는 최대 4.4%로 되었다. 또한 마이너스측 출력의 포화는 APS의 포화에 의한 것이다.
그림 15에 초퍼형 비교회로를 갖는 화소를 어레이화한 레이아웃을 나타낸다. 커패시터부를 포함한 개구율은 20% 정도이다. 본 레이아웃에서는 APS부로서 사각 18μm을 확보할 수 있으며, 초퍼회로로서 필요한 요소를 배치하는 것을 확인할 수 있었다. 이와 같은 레이아웃을 사용함으로써 움직임 검출기능을 갖춘 전방위 카메라를 실현할 수 있을 것으로 생각된다.

종 론

전방위 카메라 시스템 Hyper Omni Vision(HOVI)용의 촬상소자로서, 온칩에서 출력화상의 왜곡제거가 가능한 이미지센서의 설계와 시제 및 그 평가를  실시했다. 칩은 0.6μm CMOS 프로세스를 사용하여 시제하고, 화소수는 32×32이다. 시제한 칩으로, 테스트 패턴을 촬상하여 온칩상에서 전방위 카메라에 의한 화상의 왜곡을 제거할 수 있다는 사실을 확인했다. 또, 전방위 카메라에 움직임 검출기능을 부가하는 것을 검토했다. 움직임 검출기능의 실현을 목적으로 한 화소 레벨 프레임간 차분회로를 0.35μm CMOS 프로세스를 이용하여 설계 시제했다. 시제 칩의 평가 결과에서, 프레임간의 광강도 변화에 거의 비례한 출력신호를 확인할 수 있었다. 본 회로를 이용하여 화소 레벨로 프레임간 차분을 실현할 수 있을 것으로 생각된다. 향후, 이 화소회로를 어레이화한 비전칩을 설계할 것이다. 이에 따라, HOVI의 로봇비전이나 감시카메라 등에 폭넓은 응용이 기대된다.