このページについて
このページに関する質問やコメントはお気軽に以下のメールアドレスまで．
リンクは御自由にどうぞ．
重要なお知らせ
サイト閉鎖のお知らせ (2012-02-26)
恩師，三橋教授のご厚意により博士課程修了後も維持されてきた当サイトでありますが， この度，三橋教授のご退官により， 時期は未定でありますが来年度中に閉鎖される見通しとなりました． したがいまして，このページの情報を必要とされる方は各自それぞれで必要なページの保存等を行うことをお奨めいたします． 圧縮ファイル形式での提供を希望される方は著者までメールでご連絡下さい． 可能な限り対応させていただきます．
なお，ダウンロードツール類を使用してのバックアップ取得は堅くお断りいたします． この種のツールを利用した場合，ネットワークブロックに対するアクセス規制が行われる恐れがあります．
はじめに
このページでは本研究が採用するピンホールカメラモデルによるカメラのモデル化とその校正法について記述する． このページの前半はピンホールカメラモデルが三次元空間中の点と画像面の点の投影関係を斉次座標系での座標変換の合成によってモデル化することを示す． この座標変換のパラメターを推定することにより画像の情報から外界の三次元構造を復元することが可能となる． このために，このページの後半ではカメラ校正， カメラの座標変換パラメターの推定のためのいくつかの手法を述べる． さらに，ステレオカメラにおける点対応を数学的に記述するエピポーラ幾何学(エピ極線幾何学, epipolar geometry) を扱い， エピポーラ幾何を記述する基礎行列の推定が射影的なカメラの校正であることを示す．
なお，このページの完成版は著者の学位論文[9]の第3章を参照のこと． 旧版における基礎行列の推定方法は次項基礎行列の推定を参照のこと．
 |
 |
| (a)像面が後ろにあるモデル | (b)像面が前にあるモデル |
カメラのモデル化
カメラを幾何学的な視点から捉えたとき． カメラは三次元空間中の情報を二次元平面である画像に変換する装置と考えることができる． このような観点からカメラの投影を最も単純化したものが ピンホールカメラ (pinhole camera) (図1)と呼ばれるモデルである． 図1のスクリーンには小さな穴が開けられており， 三次元空間中の物体から出た，あるいは反射した光線は， この小さな穴を通って背面にある撮像面に倒立像を結像する(図1(a))． なお，撮像面を仮想的にスクリーンの前に配置したとすると(図1(b))， 図1(a)と同じ像が倒立せずに撮像面に現れる． 投影をより扱いやすいものとするために，以降は撮像面はスクリーンの前にあるものとする．
透視投影
ピンホールカメラモデルについて，より詳しく考察する．
図1のスクリーン上に開けられた穴を
光学中心 (optical center) ，
そして，カメラの撮像面を画像面 (image plane) ，
ピンホールの開けられた面を焦点面 (focal plane) と呼ぶ．
いま，三次元空間中に光学中心
を原点とする座標系
を考える．
このとき，光学中心を通り，画像面に直交する方向に
軸を取るものとする，これをカメラの光軸 (optical axis) と呼ぶ．
この座標系の
平面は焦点面となる．
光軸と画像面の交点を画像中心もしくは光軸点と呼び，
と書くものとする．
焦点面と画像面の距離を
と書き，
焦点距離 (focal length) と呼ぶ．このように定義した座標系を
カメラ座標系 (camera coordinate system) という．
 |
このとき，カメラ座標系で座標ベクタ
を持つ点は，
画像面上の座標系
において，以下の座標ベクタ
を持つ点に結像する(図2)．
| (1) |
このような変換を透視投影 (perspective projection) と呼ぶ． これは，斉次座標を用いることで，下のように線型に書き直される．
| (2) |
この式の左辺のベクタは射影空間と考えた三次元空間中の点の座標ベクタで
あり，右辺は射影平面と考えた像面上の座標ベクタである．
これらの関係は射影の意味で線型であり，三次元座標系で考えた場合の
に関
して非線型な式(1)よりも格段に扱いやすいものとなる．
式(2)は行列形式で次のように記述されることができる．
| (3) |
ここで，
，
である．このようにすることで，カメラの投影を射影空間
から
への線型写像と見なすことができるようになる．
この
を透視投影行列と呼ぶ．
式(2)の行列
の行ベクタに注目することで，
ある重要な事柄を見出すことができる．
いま，
を以下のように書くものとする．
| (4) |
このとき，前項から
，
は射影空間中のある平面を意味することが分かる．
例えば，
なるベクタ
は三次元空間中で
なる点，
平面上の点の射影座標である．
，
なるベクタがそれぞれ，
平面上の点，
平面上の点を表わすことを考えると，これらの平面の交差点，すなわち
カメラの光学中心に関して，以下の式が成り立つことが分かる．
| (5) |
ここで，
はカメラの光学中心の三次元座標である．
座標変換
前節までで，ピンホールカメラモデルを幾何学的に記述することができた． 本節では三次元空間や画像面に対する座標変換が透視投影行列に与える影響につ いて考察する．
像面上の座標変換
コンピュータビジョンにおける画像の利用を考えると，
実際のカメラから得たデータは，コンピュータ内では画素単位
で記録されたデジタルデータとして扱われることが多い．
画像が輝度情報のみであれば，これらが格子状に並んだものが画像データである．
通常，これらのデータは画像の左上を原点として
座標を読み取る，また，格子のサイズはCCDの感度セルのサイズや
ビデオデータのサンプリングレートに依存して変化する．
像面上にこうした座標変換に対応した新たな座標系を考える．
いま，この座標系において縦横のスケールが
，
光軸点が座標
であるとする．
新たな座標系に対応する座標変換は以下のように記述できる．
| (6) |
| (7) |
ところで，焦点距離
や画素の大きさ
，
光軸点
はカメラ固有の要素である．透視投影をより扱いやすいもの
とするために，投影のみを行う単純なカメラを考えることにする．
このカメラを単位カメラと呼び，
一般的なカメラは単位カメラと像面上の座標変換の合成として以下のように記述する．
| (8) |
以上のように，カメラ固有の要素と透視投影を分離する．
三次元空間中の座標変換
これまでの透視投影行列はカメラを基準とした座標系を用いて記述してきた． しかしながら，カメラの位置とは独立な外部の世界に基づいた座標系を考えた方が都合が良いことがある． こうした座標系を世界座標系 (world coordinate system) と呼ぶ．
 |
いま，世界座標系で三次元座標ベクタ
を持つ点が
カメラ座標系で三次元座標ベクタ
を持つものとする．
このとき，両者の関係はそれぞれの斉次座標ベクタを
，
とし，
カメラ座標系への座標変換を記述する回転行列を
，
並進ベクタを
と書くことで次のように記述される．
| (9) |
これは三次元射影空間におけるユークリッド変換である．
最後に世界座標系と画像座標系の関係を考える．
式(3)から，カメラ座標と画像座標は
記述された．
この関係と，
式(8)，
式(9)を用いることで，
世界座標とカメラ座標の関係は以下のようになる．
| (10) |
上の式を整理して，最終的に以下の式を得る．
| (11) |
ここで，第二式の
は像面上の座標変換であり，
これを内部パラメター (internal parameter) 行列と呼び，
，
をカメラの外部パラメター (external parameter) と呼ぶ．
これは
がカメラ固有の要素であり，
，
がカメラの姿勢
に関するものであることによる．
式(11)が透視投影モデルにおける最も一般的な表記である．
今後は透視投影行列といった場合，特に断らない限り，この表記の行列を指すものとする．
正射影カメラ
式(1)のカメラの座標系において光軸に沿った
なる並進を考える．
このとき，式(11)から，透視投影行列は
次のようになることが分かる．
| (12) |
透視投影行列はスケールを含んで定義されるため， これは射影の意味で以下の行列に等しい．
| (13) |
ここで，
とした場合，次の行列が現れる．
| (14) |
このとき，画像座標は
，
となる．
これは正射影 (orthographic projection) である．
正射影は透視投影において，カメラから物体の距離に対して，
が極めて大きくなったときの極限として現れる．
なお，
の第三行から正射影は無限遠平面
を保存すること
が分かる．これは正射影が平行性を保存することを意味する．
物理的なカメラモデル
現実のカメラの光学系には構成部品の配置誤差やレンズ収差がわずかながら存在 する．こうした要素を考慮したカメラモデルが存在する． 本研究の三次元構造復元法ではこれらの要素は扱わないが，参考までに説明する．
剪断変形
これまで考えてきたカメラモデルは画像面と光軸が正確に直交するというモデルであった．
とはいえ，現実的なカメラを考えた場合，光軸とカメラの撮像素子の配置された面は厳密に直交していると限らない．
こうした，撮像素子の配置誤差は画像格子が正方形にみえないと言う現象を引き起こす．
これは，画像座標系が直交座標系にならないことに対応する．
この場合，画像座標系の座標軸のなす角を
とすると，
内部パラメター行列は次のようになる [1]．
| (15) |
この式は
に関して明らかに非線型である．
ここでは，剪断変形を考慮した場合，カメラモデルが非線型になる，ということのみ述べる．
レンズ収差
 |
左図(a)が樽型歪み，左図(b)が糸巻き型歪みである． 中図が接線歪みである． 右図がWengらによる放射状歪みと接線歪みのモデルである．
前節では撮像素子の配置誤差による剪断変形について説明した． これに加えて，現実のカメラにはレンズ収差によって 引き起こされる幾何学的な歪みが存在する． ここでは，そうした幾何学的な歪みの中で最も顕著な影響を与えるとされる， Weng[7]らのモデルにおける放射状歪み (radial distortion) と接線歪み (tangential distortion) を扱う．
放射状歪みは理想的なレンズによる結像位置から内側への， または，外側への位置のずれを生じる． このうち，内側への変位，すなわち負の変位を 樽型歪み (barrel distortion) ， 外側への変位，すなわち，正の変位を 糸巻き型歪み (pincussion distortion) ， と呼ぶ． 放射状歪みは次のような級数で表わされる．
| (16) |
ここで，
は光軸点からの距離，
は歪みの係数である．
この級数の第一項のみ考えることにすると，
方向と
方向それぞれの投影位置のずれ
，
は以下のように表現される．
| (17) |
ここで，
，
は理想的なレンズモデルによる像の位置であり，
観測することはできない．
放射状歪みは光軸点を中心として
傾いた直交軸上に最も大きくあらわれる．
つぎに，接線歪みである．
接線歪みの原因となるのはDecentering distortion
とThin Prism distortionがある．
これらは放射状歪みの原因にもなる．
Decentering distortionは光学系の構成要素の配置誤差によって引き起こされる．
例えば，レンズの光軸上から光学系の中心がずれている場合などである．
これは放射状の歪み成分
と接線歪み成分
として以下のように表現される．
| (18) |
ここで，
は図4の接線歪みが最大となる方
向からの角度である．
，
，
，
と書き，
に関する高次の項を切り捨てることで
方向と
方向それぞれの歪み成分
，
は以下のようになる．
| (19) |
Thin Prism distortionはレンズ加工や光学系の組み立ての不完全性から引き起こされる．
| (20) |
ここで，
は図4の接線歪みが最大となる方向からの角度である．
，
と書き，さきと
に関する高次の項を切り捨てることで
方向と
方向それぞれの歪み成分
，
は以
下のようになる．
| (21) |
最終的な投影位置はここまでの全ての歪みを合わせたものとなる．
| (22) |
この中で，最も顕著な影響があるのは
を係数とする放射状歪みの
項である．
よって，多くの場合はこの要素のみが考慮される [1]．
レンズ収差による歪みを考慮した場合もカメラモデルは非線型となる．
カメラの校正法
カメラの透視透視行列を推定し，結像特性や姿勢を決定することを カメラ校正 (camera calibration) と呼ぶ． 本節ではカメラの校正法として，三次元空間中の点の座標を利用するZhang [8]の方法と， 三次元平面上の点の像の対応を利用する Triggs [6]の方法を扱う．
既知の構造物を用いたカメラ校正法
三次元構造が既知な対象物体をカメラによって観測し， 画像座標と三次元座標の関係を解くことによってカメラ校正を行うことができる． ただし，校正器具として三次元物体利用する場合， これを精密に製作しておく必要があり，カメラ校正が困難となることがある． ここでは，校正器具を利用する手法の中では比較的容易な Zhang [8] の方法を記述する． これは三次元物体を利用した校正器具よりも比較的製作が容易な平面パタンを用いる手法である (図5)．
 |
いま，平面パタン上に
座標系を設定し，平面上の点
，
，
を
視点から観測するものとする．
このとき，第
視点の内部パラメター行列を
，
外部パラメターを
，
，
とするとき投影関係は次のように記述できる．
| (23) |
ただし，
を利用して回転行列の第3列を取り除いた．
いま，第2式の射影変換を
と書くとき，
射影変換
の3列はそれぞれ回転行列
の第1列，第2列と並進ベクタ
の定数倍に等しい．
したがって，
に関して以下が成立する．
| (24) |
これは
の要素に関して線型である．
もし，
が視点によって変化しなければ，
もまた不変であるから，これを
と書くとき，
3視点の
から未知の
の6要素を線型に推定できる．
何らかの手段で推定した
を
と分解することで内部パラメター行列
を得る．
なお，
を
絶対円錐曲線の像 (image of the absolute conic)
と呼ぶ．
特徴点の平面拘束を利用したカメラ校正
前節の方法はカメラ校正に用いる平面構造物上の特徴点の三次元座標を利用して推定した平面射影変換
を利用した．
本節で扱う Triggs [6]の方法は特徴点の三次元座標ではなく画像面上の点対応から推定した平面射影変換を用いるカメラ校正法である．
空間中の座標既知の点を用いないカメラ校正を一般に
自己校正 (self calibration)
と呼ぶ．
 |
いま，
点の三次元平面上の特徴点
，
が
視点で観測されるものとする．
画像
と画像
における
の像をそれぞれ
，
と記述するとき，
と
には平面射影変換
による次の関係が成立する．
| (25) |
| (26) |
ただし，
，
は三次元平面と画像
，
画像
をそれぞれ結ぶ平面射影変換である．
したがって，両辺の定数倍を
と記述すると
に関する以下の行列方程式が得られる．
| (27) |
ここで，
は以下である．
| (28) |
ただし，
は行列の対角和である．
したがって，平面射影変換
を画像対を利用して推定した後，
式(27)を解くことで
が得られる．
平面射影変換
，
が得られた後は Zhang の方法と同様にすることでカメラ校正を行うことができる．
ステレオカメラの校正法
本節ではステレオカメラの画像間に成り立つ射影幾何学であるエピポーラ幾何学を扱う． まず，エピポーラ幾何学を記述する基礎行列を扱い， ステレオカメラの点対応との関係について議論する． 続いて，ステレオカメラの基礎行列を推定することは， これらのカメラの位置の射影的な校正，射影復元であることを指摘する．
点対応とエピポーラ幾何
 |
ステレオカメラが空間中の一点を観測する場合に点対応を記述するのが二視点間の
エピポーラ幾何 (epipolar geometry) である．
三次元空間中の点
を
それぞれ，射影行列が
，
であるような
画像
，画像
で
，
と観測されるものとする．
画像
，画像
のカメラの光学中心をそれぞれ
，
とするとき，特徴点の非斉次座標
は，4点
，
，
，
と共面である
(図7)．
したがって，
と
を通る直線と
と
を通る直線は
で交差する．
続いて，点対応を
と
の関係として記述することを考える．
三次元特徴点
とその投影像には以下が成立する．
| (29) |
を逆投影した直線を考えるとき，点
はこの直線上にある．
これは，直線上の二点を選択することで以下のように記述できる．
| (30) |
ただし，
は
の擬似逆行列，
はある定数である．
であることと
式(5)を利用すると，
明らかに
である．
いま，
を
を用いて投影するとき，
その投影像
は
式(30)で基底として選択した二点を結んだ直線である．
| (31) |
ここで，
は
との外積を表現する歪み対称行列である．
は画像
のカメラの光学中心
の画像
における像であり，
エピ極 (エピポール, epipole) と呼ばれる．
と
が同一の点
の像であれば，
と
は共線でなければならない．
| (32) |
ただし，線型変換
を以下のようにおいた．
| (33) |
このような
なる線型変換を
基礎行列 (fundamental matrix) と呼び，
直線
を
に関する
エピ極線 (エピポーラ線, epipolar line) と呼ぶ．
式(32)は
エピポーラ方程式 (エピ極線方程式, epipolar constraint) と呼ばれ，
点対応の拘束条件として利用される．
なお，ここでは
を逆投影した視線を
で投影することにより，
と
を得たが，
を逆投影した視線を
で投影しても同様の拘束条件
を得ることができる．
後者の基礎行列
と前述の
には次の関係がある．
| (34) |
また，定義より，
であるから，
基礎行列
，
とエピ極
，
には次の関係が成立する．
| (35) |
したがって，基礎行列は正則ではない． 基礎行列は定数倍の不定性があること，そして，正則でないことからその自由度は7である．
基礎行列と射影復元
本節で基礎行列が射影座標系の取り方と独立な二視点の射影行列の表現であることを示す．
三次元空間中の
の射影行列
，
による像をそれぞれ
，
とするとき，
これらは次の関係を満たす．
| (36) |
ただし，
，
は非零のスケールである．
方程式が満足される限り，左辺の
係数行列の行列式は常に零であることから，
これを展開することで以下を得る．
| (37) |
ただし，
，
，
はそれぞれ
と
の第
行の要素を縦に積んだベクタである．
式(32)と
式(37)は等価であるから，
基礎行列
は射影行列
，
を用いて次のように書くことができる．
| (38) |
また，式(5)
を利用すると，画像
と画像
の光学中心を
それぞれ，射影行列
，
の要素で記述できる．
これらをそれぞれ，
，
で投影したものがエピ極
，
であるから，式を整理することで以下の表現を得る．
| (39) |
式(38)，式(39)はそれぞれ，
基礎行列
，エピ極
，
の
Grassmann-Cayley 代数 [2] による表現と同一である．
 |
 |
| (a) 元の形状とカメラ配置 | (b) 射影変換した形状とカメラ配置 |
ところで，射影行列と三次元空間中の点の対
を
射影変換行列
を用いて，
，
，
と変換した
について，
その投影像
，
は不変である．
これはカメラの位置の変換にあわせて対象物体を変形することに相当する
(図8)．
このとき，式(38)より，
，
に関する基礎行列
は次のようになる．
| (40) |
基礎行列は射影変換
の影響を受けないことから，
ある射影行列の対を射影座標系の取り方と独立な形で表現したものであると言える．
実際，
，
がそれぞれ見掛け上11自由度を持つ一方で，
座標系の選択の任意性として
射影変換
の不定性を含む．
の自由度は15であるから，
カメラの対の射影復元は
自由度である．
事実，これは基礎行列の自由度に一致する．
したがって，基礎行列を推定することはステレオカメラを射影的な意味で校正することに対応する．
ここから復元した対象物体はもとの形状と射影変換の意味で等しい．
このような三次元構造復元を
射影復元 (projective reconstruction)
と呼ぶ．
なお，基礎行列が既知なカメラの対のことを
弱校正済み (weakly calibrated)
[5]
であるという．
基礎行列
に対応するカメラの対
は以下のように表現される [4]．
| (41) |
ここで，
は任意の
ベクタ，
は任意のスカラーである．
基本行列と自己校正法
式(33)からも明らかなように，
射影行列の対
の基礎行列
は
それぞれのカメラの内部パラメターと外部パラメターを含んでいる．
そこで，本節では基礎行列を二つのカメラの内部パラメターと外部パラメターで
記述することを考える．
まず，
の光学中心と向きを基準に世界座標を設定することで，
は以下で記述される．
| (42) |
ただし，
，
はそれぞれのカメラの内部パラメター行列，
，
はカメラ
の外部パラメターである．
このようなカメラの対に関する基礎行列は次のようになる．
| (43) |
さらに，任意の正則行列
とベクタ
に関して，
が成立することを利用すると以下を得る．
| (44) |
ただし，
を利用した．
これは
がカメラ
基準で書いたカメラ
の光学中心であることに
よる．
このとき，以下の行列
を
基本行列 (essential matrix) と呼ぶ．
| (45) |
なお，基本行列を定義してから基礎行列を導くこともできるが，
本論文では一貫して射影座標系を基準とし，
その特殊な場合としてユークリッド座標系を考えるため，
基礎行列を定義してから基本行列を導出した．
基本行列はカメラの対
の
内部パラメター
，
が既知の場合に画像間のエピポーラ幾何
を記述する．
基本行列の方程式は基礎行列の方程式(32)
と同じ構造を持つことから，点対応から基本行列を推定することができる．
ただし，点対応から得た基本行列は定数倍の不定性を持つことから，
ここから得られる構造復元は元の構造と相似の関係になる．
また，世界座標原点の任意性まで考慮すると構造復元は全体として相似
変換の不定性を持つことになる．
このように，元の構造と相似変換の意味で等しい構造復元を
慣用的に
ユークリッド復元 (Euclidean reconstruction)
と呼ぶ(ただし，厳密には相似復元とすべきである)．
なお，式(44)や
式(45)からも明らかなように，
基礎行列
や基本行列
はカメラの内部パラメターや外部パラメターを含んでいる．
何らかの方法で推定した基礎行列や基本行列を分解して，
カメラのパラメターを得る方法は[3]や[4]が詳しい．
続いて，視点間の基礎行列からカメラの内部パラメターに関する制約を与える
Kruppa 方程式を導く．
この Kruppa 方程式を解くことで，
座標既知の点を利用せずにカメラの校正を行うことができる．
式(43)を用い，ここから回転行列
を消去す
ることで以下を得る．
| (46) |
ただし，
，
とおいた．
式(46)を
Kruppa 方程式 (Kruppa equation)
と呼ぶ．
古典的な自己校正法はカメラの内部パラメターが視点間で変化しないことを前提
としてKruppa 方程式を解いて行う．
この条件の下では
であるから，Kruppa 方程式は次のようになる．
| (47) |
この式の両辺は
の要素に関して線型であるから，
方程式を解いて推定した
を
と分解することで内部パラメターを得ることができる．
このような
を
双対絶対円錐曲線の像 (dual image of the absolute conic)
と呼ぶ．
式(47)は両辺の半正定値対称行列の要素の比が等しいことを 意味するが，やや冗長な表現である． ここでは基礎行列の特異値分解を利用することでより簡略な表現を導く． まず，基礎行列を次のように特異値分解する．
| (48) |
ここで，
であるから，
である．
式(48)を式(47)に代入することで以下を得る．
| (49) |
最後の式の両辺を比較することで以下の方程式を得る [4]．
| (50) |
この方程式のうち，独立なものは2つあるから，
3視点以上の画像の基礎行列の対から
を推定できる．
まとめ
このページではピンホールカメラの投影を射影幾何学に基づいてモデル化し，
その校正法について簡単に記述した．
前半では外界を
，画像面を
と考え，
斉次座標系で線型変換を記述することでピンホールカメラの投影が
空間中のユークリッド変換，像面への射影変換，そして像面上のアフィン変換の合成で記述できることを示した．
後半ではカメラの結像特性や姿勢の決定方法であるカメラ校正についていくつかの手法を記述した．
最後に，ステレオカメラにおける点対応の数学的な記述として，
エピポーラ幾何を扱い，これを記述する基礎行列に関していくつかの議論を行った．
そして，基礎行列が座標系と独立なステレオカメラの射影復元であることを示した．
参考文献
- 出口光一郎. ロボットビジョンの基礎. コロナ社, 2000.
- Olivier D. Faugeras and Quang-Tuan Luong. The Geometry of Multiple Images : the laws that govern the formation of multiple images of a scene and some of their applications. The MIT Press, 2001.
- 金谷健一, 松永力. 基礎行列の分解 : 焦点距離の直接的表現. 情報処理学会研究報告, 2000-CVIM-120-7, pp. 49-56, Jul 2000.
- Richard I. Hartley and Andrew Zisserman. Multiple View Geometry in computer vision. Cambridge University Press, second edition, 2003.
- 佐藤淳. コンピュータビジョン-視覚の幾何学-. コロナ社, 1999.
- Bill Triggs. Autocalibration from Planar Scenes. In Proceedings of European Conference on Computer Vision, Freiburg, Germany, pp. 89-105, 1998.
- Juyang Weng, Paul Cohen, and MarcHerniou. Camera Calibraton with Distortion Models and Accuracy Evaluation. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10, pp. 965-980, October 1992.
- Zhengyou Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, Novenber 2000.
- 渋沢英次郎. 代数学的誤差の最小化に基づく未校正多視点画像からの三次元復元に関する研究. 博士学位論文, 電気通信大学 大学院 電気通信学研究科, March, 2010.