顔検出機能「顔キメ」

画像A ソニーに聞く インタビューに応えてくれた、ソニー株式会社 デジタルイメージング事業本部 パーソナルイメージング事業部 商品企画部　商品企画課 越智 龍氏。 画像B ソニーのコンパクトデジカメ 光学式手ブレ補正付きモデルで世界最薄ボディの『DSC-T77』(手前)と約4GBの内蔵メモリを搭載する『DSC-T700』(奥)。 画像C ソニーの顔検出機能「顔キメ」 「膨大な人物の写真や画像を解析して、総合的に顔を判断する技術がベースになっている」 画像D カラフルスリム『DSC-T77』 ソニーらしくカラーラインアップも豊富。日常のファッションと合わせて選べる5カラー。 画像E 顔検出の機能をデモ 自分撮りで、顔の正面、斜め、横、と「顔キメ」の認識を実演しながら説明してくれる越智氏。 画像F 複数の人がいても子どもと大人を自動判別 「顔キメ」ではこども優先を設定したり、最大 8 人まで顔を検出して、ピントが合うように撮影できる。

解説
2008年秋モデルでソニーが発表したコンパクトデジタルスチルカメラ“サイバーショット” 『DSC-T77』は、光学式手ブレ補正機能を装備しながら世界最薄を実現しました。

厚さはなんと 15 mm、レンズカバーを除くと 13.9 mm しかありません。編集部スタッフの名刺ケースのような、いや、それより薄いボディです。それでいて光学4倍ズームレンズを搭載。

それだけの高機能なメカニズムがこの薄いボディのどこにどのように凝縮して積まれているのでしょうか。興味津々です。

T77の上位機種、『DSC-T700』も発表。
T77と比べると 1.4 mmほど厚いのですが、それでも薄さが際だっています。この機種の特長はボディ内に約4 GBの大容量メモリを搭載していることです。「デジタルフォトアルバム」として、撮った写真をデジカメに保存したまま持ち歩くことができます。

そして、この 2 機種で注目したいのは顔検出機能「顔キメ」と「スマイルシャッター」が強化されたことです。

「顔キメ」は、液晶画面に映った人物の顔をカメラが見つけ、顔を基準にしてピントや明るさ、肌の色などをキレイに自動調整してくれる機能です。

「スマイルシャッター」は人が笑顔になると自動でシャッターが切れて撮影できる機能です。

※「世界最薄」は、光学式手ブレ補正機能搭載のデジタルスチルカメラとして（ 2008年8月時点、ソニー調べ。）

Q:
顔検出機能の概要としくみを教えてください。

顔認識の基本は、マルを描いて目と鼻とクチがあればそれは顔だと判別するところから始まっていますが、オモチャやイラストではなく、リアルな人間の顔だけを判別するにはどうしたらいいか、どう精度を上げるかの手法は各社メーカーによって異なります。

Q.
顔検出、顔認識のしくみは秘匿性が高い分野なので、残念ながら各社とも詳しい仕組みは教えてくれませんが、御社ではどのような方式で、精度を上げていったのですか?

詳しい話はできませんが、膨大な数の、実際の人間の顔写真を解析し、その情報や顔の定義を凝縮してカメラに覚えさせました。顔写真の情報やパターンの数が多ければ多いほど検出の精度は上がるので、日本はもちろん海外の関係者にも協力していただき、たくさんの人の膨大な数の画像を集めて解析しました。

解説
コンパクトデジカメを中心に、各社が「顔検出」の技術開発にしのぎを削っています。ソニーの場合は、膨大な写真画像をサンプリング、解析して顔を総合的に判断しているようですが、他社では、目やクチ、歯などの特定のパーツを検出して、顔や笑顔を判別する技術を採用しているところもあるようです。

Q.
もし、被写体の後ろにリアルな顔写真のポスターがあれば、ポスター写真であっても顔として認識してしまいますか?

ポスターの顔が大きくてリアルで目立てば、カメラはそれを人の顔と認識する可能性があります。被写体までの距離を考慮するなどして、本物の人の顔がどうかを見分ける方法は、各社とも次の開発テーマになっていると思います。

ただ、弊社製品の場合、複数の顔があった場合…ひとつがポスターだったとしても…複数の顔を認識したマークが画面に表示されますので、タッチパネルを採用したモデルであれば、どれを優先にするかを指でタッチして簡単に選択できるように工夫しています。もちろんこの方法は、簡単ですけれどもオートではないので、ベストだとは思っていません。　将来的には被写体選択の精度を上げて選択いらずにしたいものです。

Q.
複数の人の顔を認識した場合はどちらを優先するか選択できるということでしょうか。

大人と子どもの顔を判別できますので、子どもの顔を優先的に判別する設定もできます。また、集合写真の場合は、最大 8 人まで同時に検出し、みんなの顔にピント合わせたり、一度検出した顔は動いても追尾して、一人ひとりの表情をキレイに撮影します。

Q.
横顔は認識できませんか?

例えば、こうして(画像E)顔を正面にしてカメラを向けると、カメラは私の顔を認識したと思います。

Q.
自分撮りですね…あ、顔を認識しましたね。

正面で認識すればこうして顔を横に向けていっても、斜めに向けたぐらいではまだ検出していますよね。

Q.
斜め45度に向けたくらいでは、顔として認識しますね。

実は2007年春に搭載した頃は、だいたいこのあたりの角度が検出する限界でした。最新機種では更に斜めでも検出できるように改良しました。ただ、このように完全に横顔になると認識できません。斜めから見ても顔として検出する技術、それと、検出した顔が動いたり横顔になっても、ねばり強く追尾する技術を更に改良しました。

Q.
顔と認識するには、最初から横顔や斜めよりは、正面で顔をカメラに向けて検出させておいて、斜めや横顔近くに向いていった方が追尾なり、再検出なりで認識しやすいんですね。ところで、追尾には顔の色も判別の対象になっていますか?

技術的に詳しいことは申し上げられないんですが、一般的に類推されることとすれば、色や形など総合的な要素として顔だと判断しているカメラもあるのではと思われます。

Q.
帽子やサングラス、マスクなどを着用している場合、検出率は下がりますか?

マスクをしている場合の検出は難しいですね。帽子やメガネはある程度、膨大な情報の中には入っていますが、検出率は落ちてしまいますね。メガネは目が見えていれば良いのですが、目が隠れるサングラスなどですと認識率はかなり下がることがあります。

Q.
顔検出機能として、ソニーの技術が最も優れている点はどこでしょうか?

「速度」です。顔を認識するまでの時間が短いので、お客様にはぜひその点に注目していただきたいですね。次に「耐性」といいますか、動いたり、横顔や斜めになったりなど、どこまで追尾できるか、ですね。
瞬時に顔をみつけ、見つけた顔は追尾して、プロが撮るように最適な設定で顔をきれいにキメて撮る、という意味を込めて「顔キメ」という名前にしました。

Q.
ちなみに、犬の顔は検出しないですよね?

しません。ヒトの顔だけです。ただし、犬の画像も膨大に解析して覚え込ませれば、技術的には同様に実現できるでしょうね、もちろん将来の仮定の話ですが(笑)。

Q.
スマイルシャッターも顔検出と同様の技術ですか。

技術的には顔検出の延長で、同様の技術を使っています。まず顔検出でどの辺が顔だということは解っていますから、次は笑っているかどうかを判断する技術ですね。

スマイルシャッターの魅力とメリット

画像G 顔キメとスマイルシャッターの特長 「スマイルシャッターは顔キメの延長。「速い」のが特長。自然な笑顔を撮り逃がさない」 画像H スマイルシャッターを改良して機能アップ 「スマイルシャッター」に設定しているときにも手動でシャッターが切れるように改善した。T77とT700では、不意の笑顔は自動のスマイルシャッターが逃さず撮り、お客様がいま撮りたいというシャッターチャンスも逃さない 画像I 今まで撮れなかった笑顔が… 「今まで撮れなかった最高の自然な笑顔が撮れるようになったら、うれしい」

解説
「さあ、撮りますよ〜、はいチーズっ!!」
パチッ!!
よく見かける代表的なスナップ撮影の光景ですが、この光景を想定していると「スマイルシャッター」機能の本当の必要性は見えてこないかもしれません。

また、気合いを入れてデジタル一眼レフを構え、シャッターチャンスを常にうかがっているシーンでも、「スマイルシャッター」機能の必要性には気付きにくいことでしょう。

笑った瞬間を逃さずシャッターを切る、一見して当たり前で、誰でもやっているように思えることですが、ソニーの越智氏はこの機能を「撮れなかったものを撮れるようにする機能」と表現しました。

Q.
「笑顔なら自分でシャッターを押せば撮れるよ」「自動で撮る必要があるの?」と多くの人が思うのではないでしょうか?
シャッターボタンを押さずに撮れるので手ブレは防げるような気はしますが、それ以外に「スマイルシャッター」機能のメリットは気付きにくいですよね。
どのような時に使い、どんなメリットがあるのか、改めて教えてください。

この機能は「目の前に笑顔があるのに撮れていないという人」に使って欲しくて開発しました。
例えば子どもの写真…自分の体験としてもよくあるんですが…日常で見る子どもの表情はコロコロ変わり、いい笑顔ってほんの一瞬だったり、予期せぬ笑顔にハッとしてシャッターを切ったときにはスマイルを逃していた、そんな経験って誰にでもあるんじゃないでしょうか。

Q.
なるほど日常の子どもの表情ですか。うちの子はカメラを向けて「はい、笑って〜っ」っていうと、変な笑顔を"作る"んですよね(笑)。

子どもがカメラに向かって作った笑顔はどことなく不自然なことがありますよね。最高の笑顔はもっと自然で、いつも突然にやってくる…しかも一瞬です。その一瞬を逃さず、今まで撮れなかった最高の自然な笑顔が撮れるようになったら、というコンセプトで開発しました。

Q.
ユーザーの反響はどうですか?

「今までうまく撮れなかった子どもの笑顔が、思った以上によく撮れるようになった」「自然な笑顔ってこんなにいいんだ」といったご意見と、一方で「シャッターが切れるタイミングが違う」「もっと最高潮の笑顔のときを逃さず撮りたい」といったご要望など、実はさまざまです。

しかし、ご要望であっても、いままで「撮れなかった」ものが「もっとタイミング良く、もっと最高の笑顔が撮りたい、撮れるようにして欲しい」というより高いレベルを求めるニーズに変わった結果として出てきた要望なんだ、と前向きに捉えています。

Q.
2008年秋モデル、T77とT700で、スマイルシャッター機能はどのように進化したのでしょうか。

2007年秋のモデルでは、「スマイルシャッター」の連続撮影時に枚数制限（6枚）がありましたが、新機種から制限がなくなりました。「スマイルシャッター」に設定しておくと、いくらでも笑顔が撮れます。また、従来機では、「スマイルシャッター」に設定しているときには手動でシャッターが切れなかったのですが、これを改良して手動で撮影ができるようになりました。
これによって、不意の笑顔は自動の「スマイルシャッター」がチャンスを逃さず撮り、お客様がいま撮りたいというシャッターチャンスも手動で逃さない、という機能が実現できました。

Q.
他社の同様の機能と比較しての特長はなんでしょうか。

スマイルシャッターも顔認識の延長の技術なので、"速い"ことです。顔を素早く検出し、笑顔があるレベルに達したら素早く反応して撮ります。

薄型コンパクトデジカメ・レンズユニットの驚異

画像J 薄さと性能の両立を追求したサイバーショット 左からDSC-W300(著者所有)、世界最薄『DSC-T77』、少し厚い『DSC-T700』。ポケットや小さなハンドバックなどに入れてもかさばらない。 画像K 薄型を実現した新開発の手ブレ補正機構内蔵レンズ 『DSC-T77』と、その内蔵ユニット。カメラの筐体と厚みがほぼ同じで、極限までスリム化がはかられていることがわかる。 画像L ズームレンズや手ブレ補正レンズはボディ内で駆動 レンズから入った光はほぼ垂直に曲げられ、ズーム機構を通って、ボディ底部に位置するセンサーに達する。 画像M ソニーのデジタルハイビジョン“ ハンディカム”『HDR-CX12』 ビデオカメラとして世界で初めて、動画と同時に笑顔の写真を自動で撮影できる「スマイルシャッター」機能を搭載。 画像N ムービーを撮りながらスマイルシャッター 西井の顔でムービー＆スマイルシャッターの実験をしてみた。“ハンディカム”でムービー撮影中に、西井の笑顔の写真も“メモリースティック”に続々と保存されていく。子どもの笑顔ならなおうれしい。

Q.
『DSC-T77』は光学手ブレ補正機能付きの機種としては、世界最薄を実現しました。こうしてみると本当に薄いですね。

2005年に『DSC-T7』という、すごく薄い(本体最薄部で9.8mm)機種を発売しました。大変注目されましたが、薄さを実現するために、本来は本体の右側にあるべき操作系のボタン類が左にあるなど、いくつかの課題が残りました。

その薄さをもう一度、光学式手ブレ補正も入れて、納得がいくように開発し直したいという思いがあって取り組みました。
これがT77とT700に搭載されている新開発の手ブレ補正機構内蔵レンズです。かなりこだわった力作です。

Q.
うわっ。小さいですね。この(小さなユニットの)中に、光学4倍ズームが入っているのですか? ズームレンズなのにレンズが伸び縮みしないようですし、内部スペースに厚みがありませんよね。ズームレンズはどこにあるんでしょう?

4倍ズーム機能付きなんですが、外観からはズームレンズつきだと気付いてもらえない点が残念ですね(笑)。実はズーム機構は縦に配置しています。

Q.
なるほど、アイデアですね。
光はレンズに水平に入れるという固定概念を持ってはいけないんですね。

レンズの光はユニット内ですぐに垂直に曲げて、最下部のセンサーまで落としています。この構造をとることによって、薄くてもボディの高さを利用してズームレンズを縦に納めることができます。レンズ性能は低下させずに、ボディはレンズの大きさいっぱいまで薄く、手ブレ補正も付けて。

Q.
この(小さなレンズユニットの)中に手ブレ補正機構も組み込んであるんですか。

その通りです。光は曲げて真下に落としていますから、手ブレ補正は垂直の光軸に対して動作しているレンズ式ですね。

Q.
レンズ式はレンズユニットの幅が大きくなるデメリットがありますよね?

実は撮像素子(イメージセンサー)のサイズもいっぱいいっぱいなのでセンサーシフト式は薄さに影響します。手ブレ補正用レンズはズームレンズや撮像素子よりも小さいのでシフトさせるスペースを考慮しても、逆に小さくて済みます。

Q.
なるほど、この小さなユニットの中にすごい技術が凝縮されているんですね。
ところで、若者はケータイで撮る習慣があって、写真はケータイで撮れるんだからデジカメは必要ない、という人も増えているように思います。
コンパクトデジカメ市場において、世界最薄、顔キメ、スマイルシャッターなど、最新技術で注目されている御社ですが、今後、デジタルカメラはどのような製品が望まれていくのでしょうか。

将来もカメラ付きケータイはなくならないでしょう。もう一個カメラを別に持つとすれば、持ち運びやすさはとても重要な要素です。

また、ケータイは写真 1 枚撮るのにも、モードを切り替るなどの時間と手間がかかりますので、カメラの世界からお客様に提案すべきは、より簡単にストレスなく、それでいて一定以上の品質で写真が撮れることだと思っています。

内閣府の調査でも、デジカメの普及率は60%を超えていますが、まだ「デジカメは難しそう、怖い」というお客様もいます。だからこそ「より簡単な操作で、キレイな写真が撮れる」デジカメが必要とされると思います。

Q.
なるほど、「顔キメ」や「スマイルシャッター」は簡単にキレイな写真を撮るためのキーポイントですね。今日はいろいろな技術や製品について解説していただき、ありがとうございました。

解説
ソニーは「スマイルシャッター」機能をデジタルハイビジョン“ハンディカム” 『HDR-CX12』にも搭載しました。これがとても面白い機能で、動画撮影中に「スマイルシャッター」を作動させておくと、ムービーを撮影している最中に笑顔を検出して笑顔の瞬間の静止画(フォト画像)を、自動的に次々に保存していきます。
同時撮影時の画像の解像度は最大760万画素相当(静止画モードでの撮影時は最大1,020万画素相当)。「こども優先」モードも用意されていますので、ムービー撮影中でも子どもの笑顔写真を逃しません。

スタジオグラフィックス執筆 デジタルカメラユーザ必携の教科書!! ■デジタルカメラのしくみと機能を基本から理解するなら・・ 体系的に学ぶ デジタルカメラのしくみ 第2版　 発売中 日経BPソフトプレス刊　神崎洋治/西井美鷹著 デジタルカメラの最新技術とそのしくみ、トレンドを加筆。デジカメの歴史から、仕様表の概要、レンズや撮像素子(CCDやCMOSセンサーなど)の構造や特徴、手ぶれ補正のしくみと違いなど、デジタルカメラをより詳しく理解するためのしくみに主眼を置き、やさしく解説。初級者からプロカメラマンやデジタル一眼レフ愛好家まで必携の一冊。 詳しく・・

>> 次回の「メーカーに聞く デジタルカメラのココが知りたい!!」

　　第7回　富士フイルムに聞く 「眼のメカニズムに迫る スーパーCCDハニカムEXR」

• 画素数が多いデジカメほど、きれいな画像が撮れるわけじゃない?
• 画素混合ってなに?
• きれいな画像を生み出すのに必要な3つのモードってなに?
• スーパーCCDハニカム EXR の新技術を教えて?　

<< 前回の「メーカーに聞く デジタルカメラのココが知りたい!!」

　　第05回　ソニーに聞く 「裏面照射型CMOSセンサー」

• CCDとCMOS、ソニーは製品によって イメージセンサーをどう選択しているの?
  
• コンパクトデジカメにはCCDとCMOS どっちがベター?
  
• 最近の一眼レフでは CMOSセンサーが多いのはなぜ?
  
• 新開発の裏面照射型CMOSセンサーって なにがどうすごいの?

■ご注意
本文および、メーカーご担当者のコメント、写真/画像等、許可なく転載することはご遠慮ください。
記事内容は記事初出当時のもので、記事で紹介した機能や仕様、しくみなどは変更になる場合があります。製品や機能など、最新情報はご自身でご確認ください。
本文および、メーカーご担当者のコメント内容などは、規格や製品の仕様や特長を保証するものではありません。