Research Survey and Memo

A Software System for Automatic Albuming of Consumer Pictures

Alexander C.Loui and mark D.Wood,
"A Software System for Automatic Albuming of Consumer Pictures",
ACM Multimedia '99, pp.159--162, Oct 1999.
ACM Digital Library

写真を管理し、共有するためのソフトウェアに関する考察(提案?)を述べている論文である．image event clustering, dud detectionそしてduplicate detectionが写真管理機能に統合されていると便利であると主張している．著者はEastman Kodak Companyの研究員のようである．

デジタル写真のアルバムソフトには、多数の写真を簡単に整理できるようにするとともに，アルバムWebページの生成や，それを支援するための機能としてイベントによるクラスタリング，不要画像や重複画像の発見などの機能も必要であるということを述べている．

撮ってきた写真を使ってWebアルバムを作成するのは意外と大変
1. 候補となる写真を選択し，それを時間順に並べる．
2. 写真の配置とレイアウト
3. 注釈の追加

デジカメやスキャナの普及で写真の数はますます増加する．それに対して管理や整理，そしてアルバム作成の自動化や支援が望まれている．この研究の目的は写真管理とアルバム生成の自動化である．

基本的な戦略としては，あるストーリに基づく写真アルバムの生成である．旅行記やある週末の出来事といったようなことを指す．これを自動化するには写真に関するコンテキスト情報が必要になる．が，その情報がなければ人力で生成しなければならない．
Automatic Albuming Systemは3つの機能からなる．
1. image event clustering (イベント情報に基づくクラスタリング)
2. dud detection (ダメ写真の発見)
3. duplicate detection(重複，類似写真の発見)

■ image event clustering
日付と時刻および画像間の類似性でクラスタリングし、イベント群に分類．これをアルバムのレイアウトに利用する．時間情報がなければ，写真を時間順に並べ，それらの間の類似性で判断する．K-means法を用い，写真間の時間差を利用してクラスタリングを行っている．画像間の類似性抽出にはブロックベースのカラーヒストグラムを用いている．

■ dud detection
不要な写真/質の低い写真(Low-Quality Pictures)をイベントクラスタリング前に処理対象画像から除外するための機能．問題は何を持って不要な写真を抽出するかだ．主観的な面があるので一概には言えないが，われわれはここで「画質」として，画像のシャープさ，ノイズ，そしてコントラストから画像の「画質」を求め，質の低い画像を抽出した．もちろん，質が低いかどうかを判定する基準値(閾値)はユーザが自由に決定することができる．

■ duplicate detection
写真を撮るときには安全のため(予備として)，同じシーンについて複数枚写真を撮ることが多いだろう．この重複画像検出(duplication detection)はそういった同じシーンの複数の画像をアルバムにせず，その中から最もいい一枚だけをアルバムに登録するのを支援する機能である．重複画像の一般的な定義は同じカメラアングルで同じ被写体を撮影した写真であるが，こういった写真は連続して撮影されると想定できるために時間的にも特徴があるといえる．この機能はdud detection同様block-based histogramによる相関抽出によって実現されている．そして同じく同様に判定に使用する閾値はユーザが変更できる．

これらの機能がautomated albumソフトウェアに組み込まれており，ユーザによるアルバムの"first draft page layout"作成を支援する．最終的に出力されるアルバムはXMLで記述．XMLのスキーマを定義しておけば，データのポータビリティも出てくる．またイベント分割や写真のレイアウトについてはユーザインタフェースも提供している．
アルバムを作成する際のワークフローは以下の通りである．
1. ユーザは写真管理アプリに写真を取り込む．もし写真がメタデータを持っていなければ，ユーザがメタデータを付与する必要があるかもしれない．が，必須ではない．

2. アプリケーションは写真をイベントごとに分類し，かつイベント内で重複していると思われる写真を検出する．発見された重複画像については，その写真をアルバムに追加するかどうかをその都度ユーザに問い合わせる．

3. ユーザはアプリケーションによって生成されたアルバムを確認する．

4. もしハードコピーが必要であれば，XML記述によるアルバムがプリンタから印刷される．

Keeping Information Private in the Mobile Environment

Andrea Grimes, Peter Tarasewich and Christopher Campbell,
"Keeping Information Private in the Mobile Environment",
Workshop on Social Implications of Ubiquitous Computing, CHI 2005, 2005.
論文は、ここ(著者の一人のWebページ)から得ることができる

携帯端末で個人情報にアクセスする機会は今後ますます増加するだろう．そうした時に，近くにいる他人に画面に表示されている情報を盗まれる恐れ，すなわち「盗み見」による情報漏洩の危険性がある．
この論文では，この問題に対して情報提示法を工夫することで，この問題を改善する方法を5つ提案するとともに，今後の課題について議論している．

日本人なら通勤電車内で携帯でメールを書く時などに，周囲の人に覗かれているなと思うことはあるだろう．この問題に対して表示方法を考えることで，その問題の改善をはかろうとした論文である．またこの論文では，公共の場所で携帯電話を使って音声通話をする行為自体，自分で自身のプライバシーをさらしている行為だと指摘している．ま，言れてみればそれはそうだ．

内容かいつまみ...

モバイル/ユビキタス環境では、携帯電話やPDAを使って、どんな環境下でもプライベートな情報を見るようになる．そのときに必要となる技術として、周囲の人から画面を盗み見されないようにする必要がある．これを実現するにはさまざまな方法があると考えられるが、この論文では、周囲に人がいるような環境下で、そのようなプライベートな情報を第三者の目から保護する/盗み見られないようにするにはどのような方法があるのかを考察した．

程度の差はあれど，全ての人はプライバシーは保護されることが期待するであろう．しかしユビキタス技術がそれを困難にしつつある．しかし，それでも人は，自身のプライバシーを保護し，かつ自分に関する情報に対して自分が責任を持てるような手法を探しつづけていると言える．

一方、モバイル機器の果たす役割はますます大きくなりつつある．どこでもいつでもメールやWebの閲覧，そしてその場の状況に応じた処理を可能にしている．こうなると，人は公的な場所でも重要な個人情報(銀行残高等の財務状況や医療履歴)を見るようになるだろう．しかし，これはプライバシー保護にとって大きな脅威でもある．なぜなら、そばにいる他人にのぞき見される可能性があるからである．また近くにいる他人以外にもビデオ監視カメラや，近未来には設置されるであろうユビキタス機器によって知らぬ間に情報が収集される恐れもある．こうやって個人情報は収集されてしまい，結果として、単に迷惑するだけならいいが、誤報や虚報，噂，そしてIDの盗用/乱用や金銭的な損失を招くようになるかもしれない．

こういった状況はすでに携帯電話で見られる．多くの携帯電話ユーザは公の場所で個人的な会話をしている．それはつまり個人的な会話を大勢の前で暴露していることになり，結果として会話の内容を多くの人に漏えいすることになる．したがって，機密情報や個人情報に関する会話は場所を選んですべきなのだが，多くの人はそんなことは考慮せずに会話をしているといえる．

同様のことはPDAや携帯電話の画面表示にも言えるだろう．他人がそばにいる状況で，それらの機器を操作し，画面に安易にそういった情報を表示すれば，その情報が他人の目につく可能性は否定できない．よって時々刻々変化するコンテキストを考慮しながら，どのようにそういった情報を画面に表示するかということは重要な問題である．そうでなければ，ユーザはそういった重要な情報のアクセス可能性と潜在的にプライバシー情報を漏えいしてしまう可能性についてある程度のトレードオフがあることを理解した上で使わなければならなくなる．

プライバシーはユビキタスであるとともに普遍的な問題である．それはプライバシーポリシと
データセキュリティによって守られるだけではダメであり，よいユーザインタフェースも必要である．我々は，情報の可用性とプライバシ/セキュリティ間のトレードオフを情報提示方法を改善することで最小化することをモバイル端末上で試みる．もちろん，これらの技術はさまざまなコンテキストにおいて、どうやってユーザと情報を対話的に処理させるかについても考慮する必要がある．

■ 画素を使ったプライバシー保護強化

- 対話的手法モデル構築を目指した
- ユーザが自身のプライバシーを制御できるようにすることが大事
- ユーザの情報を第三者がどう使うかではなく，プライバシー情報の提示法としてどのような方法があればよいかを考えた
- プライバシーの定義はいろいろだが，この研究では，自分が自分の情報にアクセスでき，かつ他人がアクセスできないよう制限する技術と定義する
- アンケートの結果，ユーザが一番気にする個人情報は医療履歴と財務情報 (medical and financial information)であった
- 提案する一つの方法は文字と画素(色付き丸)の組み合わせによる情報提示である．図1は残高が色付きの円で隠蔽されている表示例である．

- 図1には左からyellow, tan, blue, magenda色の円が並んでいるが，これは1368を表すんだそうだ
- 実験によるとユーザはそういった表示から情報を得ることができたらしい．また75%の人が携帯端末でこのような表示を使ってみたいと支持したそうだ．(どっちも本当か???)
- この方法はどんな文字列でも適用可能であり，ユーザがプライバシー保護したいと思う情報ならなんでもそういう風に表示することができる (ま，そりゃそうだ)
- 色と情報の対応づけをユーザがカスタマイズできるならば，もっといいね (ある種の秘密情報(パスワード)みたいなもんですな)

- もし自身のメッセージを画素ベースでコード化し，それが画面上に表示された時に確実にその情報を認識できるならば，これは公的な場所で個人情報を表示する手法として安全かつプライバシーを保護できる手法として効果的な方法だろう．そしてこれは盗聴される可能性のある回線を通じてデータを転送するとして，プライバシとセキュリティの問題は自動的に解決されていることになる．なぜなら情報は回線を通じて送られる前に画素に変換され，その変換はユーザ独自の変換となっているからである(暗号化されているというわけではない)．

■ 目隠し
- カラーで符号化された文字のかわりとなる情報として，個人情報を秘密にする方法も研究している．それはblinderといい，色付きのタイルでプライバシー情報を覆い隠す方法である．(え，それだけ?)

- もしユーザが自身の個人情報を見たい時は，一時的にそのタイルをどけることでプライバシー情報を見ることができるようになる．例えばPDAのペンでタイルを触っている時だけタイルをよけることができるようにする．ペンをタイルから離すと即座にそのタイルは情報を再び隠すことになる．

- つまり，bliderを使うと個人情報は常に見えるわけではなく，見たいという意思表示をユーザがした時だけ見れるようにする技術である．つまり周囲を見回してのぞき見しそうな人がいない状況でこそっと自分の情報を見るといった具合である．

- この手法は，ユーザのコンテキストの変化に応じて，個人情報に関するプライバシーの制御方法を提供するものである．つまり隠したい時は隠し，見たい時には見る．また隠す必要がない状況になったならblinderの機能そのものを解除することも可能にすればよい．これは携帯端末のユーザにより柔軟なプライバシー保護方法を提供することになる．

■ 状況適応
携帯端末が状況をより正確に把握できれば、より知的なプライバシー保護が実現できるだろう．blinderなら、状況把握機能によってほとんど周囲に人がいないような状況になったと判断したら、自動的にプライバシー保護機能をオフにする機能も実現できると考える．真の適合型モバイルシステムはユーザの状況の変化をリアルタイムで検知し、それに応じて情報提示の方法を適切に変化させるべきだと考える．しかし、実際にはこの実現に対しては以下のような問題がある．

1. どの状況変化をユーザやアプリケーションの状況変化としてとらえるか?
2. 状況を把握する事が技術的にまだ発展段階(未熟)である
3. 状況情報をどのようにして情報提示に反映するかを決める必要がある

状況をインタラクティブシステムの対話手段として使う方法としてはすでにいくつか提案されている．

1. ユーザによる入力/操作の手間を減らす
2. ユーザが処理しなければならない情報量を減らす、提示する情報の質を高める
3. システムに対するメンタルモデルを構築する際の規則の複雑さを低減する

ユーザや周囲からの間接的入力が可能なデバイスは、環境が動的にかわるような状況下におけるユーザビリティを改善しうる可能性があるかもしれない．

適合型システムはまたその限界や人間側の必要性についても考慮する必要がある．もし状況が急に変わり続けたらどうなるだろうか? それにより処理が乱されたり、その変化全てに追従する事が無意味になるかもしれない．状況を誤って把握したり、どんな状況の変化がユーザやアプリケーションにとって大事かという判断を誤ると、それは混乱を呼ぶだけになるだろう．

■ ここからどこに行くのだろう (Where do we go from here?)
将来の携帯端末設計においてプライバシー保護は大きな設計要素になるだろう．デバイスは公的な場所で使われる．それゆえに近隣にいる他人に画面に表示される情報を盗み見される可能性がある．通信路(伝送路)のセキュリティやプライバシーは考慮されているが、今後はlocal contextにおけるプライバシー保護も重要になるだろう．

この論文ではいくつかのプライバシー保護を実現する情報提示法を提案した．まとめると以下の通りである

1. ピクセルによる方法 (small display privatization)
2. 情報削減 (故意に変化させた表示によるprivatization)
3. カスタマイズによる方法 (対話的な表示によるprivatization)
4. Blinders (対話的なprivatization)
5. 状況適合 (知的privatization)

問題は，どの方法が最も効率的で，ユーザやUIの設計者に対して負担が少ないかというこ
とである．その答えとしては，いくつかの方法の組み合わせかもしれないし，もしくは対象とする情報に依存するものなのかもしれない．

我々は今後も，画素，カスタム表示そしてBlinderによるプライバシー保護を目指した情報表示法の研究を続けていく予定である．また長期間におけるユーザ評価も継続して行う予定である．また別の問題としては，状況を取得し，それをどのようにプライバシー保護に応用するかという方法を開発(確立) することである．これにはどんな情報がプライバシー保護に必要で，なんの情報が保護されるべきかを決定するアルゴリズムを開発する必要があるだろう．

またプライバシー保護では誰がその情報にアクセスできるようにすべきかも考慮しなければいけない

1. 対象者に興味のない他人 (偶然，その人の携帯電話の画面を見てしまったとか)
2. 対象者に興味のある他人 (他人だが，その人の携帯電話の画面を見ようとした)
3. 対象者に興味のある人 (ストーカや個人情報収集屋)
4. 同僚
5. 友人
6. 家族

また同じ情報であっても状況によるプライバシーの度合に応じて，いくつかの表示方法があるほうがいいかもしれない．これはユーザがより簡単にプライバシーポリシを付与できるようにするだろう．