De Angeli, A., Coventry , L., Johnson, G., Renaud, K.
Is a picture really worth a thousand words? Exploring the feasibility of graphical authentication systems
International Journal of Human-Computer Studies, pp.128--152, 2005.
http://www.informatics.manchester.ac.uk/~antonella/files/p_by_topic.htm#human
「画像は本当に千の単語と同等の意味をもつの?」という題ですが，画像認証は本当に知識照合型認証の問題を改善しうる万能薬なのか? 安全性と利便性を両立するような素晴しい技術なのかどうか? という問いに対して評価を行い，その評価を元に一つの結果を出しました．という論文である．結果からいうと画像認証は万能薬ではない．ということを述べている．
論文要約．というか，かいつまみメモ
■ 序論
- 写真(絵)は言葉より「安全」で「覚えやすい」
写真の安全性は，伝えにくいのと，記録しにくいことが根拠
写真の覚えやすさは，心理学実験に基づくPicture Superiority Effectが根拠
- 画像認証を3つに分類
1. Cognometrics
pass-faceに代表される，認識により特定の画像を識別する手法
2. Locimetrics
個々の画像内の特定点を識別する手法
3. Drawmetrics
線を描くことで識別する手法
- ユーザが自分であわせ絵を選択すると，パスワードよりエントロピーが低くなる
■ Study 1
* ユーザは，あわせ絵を割り当てられる．(自分で選択しない)
* 多くの写真の中から，割り当てられた写真を見つける．
VIP 1
* PINと同等の画像認証．4枚の写真を選ぶ
* 照合回数は4回
* key画像の出現順は常に同じ
* PIN画像は同じ場所に配置される．
* おとり画像は毎回変わる．
* 画像データベースは9つのカテゴリを持つ
* 3回挑戦できる
VIP 2
* VIP1との違いは，照合画面内のあわせ絵の位置がランダムになる．
VIP 3
* 8枚のあわせ絵がユーザに割り当てられる
* 12枚中4枚を選択する
* 照合回数は1回
* 場所もランダムであり，どのあわせ絵が使われるかもランダム
■ Security
評価軸は以下の3つ．0(低)〜1(高)の値で評価
1. 推測容易性
PIN,VIP1,VIP2=>1(確率1/10000なので),
VIP3=>0.2(確率1/1820なので)
2. 盗み見容易性
2つの要素にわけて考える
I. あわせ絵の特定について
PIN,VIP1,VIP2 => 0 (覗き見に対する耐性はない，正解が完全にバレル)
VIP3 => 0.5 (正解がバレル．が，すべての正解がバレルわけではない)
II. 場所による特定について
PIN, VIP1 => 0 (場所で特定される)
VIP2, VIP3 => 0.5 (認証のたびに場所が変わるので特定されない)
ということで，この2つの結果をあわせると以下の結果になる
PIN, VIP1 => 0
VIP2 => 0.5
VIP3 => 1.0
3. 記録(盗聴)容易性
簡単に記録できるのならば 0
記述や記録が難しければ 0.5
記述や記録が極めて難しければ 1.0
表2参照
■ 仮説
1. Picture superiority hypothesis:
絵は数字よりも覚えやすいか/覚えていられるか
2. Spatial coding hypothesis:
場所を固定することは記憶を容易にするか
(あったりまえじゃん．数字も絵も覚えないYO by 独り言)
実験は40分後と1週間後に行った．
評価は以下の項目を設けた
1. Effectiveness:
コードを記憶しているか? コードを忘れた人や入力間違いが何回あるか?
2. Efficiency:
データ入力の速さ
3. User satisfaction:
システムをどう思うか? PINのシステムと比較してどうか?
◇ Effectiveness:
エラーは5%あった(118/2196)．コードを忘れた被験者はいなかった．
エラーの多くはVIP3に集中しており，コードの入力ミスである．
またVIP1はVIP2よりもエラーが若干少ないという結果を得た．
またエラー件数だけ見ると，我々の予想に反して，PINとVIP1になんの差も現れなかった．しかしエラーが発生した時を見ると違いがある．PINでは1つを除くすべてのエラーが1週間後の実験で発生したのに対し，VIP1ではトレーニング時にエラーが発生していた．これはPicture superiority hypothesisを肯定する結果であると言える．
エラーの発生契機をみるとより理解が深まる．
1. Erroneous select: 選択間違い．
2. Sequence: 選択順序の間違い．
3. Duplicate selection: 同じものを複数回選択
4. Double click: 意図せず，2回連続して対象を選んでしまう
5. Composite error: 上記エラーの組合せエラー
VIP3では選択ミスが多く，その92%は同一カテゴリーに含まれる画像を誤って選択している．特に花の写真はこのエラーが多く．その種のエラーの63%を占めている．PIN,VIP1,VIP2では選択順序ミスが多かった．またカテゴリーを超えて間違える選択ミスが主にVIP2で発生した．これは意味や名称で覚えにくいが見た目に似た画像の場合に多く発生し，黄色の花を黄色の鉱石と間違えたりしていた．
◇ Efficiency:
これは入力時間で測定．PIN, VIP1, VIP2, VIP3の順で高速であった．
ただし，図3，5より，エラーの数と入力時間が対応しているわけではないようである(図3,5より)．
◇ User satisfaction
結果から言うと，
PIN 0.29
VIP1 0.85
VIP2 0.17
VIP3 0.11
最終的な評価でも VIP1は，PINや VIP3よりも良いと認識された
■ Mnemonic (記憶補助)
56%の被験者がなんらかの方法で記憶を支援する方法を使っているとのこと．写真と番号の方法では違う．写真の場合は関連付け，特に単語に関連付けることが多く，また選択順を覚えるのにストーリを作成する人もいた．また感情や記憶と関連付ける人もいた．
■ Discussion (議論)
- Picture superiority hypothesisは認められない．
- Spatial coding hypothesisは認められる．
- エラーは決まったパターンで，同じ対象物の写真や似たような視覚的効果を持つ写真をkeyと間違える
* (すごく当り前の結果に見えるのだが... by 独り言)
この論文の一番の結果は，Picture superiority effectが認められないという事実である．VIP1とPINでエラーの発生数に違いはなく，入力にかかる時間はPINのほうが早いという結果となった．
(一週間程度ではそりゃそうだろうよ．が，入力速度に差が出るのはわからないな〜．keyの出現場所が同じであれば，キーかtouch padを使っていればそれほど差は出ないと思うのだが... by 独り言)
しかしエラーの発生した時に注目するとPINとVIP1では大きな差があり，長期記憶の面から考えると，PINがVIP1よりいい結果になるとは思えない．
(これも当り前の結果のように見えるのですが... by 独り言)
■ Study 2
- VIP1とVIP3を使う
- 画像数を増やし，画像を単純化した
- 画像のカテゴリー数を16に増やした
VIP1: key画像が4つから5つに変更
key画像の選択はマウスで行う
VIP3: 全key画像を8から6に減らす
照合画面での重複提示をなくす
16枚の画像の中に5枚のkey画像を提示．つまり，6枚中5枚を提示するので，バリエーションは6通りになる．
□ Security
VIP1 => 1/100000
VIP3 => 1/4368
その他は表3を参照
□ 仮説
実験は4か月にわたって行った．これによりPicture superiority hypothesisの効果が現れることを期待している．
Webベースのシステムを使った．
keyはシステムよりランダムに割り当てられる．
被験者は大学生59人(PIN: 21人, VIP1とVIP3は19人づつ)．
評価は，effectiveness(エラー回数)とefficiency(入力速度)のみを行い，
User satisfactionは行わなかった．
◇ Effectiveness
- 被験者の41%である24人は，少なくとも1回，key codeを忘れて再発行を受けた
- そのうちの6人は2回再発行を受けた．
- VIP3では6人がkey codeを忘れたのに対し，PINは10人が忘れ，VIP1は9人だった
- 全認証試行の21%である198回がエラーであった．
- PINでは27%がエラー，VIP1は24%，VIP3は11%であった．
- エラーは5つのカテゴリーに分類できた
- 選択順序はあっているが，選択が間違っている
- 選択はすべてあっているが，選択順序が誤っている
- 3つまたはそれ以上の選択が間違っている．
- 1,2個の選択だけが間違っていて，かつ選択順も間違っている
- 答えが足りていない．(全部回答していない)
VIP3は，1つだけ選択を間違ったというエラーが半数以上．
VIP1は，選択順の間違い
PINは，入力したcodeそのものが間違っている
図8は，最後に認証に成功してからの経過時間別の認証成功率の変化である．同じ日に複数回認証をした場合はPINの方が優れているが，時間の間隔が開くとともにPicture superiority effectが現れた結果となっている．
◇ Efficiency
入力時間は平均7秒で，PINとVIP1では同等，VIP3はそれらより時間がかかるという結果となった．
■ Guidelines for successful authentication
- 画像認証は，PINやPasswordの問題を改善するための「万能薬」にはならない
- 同じ意味でSecurity と Usabilityの問題に突き当たる
- 覗き見や盗聴の可能性を減らすことはできるかもしれないが，5桁の数字と同等の安全性を確保するためには，28枚の画像から5枚の写真を選択する行為を強要することになり，結果として認証にかかる時間は増大することになる．それは効率と効果の間でバランスをとる必要に迫られることになる．つまり，認証におけるエラーは減るかも知れないが，認証にかかる時間は長くなるという具合である．
- すべての認証手法は，自身の中にSecurityとUsabilityの問題を抱えている．
- 結局，システムと認証対象の行為と求められる安全性に基づきシステムを設計する必要がある
- ガイドラインとしては...
G1. システムと業務内容とユーザからの要求を考慮して認証手法を決めるべき
- ユーザ教育はしろ
- 安全性も利便性も多面的な側面を持つ．システム要件と業務内容をよく吟味せよ
G2. 覚えやすい画像は推測されやすい．利便性を改善する要素は安全性を低下させる．できるなら実際のユーザで試験をせよ
G3. 照合画面における視覚的設定の制御は
- 異なるカテゴリの画像からおとりを選択する (利便性改善)
- 視覚的に似ていない画像をおとりとして使う (利便性改善)
- おとり画像は多数のカテゴリの画像群から選択する (安全性改善)
G4. システムが割り当てるkey codeは，推測を困難にするため安全性を改善するが，利便性を低下させる(覚えられない)
G5. keyを固定位置に提示する方法は利便性を増すが，安全性を低下させる(覗き見攻撃に脆弱)
G6. 写真による認証は利便性を増す(選択ミスが減る)，と同時に安全性にも影響を与える．
それは推測が容易になるが，覗き見攻撃には，認証のたびに照合画面の画像集合を変更すれば，強固になる．
■ Conclusion
画像認証は，結局のところ認証におけるfinal answerにはなりえない．これまでの認証システムと同様に安全性と利便性のバランスをとる必要がある．この論文の貢献点は，どんな要素が安全性と利便性に影響を与えるかということを明確にしたことである．
またこの種のシステムの最大の問題はaccessibilityであろう．眼が見えない人はどうやって認証をするのかを考える必要がある．またもう一つの興味深い領域は，年配者向けの認証方法として適切か? という点である．
今後もユーザ評価に基づく研究を進めていく必要がある．特に興味深い問題は，複数の視覚的codeを持たざるをえなくなった時の影響と，ユーザがcodeを選択する時に起こるbias(?)の問題であろう．
とにかく，これだけのユーザ評価をやったということが偉い．ただ，その条件設定とか，得られている評価結果には「え，それってやる前から，容易に推測できそうな結果ジャン」という結果が少なからず見受けられるような気がした．また脅威の評価もGuessability項目があるので，「お，ユーザを使って，攻撃対象者の知識に基づく推測攻撃の評価か?」と思ったら，単なる総当たり攻撃に対する確率的安全性の評価だけで，画像認証を用いることで起こりうるといわれているknowledge guess攻撃にはまったく触れていなかったりする．ただ，客観的に基準をおいて，それに基づいて評価しているという点についてはさすがという他ないだろう．参考になる論文であった．
----
author = {De Angeli, A., Coventry , L., Johnson, G., Renaud, K. }
title = {Is a picture really worth a thousand words? Exploring the feasibility of graphical authentication systems}
journal = {International Journal of Human-Computer Studies}
pages = {128--152}
publisher = {}
month = {}
year = {2005}
URL = {http://www.informatics.manchester.ac.uk/~antonella/files/p_by_topic.htm#human}