ユーザの現実的な利用状況に即して、画像認証を被験者評価した論文
Everitt, K. M., Bragin, T., Fogarty, J., and Kohno, T.:
A comprehensive study of frequency, interference, and training of multiple graphical passwords.
In Proceedings of the 27th international Conference on Human Factors in Computing Systems (CHI '09),
pp. 889-898, April 2009.
http://doi.acm.org/10.1145/1518701.1518837
画像を利用した認証は、より使い勝手のよい認証を実現しうるとして注目を集めているが、現実にユーザが利用するような環境を想定した評価実験が行われていない． そこで本論文では複数のパスワードをユーザが利用する状況を想定し、かつ認証の利用頻度と複数のパスワードを扱うことによる相互干渉(パスワード記憶の混乱)を加味した被験者実験を行う． そして複数の認証システムをどのように利用すると、逆に訓練効果が得られるかについても実験を行った． 認証手法はpassface、つまり人間の顔画像を用いた認証． 実験では一週間に4種類の画像認証を利用するユーザは、1種類の画像認証を利用するユーザより10倍認証に失敗する可能性が高いことがわかった． これらの実験は、画像認証に関して多くの暗示を与えるとともに、提案されている画像認証を比較する際の新たな基準を与えることにもなる．
]]>
以下はメモ書き
□ Introduction
- 平均してWebユーザは25個のパスワードを持っている (文献12)
- ユーザは危険だがやむを得ず以下のような戦略をとる、しかし、それらはパスワードの盗難、紛失、もしくはなりすましの被害にあう元となっている
-- 書き留める、同一パスワードの再利用(複数サイトに同一パスワードの付与)、1つのパスワードを微妙に変更して使用する、頻繁なパスワード更新義務...
- 画像認証が記憶に優しいとされる根拠: approach of relying upon recognition(認識/識別) instead of requiring recall(想起)
- 画像認証はエントロピー(random attackへの安全性)で既存の認証手法と競争することが求められているのではない、むしろusabilityとcryptographicとの間でのトレードオフで既存の認証手法もよりよい結果が出せるかが問題である(銀行ATMの４桁暗証番号の例が引用)
- モバイルは応用が期待される分野、一度、文字列パスワードで認証できたら、それ以降は認証に失敗しない限り、画像認証で携帯端末から認証ができるようにする．(携帯端末にcookieを保存することで実現)
- 既存の画像認証の研究は、単一パスワードでしか評価をしていない．しかしこれは、現実世界を反映していない． テキストパスワードを見ても、ほとんどのユーザは複数のパスワードを使用せざるを得ないのが現状
- 本研究では、100人の被験者に複数のパスワードを与え、一ヶ月以上の期間、画像認証に関する評価を実施した．
- 認証方法は顔画像認証 (passface)
- 3x3のグリッドから、正解顔画像を選択．これを複数回(今回は5回)繰り返す
- e-mailベースでの実験、被験者にメールを送り、認証をするよう促す仕組み
- 一週間に一通から四通のメールが被験者に届く． メールを受けたら認証システムにアクセスして認証を行う．
- わかったこと
- 利用頻度は、大きな影響を与える (週に一回と日に一回のユーザでは注意力と認証時間に大きな差)
- 複数の画像認証の交互利用による干渉は大きく影響する (4種類の画像認証を使う人と、1種類の画像認証を使い人との差は10倍)
- 複数の画像認証の利用パターンは、認証結果に影響する
- 長期間想起可能かどうかは、複数の画像認証の交互利用と利用パターンに大きく影響される．
- これまでの画像認証に関する評価は、現実的でない環境での評価であるため、過大評価の可能性がある．
□ Related Works
□ Graphical Password Systems
- Cognometric Schemes (複数の画像群から正解画像を選択する)
- Locimetric Schemes (画像内の特定領域を指し示す)
-- 欠点: 利用者が選択しがちな特定領域は偏る可能性がある(=>推測可能性が高くなる)
- Drawmetric Schemes (手書きパスによる照合)
-- 欠点: recall効果を生むことができない(recallになる)． さらに設定したパスワード図形を正確に再現するのが人間には困難な作業である．
□ Method
- 実験手順
1) 事前アンケート
2) 5週間にわたるオンライン評価実験
3) 事後アンケート
4) 2の実験が終了してから4ヶ月後における想起実験
- 実験依頼メールは、火水木金に送られる． よって最大で週に4回(1日1回)実験をしてもらう
- 3x3の写真の画面(図2)から正解画像を選択、これを5回繰り返して認証する． ログイン試行は3回まで可
□ Study Conditions
5つの条件で実験を実施 (図3参照)
1. 1つの画像パスワードで毎週1回認証実施、これを5週間
2. 1つの画像パスワードを毎週3回認証実施、これを５週間
3. 上記1.と2.の組み合わせ、(2つの画像パスワードで週4回認証を実施、これを5週間)
4. 4つの画像パスワードを交互に毎週4回実施、これを5週間(4つの画像認証システムを週に1回かならず利用することを想定)
5. 5週のうちはじめの4週間は、1つの画像パスワードを毎日(週4回)認証、週ごとに画像パスワードは変更される(週ごとに異なる画像認証を利用すると想定)、最後の週はこれまでの4週間で認証してきた画像パスワードを日替わりで毎日認証実施(4種の画像パスワードで週4回)．
- パスワードの割当は自動で実施． ユーザが自信で選択する方法はセキュリティ上の問題が起こりうるとすでに報告されているので(文献6)、それを回避した
- 顔画像はFace to Tomorrow dataset(文献11)を利用
□ Measures
- 追加して4つの測定も実施
1. 認証失敗率
2. 認証に成功するまでの試行回数
3. 認証成功時の認証にかかった時間
4. 合計時間 (認証失敗時 + 認証成功時)
□ Participants
- 大学内で学部および大学院生をリクルート
- 顔認証および画像認証に関する経験のない人ばかり
- 報酬は$10のiTunesカード
- 人数は110人(男性76、女性34)
- しかし、さまざまな事情により最終的に100人のデータを収集
□ Pre-Study Questionnaire Results
- 参加者の多くはパスワード管理は大変だと感じている
- 79%は忘れた経験あり
- 98%は、複数のサービスでpasswordの再利用経験あり
- 87%は単一パスワードの小変更versionを利用
- 65%はWebブラウザーのパスワード管理ツールを利用
- 51%はパスワードをメモしている
- 51%は個人情報をパスワードに利用している
- 11%のみがパスワードを安全に管理するソフトウェアを利用している
- uniqueなパスワードの数とパスワードを必要とするサービスの数を調査: 90%がunique passwordの数は10未満、しかし78%がサービス数は10以上と回答
# 個々のサービスに、それぞれ異なるパスワードを使用するというのは無理な話...
□ Frequency Results (図4参照)
- 週に一回(Weekly)と毎日一回(Dairy)認証することで差が出るか実験．
- 試行回数、成功時の認証時間、認証成功までの合計時間ともにWeeklyの方がかかる結果になる(図4)
# そりゃそうなるだろうな...
□ Interference Results
言葉の定義:
- frequest password: 週に3回アクセスされる認証サービスの画像パスワード
- infrequent password: 週に1回アクセスされる認証サービスの画像パスワード
□ Interfering with a Frequent Password (図5参照)
- 2つの条件が用意されていて、どちらも週に3回、画像認証Bを利用するのだが、片方はさらに週一回別の画像認証Aを利用する．つまり画像認証Bの利用頻度は同一条件だが、そこに妨害要因として別の画像認証Aを利用することが、画像認証Bの成功具合にどう影響するかを確認した．
- 結果は仮定通りで、画像認証Aを利用している方が、試行回数も多く、成功時のログイン時間や、認証成功までの合計時間も長くかかるという結果になった．
□ Interfering with a Infrequent Password (図6参照)
- infrequent passwordに関して3つの条件で評価を実施
- 3つの条件とは、single infrequent(基準となる条件)、frequent distractor、multiple infrequent distractor．
- single infrequentは、1種の画像認証を週に一回だけ実施
- frequent distractor実験は、すでに実施済みの図5のinfrequent distract実験を逆の立場から見て解釈 (認証Aを評価対象、認証Bをdistractorとして見なす)
- multiple infrequent distractorは、4種の画像認証を毎週一回づつ(計4回/週)実施する．(図6を見てもらえればどういう実験かは容易に理解できる)
- 当然だが、single infrequentが最も簡単で、multiple infrequent distractorが最も難しいと仮定．検定結果的には差異がないと判定されている比較結果もあるが、およそ仮定通りの結果が得られている．
□ Training Results (図7)
- 複数の顔認証を利用する際に、訓練時の認証利用パターンが以降の認証にどのような影響を与えるかを検証
- 2つの条件で比較、どちらも4つの顔パスワードを認証で利用
-- mixed condition: 複数のパスワードを平行して学習、それぞれのパスワードを週に一回づつ認証しながら学習
- grouped condition: 個々の画像パスワードを連続して学習、一週目はパスワードAを4回認証しながら学習、二週目はパスワードBを、三週目はパスワードCを...という具合で学習
- 評価は最終週(第5週)の認証結果で実施、4週間は学習実験期間であるため
- mixed conditionの方が失敗が多く、時間もかかる結果になるだろうと仮定
- failure rateとattempts requiredは検定的にも差異が出て、mixedの方が困難であるという結果となった．しかし成功時のログイン時間と、認証成功までの合計時間は検定での差は認められず、またログイン時間についてはGrouped conditionの方が長くなるという結果になった(第一週に連続して学習しても、その後三週間は一回も再度強化学習の機会がなければ忘れてしまうということか)．
□ Long-Term Recall Method and Results (図8)
- 文献22では、単一の顔画像パスワードなら長期間利用しなかった後でも、パスワードを想起(recall)できて認証に成功したという例がある．これを複数の顔画像パスワードの条件で評価する．
- 条件は3つ: Single Infrequent、Mixed condition, Grouped condition
- 五週間の実験の後、四ヶ月ほど時間を取り、再度認証を被験者に行わせた
- 全ての測定要素において、容易な順にSingle < Grouped < Mixedと仮定
- 50人の被験者が回答してくれた
- mixedが飛び抜けて困難だという結果を得た．
- singleの結果は想像つくのですが、 groupedでも認証失敗がないのは驚きだ!!!
- singleとgroupedの比較では、検定的な差は認証成功時のログイン時間だけで、あとは値的にはGroupedの方が時間がかかっているものの、検定的には差異なしという結果に!!!!
□ Post-Study Questionnaire Results
- 顔認証に対する印象: 41% definitely, 32%がprobably、そして27%が好きでないと回答
- 顔画像によるパスワードは記憶のためのcue(手がかり)がないと不平
- ある被験者は、長期間の未利用期間の後でも認証に成功できたことに驚嘆していた
- 被験者の29%は多分、画面キャプチャー等でパスワードを「書き留める」だろうと回答
□ Discussion
- 複数の画像パスワードを利用するシーンで評価実験: frequency(利用頻度)、interference(複数の画像パスワードを交互に利用)、training(画像パスワードの学習方法)に配慮した評価を実施
- interferenceの評価結果から、画像認証システムのこれまでの評価実験は過大評価だったといえる．条件によっては認証成功率に10倍の差が出る
- 被験者が比較的技術に明るい被験者であると想定されるため、一般のユーザでは、この論文の評価結果以上にfrequencyやinterferenceの影響は出ると想定される
- 画像パスワードの学習は、一週間ぐらい連続してやった方がよい(Grouped trainingの実験結果より)
- 複数の画像パスワード間で共通した画像を使用したら、より混乱を招くと想定される
- 画像認証で使用される画像セットが複数のサービス(つまりサービス間の画像認証)で共有されたりすると、それも混乱の元となりうるだろう
□ Conclusion
- 各ユーザに複数の画像パスワードを割り当て、より現実的な環境のもとに画像認証を評価した
- frequency, interference and trainingの効果について評価した
* コメント
grouped training以外は想像通りの結果であり、きっちり評価実験をして証明したことは大事なんだろうけど、べつに新しい知見があるかといわれると...な内容に感じた
-
]]>
