You've Been Warned: Am Empirical Study of the Effectiveness of Web Browser Phishing Warnings
Serge, E., Lorrie, F.C., Jason, H., Proc. of the 26th annual SIGCHI conf. on Human factors in computing(CHI 2008), pp.1065-1074, (2008).
ACM Digital Library
* Best Paper Nominee
■ Abstract
- 最近のWebブラウザにはphishingサイトに関する能動的な警告方法が実装されている．
- これらは受動的な警告が無視されるという経験則からきたものである．
- Warning scienceのモデルを使って，ユーザがどのように警告メッセージを認知するかを実験により解析し，より効果的なphishing警告を実現するための提案を行う
よりよい警告を実現するために被験者実験を実施し、その結果をC-HIPモデルで解析した．それの結果からよりよい警告を実現するための勧告を行うという実験．Best paper nomineeなんだけど、個人的には...な内容．
以降は走り書き．
■ Introduction
- セキュリティ上の警告はうまく機能していない．なぜならユーザはそれらを理解できなかったり，信じていなかったりするからだ．
- phishing attackの完全な自動検知は困難であり，それゆえその対応がphishing siteへのアクセスをブロックするではなく警告となっている．
- anti-phishingの警告は実際にユーザの役に立っているのか?
- passive indicator: ユーザの作業を邪魔することなく色を変えたり，文字情報を提示したりといった方法でその危険性を提示してきた
- しかし研究成果[23]から，passive indicatorは意図した通りに機能していないことが明らかに
- active indicator: 作業中断を強要するような警告方法
- Internet Explorer 7(IE 7)にはpassiveとactive indicatorの双方が搭載
- IE 7のpassive indicatorは，なんの選択肢も推奨対策情報も与えていない
- Firefoxにはactive indicator．そのWebページを閲覧するか，無視するかの選択肢も提供
- active vs. passive indicatorの効果に関する比較を行う．そのためにはwarning science分野の研究者が用いるC-HIPモデル(Communication-Human Information Processing Model)を使う
- この論文の3つの貢献
- 1. 現行Webブラウザのactive indicatorの効果を測定
- 2. warning scienceのモデルを使って結果を解析
- 3. security indicatorの改善に向けた提案
■ Background
- ユーザのだまされやすさ，Webブラウザの警告方法，そして警告メッセージに対するユーザの認知に関する関連研究
□ Phishing susceptibility
- 教育や検知ツールが進んでも，だまされつづけるユーザ
- Gartner, Moore and ClaytonとFlorencio and Herleyの報告
- 見た目が同じならそれは真性のWebサイトだと信じてしまうユーザの傾向を利用
- 見た目がそのWebサイトを信頼するのに最も大きく寄与
- lockアイコン，ステータスバー,アドレスバーの表示は意味がない．ユーザはそれが何を意味しているのかがわからないから[7]
- E-mailによる実験[8]．Amazonからのメールを疑わしいとしたユーザは47%，しかしCitibankからのメールを疑わしいとしたユーザは74%．過去の経験が大きく影響．またWebブラウザのSecurity指示は誤解されたり無視されやすい
□ Phishing Indicators
- phishing警告のための新たな指示器の設計は研究領域として注目されている
- Passpet system[25]
- Webブラウザを見た目を利用して，phishingサイトの検知を支援する[6, 24]
- これらはthird-partyのtoolを利用．複雑．どの程度のユーザがそのツールにより改善効果を得られるかが不明
- 実環境で被験者実験をすべき．
- SiteKey[2]．だけど有効ではないとの実験結果も[19]
- EV(Extended Validation)証明書の利用．これも問題ありの指摘[13]
- phishingサイト検知用のplug-inもあるが，その検知能力には疑問点あり[26]．またそれらの多くはpassive indicatorであり，気付かれなかったり，信用されなかったりする[23]
■ A Model For Warnings
- warning scienceのモデルを使用して結果を解析
- hazard matching: 警告メッセージによりその危険性が正確に伝えられているか?
- arousal strength: 認知された警告の緊急度
- C-HIP(Communication-Human Information Processing)モデル: 特定の警告が有効に機能していない理由を特定するのに使われるモデル[21]
- 5つの情報処理ステップ
- 以下の質問をすることでそのモデル異なるかを調査
- 1. Attention Switch and Maintenance: その指示情報に気付いたか?
- 2. Comprehension / Memory: その指示情報の意味を知っているか?
- 3. Comprehension / Memory: その指示情報を見た時，何をするべきかを知っているか?
- 4. Attitudes / Beliefs: どの指示情報を信用しているか?
- 5. Motivation: 推奨される対応をする動機があるか?
- 6. Behavior: 推奨されている対応を実際にするか?
- 7. Environment Stimuli: その指示情報が他の情報や刺激とどうやって相互作用しているか?
- think-aloudによる実験を実施．その後post-task questionnaireを実施
■ Methodology
- 実験ストーリ: onlineで物品購入．購入サイトからメッセージが届く．そのmessagge内のリンクをクリックするとphishing siteに誘導され警告が表示される．それを被験者が読んでどう対応するかをthink-aloudしてもらう．終了後に出口調査(?)も実施．
■ Recruitment
- IE 7とFirefoxを使用し，4つの異なる条件で実験実施
-- IE 7 x active indicator, IE 7 x passive indicator, Firefox x active indicator, no indicatorの4条件
- さまざまな"つて"を使って被験者募集
- 一定の条件にあわない人は被験者からはずした
-- Webサイトを設計した経験，domain名を登録した経験, SSHの利用経験, firewallの設定経験
- 実際の環境に近づけるため，外国の計算機でWebブラウザを使ってメールをチェックとし，メールアドレスを教えてもらった．またいくつかのISPはphishing mailのfilteringをしていたので，実験用メールサーバをDKIM, SPF対応とし，その回避を可能にした．
- 282人から70人を採用としたが，そのうち10人は実験時にいくつかの実験用E-mailを受信できなかったため，この10人も実験結果の対象外とした
- 被験者の平均年齢は28歳
- 実験グループ間の年齢と性別に有意な差はなし
- Firefoxグループは20人，IE 7 active indicatorが20人，IE 7 passive indicatorが10人．あとの10人は古いversionのWebブラウザを利用した(つまり警告なし)
■ Scenarios
- AmazonとeBayを利用: 銀行以外でphishingの被害が多いサイトであるため[17]
- ebay-login.netとamazonaccounts.netというドメインを取得
- FirefoxとIEに上記ドメインをphishing siteと判定するように細工
- 被験者には実際に両サイトで買い物をしてもらう
- think-aloudしてもらう．実験中は背後に実験監督者がつく
- 購入は比較的安いものを品種指定で購入させた．amazonはpaper clip(送料込み $6.00), eBayはHongKongの電化製品(送料込み $5.00 ｰ 10.00)のものとした
- 実験では商品代も含めて$35の謝金
- どちらの買い物も，指定されたURLにアクセスしないと注文がcancelされるという旨のメールが届く
- 実験完了まで平均して40分
■ Results and Analysis
- 概してユーザは今回の実験でphishing attackを疑った．
- active warningは79%が攻撃を回避した
- 興味深い結果(表1)
-- 1. FirefoxとIE 7 active indicatorに有意な差
-- 2. IE 7 passive indicatorとno indicatorに有意な差はなし
-- 3. IE 7 acitve indicatorとno indicatorに有意な差
□ Phishing Susceptibility
- 被験者全員がAmazonおよびeBayで買い物をした
- 106通のphishing e-mailが被験者に届いた．(いくつかはE-mail filteringにひっかかり届かなかった)
- そのうちの94通に対してURLをクリックし，phishing web pageにアクセスした．2人だけがphishing siteにアクセスしようとしなかった
- 46人の被験者に双方のphishing E-mailが届き，そのうちAmazonのリンクには43人が，eBayのリンクには37人がクリックした．
- 警告なしの場合はURLクリックした全員が個人情報を入力してしまった
- 入力した個人情報をfakeしたというデータは集めていないが，出口調査でうその個人情報を入力したという回答はなかった
- 被験者は，phishingに対して不正確なmental modelしか持っていないことが明らかに
- 警告は必要と回答した被験者の32%が，E-mailは本物だと思っていた
- E-mailが偽物だと気付いた被験者は3人のみ
- phishing web siteの認知とphishing E-mailの認知には，なんらかの不一致があるようだ
- E-mailの偽造が簡単であることをユーザが理解しない限りspear phishingは今後も効果的な攻撃であり続けるであろう
- 効果的な警告方法がWebブラウザに搭載されれば，教育の必要性を軽減できるはずである
□ Attention Switch and Maintenance
- 警告がユーザの注意を引き付けられなければ警告にならない
- active indicatorはユーザの作業を中断することで注意をひいている
- passive indicatorはやはり警告として意味がない
- attention maintenance: 警告メッセージを読んだかで判定
- 26/47(55%)が少なくとも1回は完全にメッセージを読み，そのうちの22/26(85%)がメッセージを読むと決めていたと質問に答えた
- IE 7 active indicatorの被験者のうちの2人のユーザは警告がでたらWebブラウザを閉じ，再びE-mail内のリンクを押すという行為を何回か繰り返し，その状況が変わらなかったらあきらめるという行為をした．これは警告を読んで理解してはいないが，結果として安全側に導くことができたという例．
- 19人が同様のメッセージを過去に見たことがあると回答．これはFirefoxユーザよりもIEユーザの方が多かった．しかしこれがphishingの警告だったかどうかは確認できない．なぜならば，ExpiredやSSL証明書に関する警告も非常に似たような警告だからである．
- warningメッセージと完全に読むという行為に関してはnegativeな相関があった．警告はそのそれぞれの内容に応じて異なる見た目になるよう設計し，ユーザがそれを読むようにすべき．dynamic warning[3]という事例もある
□ Warning Comprehension
- 47人中27人が警告を見たけど，20人がその内容を理解できないという結果に
- Firefoxの警告がIE activeやIE passiveよりも理解されているという結果に
- 1人を除いてFirefoxのユーザはその警告が何をして欲しいのかを理解していた．これは警告を完全に読まなくても，ユーザがすべきアクションを理解させられているという暗示かもしれない
- 結果的に31/47人が適切な対応をとることができていた．
□ Attitudes and Beliefs
- 多数の被験者は警告を信用していない
- IE 7 activeで警告を無視した被験者2人は，警告を信用してはいるが，その設定が厳密すぎるだけだと考えていた
- IE 7 passiveで警告を無視していた被験者は，常にあーいう警告がでるので無視する癖になっていた
- 見に降りかかるかもしれないRiskよりも，今の作業を完了することの方が大事になっていた
- IEは，警告がどれも似たような表記であるため，警告の危険度合を伝えられていない．
- IEユーザからのコメント:
-- これらはいつも無視しているよ．
-- いつも無視している警告と同じように見えるから無視．
-- 以前見たことある警告だから，多分警告間違い(false positive)でしょう
-- こういう警告はCMUの他のWebでも見たことあるよ
-- 毎日見る警告だしね
-- この警告はIEによっていつも表示される警告と思っていたよ
- 警告の理解に専門知識は必要とされるべきではない．
- しかしphishingに関する知識と警告を読む/必要とするとの間には有意な相関があった
□ Motivation and Warning Behaviors
- active indicatorとpassive indicatorには有意な差
- IE 7 passive indicatorを必要と回答した被験者は1人．他の被験者は全員警告を無視し，個人情報を入力してしまった
- passive indicatorとno indicator間に有意な差はなかった
- IE 7 active indicatorで警告を無視したユーザは9人，Firefoxは0人．
- FirefoxとIE 7 active indicatorには有意な差．しかしIE 7 activeはIE 7 passiveやno warningよりはよい結果となった
- トータルで31人が警告に留意した．そしてうち23人がその警告からなんらかの危険を感じとった
- 個人情報を入力してしまった被験者は，「そんな危険性に気づかなかった」「そういった警告はいつも無視していた」「警告が示した選択肢を理解していなかった」と回答
□ Environmental Stimuli
- IE 7 passiveで警告を無視した3人は「phishing webサイトに誤って信用してしまった．なぜなら警告以外の刺激はなかったから」
- 他の警告を無視した被験者も「サイトを信用しているから」と回答
- Webサイトの見た目は信用に対して最も大きく寄与する要素[10]ということw裏付ける結果に
- IE 7 activeで警告を無視した被験者も同様の回答．ブランドを信用しているから...
- ある一部の被験者は警告を見た時に，他のコンテキスト情報を使って判断をしようとしていた
-- あるFirefoxによる被験者はE-mailに戻り，個人情報がないことに気付いてやめる
-- 10人のFirefoxによる被験者は，URL barやE-mailのヘッダを調べた
- IE 7 passiveの1人とIE 7 activeの3人はURL情報を誤った判断をするために使用した．
「あ，このURLは大丈夫」と...
- 少なくとも4人の被験者は，E-mailの配送タイミングから警告を無視して良いという判断をしたと回答
■ Discussion
- 実験結果を基にphishing警告を改善するための指針を示す
- Interrupting the primary task: ユーザのタスクを中断させるように警告を行うこと．
- Providing clear choices: なにをどうすべきかオプションを明確に提示せよ．ユーザは何かをしなければ行けないことは理解しているが，どうしたらよいかはわかっていないのだ．
- Failing safely: 警告はすべて読まれた場合にのみphishing siteにアクセスできるように設計されるべき．警告を読まなかった場合はデフォルトで安全側，つまりphishing siteにはアクセスできないようにする
- Preventing habituation: 警告は他の危険度の低い警告と明らかに見分けがつくようにせよ．IEでは他の警告と見た目が似ているため，安易に警告が無視されていた
- Altering the phishing website: 警告は，ユーザがそのサイトを信用してしまわないようにWebサイトの見た目をゆがめる必要がある
■ Conclusion
- phishing対策を対象として，より効果的なsecurity警告を作成するための洞察を実施
- active warningがなければ，多くのユーザは個人情報をphishing siteに入力してしまうだろう
- どちらのactive indicatorもIE 7のpassive indicatorよりは有効に機能した．
- IE 7のよりもFirefoxのactive indicatorの方が有効に機能した
- phishing attackは今後も進化し，広範に攻撃は実施されるだろう
- phishingに対する将来の警告手法は以下のような要素を持つように設計されるべき:
- 1. ユーザの作業を中断すべき
- 2. 推奨される対策を明確に伝える
- 3. defaultは安全に
- 4. 疑わしいサイトを信用させないように
- 5. そしてユーザに悪い癖をつけさせないように
□ 興味のある参考文献
2, 3, 6, 7, 19, 23, 24, 25