May 29, 2007
Paper: Protecting people from Phishing: The Design and Evaluation of an Embedded Training Email System
Protecting people from phishing: the design and evaluation of an embedded training email system
Ponnurangam Kumaraguru, Yong Rhee, Alessandro Acquisti, Lorrie Faith Cranor, Jason Hong, Elizabeth Nunge
Human Factors in Computing Systems(CHI2007), pp.905-914, 2007
ACM Digital Library
Phishing対策として、ユーザ教育をするための"Embedded Traning"システムの設計とその評価に関する論文である．
対象となるユーザに対し、Phishingメールを投げ込み、実際にPhishingされた場合に、「画像と文字」と「漫画調」の2つの方法でユーザに「このメールはこういう仕組みでPhishing mailだから、こういうのにはひっかかってはいけませんよ」と教示するシステムである．またユーザによる実験結果から、embedded training systemの設計原則を導く
以下は論文内容の走り書き
■ Introduction
- "Semantic attack" 人間における弱点を突いた攻撃手法
- phishing もsemantic attackの一つ
-- 最近ではemailやweb siteの偽装だけでなく、Webブラウザの偽装までやってのける
- 既存のphishing対策研究は、以下の二種類に注力されてきたが、それらはユーザがphishingメールにひっかかるのを防ぐことにはならなかった
1. Webブラウザでphishing攻撃を検知するアルゴリズムの開発
2. anti-phishing用のwebブラウザ用ツールバーのインタフェース評価
- 本研究では、phishingの危険性とその見分けかた/回避の仕方を教えることに注力する
-- "embedded training"の提案
--- 通常のE-mail利用を通じて、phishingの脅威と対策を教育
---- 定期的に、ニセのphishingメールをユーザに送りつける
---- phishingに引っかかってしまったら、即座にシステムが介入し、何が起きたかと、どうしたらこういった攻撃から自身を守ることができるかをfeedbackする
- 二種類のembedded training systemを提案
-- 文字と画像による警告
-- 同じ内容の情報を漫画調にて提示
- ユーザ評価の実施、既存のメールによる通知との比較
■ Related Work
- Phishing対策には3つのカテゴリ
1. 脅威の除去
- ユーザに何も提示せず「寡黙に」その脅威を排除する手法
-- しかし、100%排除できるものはまだ存在しない
-- Phishing webサイトの存在時間は短い(平均4.8日 from APWG報告)
2. ユーザへの警告
- 明示的な警告または疑わしいサイトであることを通知するためのインタフェース提供によるユーザへの警告
-- "Trusted path"というプロトタイプや、いわゆる信号メタフェーによるWebブラウザツールバーなどがある
--- しかし、3つの問題点がある
---- 専用のソフトウェアをインストールしなければならない
---- 警告や通知の意味が理解できない
---- phishing検知の性能が悪い
3. ユーザ教育
- ユーザ教育は重要．上記の二種類の手法と並行して行われるべき
- 基本的な手法は、既存のphishingサイトの情報提供
- Webベースの試験による、phishingに関する知識検査と強化
- ニセのphishingメールをユーザに投げ込み、それをphishing教育前と後で行って、教育効果を測定する研究もある
- この研究では、phishingの脅威を教育するにあたってどんな介入方法が最も効果的か? その設計手法をユーザ評価を通じて探求する
- 特定のphishing手法の教育目的のみに限定されない、汎用的なものを目指す
■ Ratoinale for Email Intervention
- E-mailによるphishingに特化
-- E-mailによるphishingが一番Major
-- Webサイトではユーザがそれに触れる機会が少ない
-- mailによる教育は、end-userを実践で教育できる
- ゲーム形式のphishing教育システムも実装した
-- これはembedded trainingシステムと相互補完することになる
-- 平時はembedded trainingをし、さらに学びたいとユーザが思った時にはゲーム形式の教育システムを利用する
■ Early Design
- 紙ベースのプロトタイプでアイデアを練った
- 結論としては
- メール中のリンクを押した後すぐに警告を見せるのが一番効果的
- リンクを押した後、なぜリンク先のWebサイトが見れないのかを明確にわかるような警告にする
- 一般的な警告ではなく、どうすればよいのかを指示するような内容の警告にすべき
- 正確な警告と混乱を避けるため文字と画像で簡潔かつ視覚的に情報伝達すべき
■ Current Design
- 二つの警告方法
1. 文字と画像
2. 漫画調
- 漫画調を採用した理由は、1では文字を読まなければならず、結果として警告を読まずにウィンドウを閉じてしまう恐れがあるため
- ユーザに教えるべき点は次の4つ
1. メール中のリンクをクリックするな
どれがphishingサイトへのリンクで、どれが問題のないリンクかを知識のないユーザが判断するのは困難．まずは簡単な規則として教える
2. 自らコンタクトを取れ
メール中のリンクをクリックするのではなく，自分でURLを入力するか、Bookmarkを使え
3. カスタマーサービスに電話連絡せよ
もし自分のアカウントに問題があるのなら，networkを通じてではなく電話をして問い合わせよ．これはサービス提供側にとっても、顧客からの電話問い合わせが増えることで、なにかおかしなことが起きていることに気づくという意味でも有益である．
4. 決して個人情報を入力するな
ほとんどの正規のサービス提供者はそのような情報入力を要求しない．そして、phishingの目的のほとんどは、こういった情報だからである
- 最新の警告画面はhttp://cups.cs.cmu.edu/trust/et_design.phpで見ることができる
■ Result
- メール中のphishingサイトへのリンクをクリックしたら攻撃にひっかかったと判定
□ Security Notice Intervention
- 2回の警告の前後でphishingにひっかかる割合に変化は見られなかった
- 文が長くて読む気がしない
- 何を伝えたいのかわからない
- 2回の警告を受けた後に3つのphishingメールがあったのだが，そのphishingメールにひっかかった割合は平均で63%だった
□ Text and Graphics Intervention
- 画像と文字による情報提示はいい!
- phishingから身を守る方法を段階を追って教えてくれるのがよい
□ Comic Strip Intervantion
- これが一番教育効果があった
- ストーリにのめり込むことで、言いたいことが伝わってくる
- 参加者の一部には、文字と画像の方がよいという人もいた．
「子供には漫画の方がよいだろうが、私は文字と画像の方がよいな」
■ Comparison
- phishingを見分ける能力については、通常の警告と漫画調の警告では有意な差が見られた．しかし、通常の警告と文字/画像による警告との間には有意な差が見られなかった
- 文字/画像による警告と漫画調警告との間にも有意な差が見られた
- 警告後のphishingメールに引っかかった数は漫画調警告の場合が一番少なかった
- どちらの警告が良いかについて尋ねたところ、9人が漫画調、11人が文字/画像による警告が良いと答えた
- 通常の警告の場合、「これがニセのWebサイトやメールを見分けるのに役に立つか」という質問に対して役に立つと答えた人はいなかったが、embedded trainingの警告については全員が役に立つと答えた
■ General Observation
- アカウントを持っていない組織からのメールなのに、それを確認せず、phishingメール内のリンクを押してしまう人がいた
- 80%の参加者が、リンクの上にマウスカーソルを置くとリンク先を知ることができることを知らなかった
- 一度オンライン詐欺に引っかかってしまった人は、どのメールのリンクにも反応しなかった
- またphishingサイトへの対応として、無意味なでたらめの個人情報を入力する人もいなかった
- 二人は検索エンジンを使って、そのメールに対応すべきかどうかを決めていた
- 友達に尋ねる人もいた
- 間違った情報を基に判断を下している人がいた
-- phishing webサイトのprivacyアイコンを使って本物かどうかを判定
-- ロゴの画像が本物だから、これは本物のWebサイトだ
-- 数日前に訪れた時と見た目が同じだから本物のWebサイトだ
-- 個人情報を入力した後に、アカウント情報が更新されていたからこれは本物だ
■ Discussion
- 単なるセキュリティ警告は、phishing攻撃に対する教育目的には効果がない
- 漫画調警告が一番効果的だった
-- 文字が少なく、絵が多い．また内容がストーリー化されている
- もしかしたら、漫画よりも、ストーリ化された短篇ビデオの方が効果的かもしれない
- phishing対策のための警告に関する設計原則
1. 教育目的のための訓練を、日常行為の中で行うべき
2. なぜ警告されたのか? その理由を明確にすべき．例えば、何のリスクがあり、何がこの警告を引き起こしたのかをはっきりする
3. 警告は即座に行う．
4. 同じ内容の警告メッセージを使え．
5. 文字だけでなく、ストーリーベースの画像や注釈を使え
6. 警告メッセージは簡潔かつ短いものであること
7. 自身を守るために何をすべきかを明確に与えること
■ Conclusions and Future Work
- embedded training systemの設計と評価
-- 通常の電子メール利用を通じて、phishingの脅威と見分けかたを教育
- 二種類の教育法を設計
- 研究室内で評価、通常のphishingに関するセキュリティ通知とその効果に関して評価
- 単なる通知では非効率
- 提案した二つの手法は、phishingとその回避方法の教育に有用
-- 特に漫画調の手法はもっとも効果的であった
- 教育対象者のスキルレベルにあわせた、より対話的な手法を設計する予定