June 19, 2008

時候ノ情景 dashboard widgetが本に紹介される

こちらの本にて「時候ノ情景 (Chronicle Album)」を紹介して頂きました.(p.31)

Mac OS Xを便利に使う フリーソフト100選
(株)ソーテック社,
ISBN 978-4-88166-637-1
Amazon.co.jpへのリンク
macosx-freesofts.jpg

紹介して頂けるのは非常に嬉しいのですが、実はいくつかの問題を残したままの状態であるのも事実..放置しているな〜と、少し自己嫌悪にもなる.直さないといけないなと思いつつも、重い腰があがらない自分がいる.いかんな...

Posted by z at 12:36 AM

June 18, 2008

CHI 2008 論文読み切り大会

CHI 2008 論文読み切り大会に参加してきた.
いや〜、おかげさまですっきりさせていただきました.

CHI 2008 - table of contents - ACM Digital Library
CHI 2008 - extended abstracts on Human factors in computing systems - ACM Digital Library

気になった論文をメモしておく

◇ Socia-Cultural Impact session
▲ From meiwaku to tokushita! Lessons for digital money design from Japan (Best paper)
なんか日本ネタを外国の研究者に発表されてしまった...感あり.


◇ Interactive Image Search session
▲ MQSearch: Image Search by Multi-Class Query


◇ Post-WIMP session
▲ Inflatable Mouse: Volume-adjustable Mouse with Air-pressure-sensitive Input and Haptic Feedback
膨らむマウス.I/O deviceの一つか? ビデオ必見


◇ Touch and Target Selection session
▲ Escape: A Target Selection Technique Using Visually-cued Gestures
▲ Rubbing and Tapping for Precise and Rapid Selection on Touch-Screen Displays
どちらもビデオを見るべし


◇ Aesthetics, Awareness, and Sketching session
▲ The LilyPad Arduino: Using COmputational Textiles to Investigate Engagement, Aesthetics, and Diversity in Computer Science Education
▲ Crowdsourcing User Studies with Mechanical Turk


◇ I am here. Where are you? session
▲ Lean and Zoom: Proximity-Aware User Interface and Content Magnification


◇ Policy, Telemedicine, and Enterprise
▲ A User Study of Policy Creation in a Flexible Access-Control System


◇ Knowledge Elicitation session
◎ CiteSense: Supporting Sensemaking of Research Literature
ConfShareの参考文献になるかも


◇ Sound of Music session
▲ The Sound of Touch: Physical Manipulation of Digital Sound


◇ Displayful and Displayless session
▲ "It's on my other computer!": Computing with Multiple Devices
公的データと私的データを自然に分離したい.同期に対する不安を解消したい(?)


◇ Cognition, Perception, and Memory session
▲ Human-Aided Computing
- 脳波を応用した無意識操作

◇ Help Me Search session
▲ What to Do When Search Fails: Finding Information by Association


◇ Online Social Networks
▲ Harvesting with SONAR - The Value of Aggregating Social Network Information
- 参考文献が非常に参考になるらしい
▲ Lifting the Veil: Improving Accoutability and Social Transparency in Wikipedia with WikiDashboard
- 軽くCheck.編集履歴 => 視覚化


◇ Multidimensional Visualization session
◎ FacetZoom: A Continuous Multi-Scale Widget for Navigating Hierarchical Metadata


◇ Visualization session
× Expandable Grids for Visualizing and Authoring Computer Security Policies
◎ LiveRAC: Visual Exploration of System Management TIme-Series Data
- ログの視覚化、大規模で押す.色で見せる


◇ Picture Perfect session
◎ PhotoSpread: A Spreadsheet for Managing Photos
▲ Picbreeder: Evolviing Pictures Collaboratively Online


◇ Find Your Way
▲ Navigation Techniques for Dual-Display E-Book Readers
- ビデオをcheck

◆ なんだかわからなくなってしまったメモ
- Amazon Mechanical Turkって何?
- Survey Monkeyって何?


Posted by z at 10:57 PM

June 17, 2008

Mac OS XのSecurity設定に関する情報

Mac OS Xのセキュリティ設定に関する文書と言えばこれ

Mac OS X Security Configuration Guides

Panther, Tiger, Leopard版と揃っております.しかも、Client, Server版ともに揃っております.
が、その量には一瞬、圧倒されること間違いなし!

Posted by z at 11:30 PM

June 15, 2008

論文: Access Control by Testing for Shared Knowledge

Access Control by Testing for Shared Knowledge,
Michael, T., Xiannhang, Z., James, F. and James, A.L.,
Proc of the 26th annual SIGCHI conference on Human factors in computing systems (CHI 2008), pp.193-196, (2008).
ACM Digital Library

■ Abstract
- onlineでのprivacy制御は容易ではなく、しばしば混乱の基となっている
- social access controlの提案.ユーザは共通知識に関する簡単な質問を設定し、明示的なアクセス制御規則を設定する
- プロトタイプを実装し、写真共有システムとして評価を実施.問題作成の難しさ、攻撃者による安全性の測定そしてユーザの理解しやすさとこのシステムの安全性に対する予測を評価

以降、走り書き

■ Introduction
- なんの共有であっても、そのためにはアクセス制御が必要
- white list/black listは数学的に厳密でいいのだが、現実的には不便なことが多い
- 80人の人と写真を共有するのにアカウント/パスワードを作るのか? Whiltelistを用意するのか?
- 社会的なグループは共有している知識がある(図1).それをアクセス制御に利用.guard questions of shared knowledge
- 設計上の問題と調査、shared knowledge questionのsecurityに関して議論
- social securityでは、厳密だったり暗号といったものを必要としているのではなく、利便性や柔軟性、多義性や微妙な差異を認められる手法を求めている.

□ Traditional Access Control: Whitelist and Blacklist
- White/Black listは社会的な関係をリストに明示的に書き出す必要がある.これはいくつかの点において面倒である
- Tedious: リストの作成維持を共有情報毎にしなければいけない.それは手間だし忘れてしまう
- Rude and Lacking Social Nuance: 社会的な関係はそもそもあいまいである.それはwhite or blackという二値で表すのは難しい.そういう行為は先入観や差別を生むと言われている[4].社会的なニュアンスを認められるようなポリシーの追求が望まれる
- Inexpressive or Complicated: 長大なリストの管理負担を減らすために、Webサイトでは既定のグループを定義して使用できるようにしている.しかしこれでも"親密な友達"とか、ある特定の人だけ除外するという設定は困難であり、柔軟性は低い.UNIXにおけるgroupの概念もあるが、これもその設定が面倒であり、事前にその仕組みを学習する必要がある.
- White & Black listにはzero-sum trade-offがある.グループがないとその維持作業は退屈であり複雑化するが、既定のグループは現状を反映しにくくなる.しかし共有知識はそれよりも柔軟であると推測される.

■ COPING with GUESSERS and FORGETTERS
- shared knowledge systemは、攻撃者による推測攻撃と、正規ユーザのパスワード忘れに対する対処が必要
- 3種の推測攻撃者
- 1. 社会的につながりのない攻撃者: 推測を助けるような情報がないので、推測できる情報数には限りがある
- 2. social graph内のユーザによる攻撃: ログやアクセス試行を晒す
- 3. 答えを忘れてしまったりフレーズを誤ったりする友人: アクセスを許可すべきユーザ
- アカウントはいらない.推測制限とロギングで対処.Nike+iPodの例
- IPアドレスは地理情報へのmappingが可能
- システムの実装にはこれらの設計要素がある.


■ STUDY: GUARD QUESTIONS FOR PHOTO SHARING
- 社会的関係と共有情報によるセキュリティシステムの効果について要約した、次は形式的実験によりその背景にある問題を探し出す
- 1つめは誰と写真を共有したいか、そしてそれらのグループを分割しうる共有情報が存在するか
- 2つめはどんな質問が考えられるか? そしてそれはどの程度難しいか?
- 3つめはそれがどのくらい推測されやすいか? そしてその脆弱さを正確に予測できるか?
-- 3つめは作成してもらった質問を公開し、匿名の人たちに報償付きで推測してもらった

□ Designing Questions
- 特定の人たちと写真を共有したい31人が被験者
- それぞれの質問で10人の攻撃者がそれぞれ10回推測攻撃する.
- 男女比は男47/女53%、平均27歳.

□ Results: Desired and Undesired Recipients
- 被験者を回答を9つのカテゴリーにわけた(表1)
- 人々はアクセス権を与えるよりも、アクセスを拒否する方に注意を払っている

□ Results: Questions Designed
- 概念は簡単に理解でき、すぐに問題を作れるようになっていた.
- 168個のuniqueな問題が得られ、6つのカテゴリーに分類できた(表2)
- 179枚のうち3枚を除いて質問は作成できていた (98%)
- 質問作成値の中央値は8秒、しかし一方で長い時間がかかる場合もあった.平均は15秒、標準偏差は28秒
- 個人による差が大きい.8つの質問を作成するのに平均155秒で、最長は600秒という人もいた
- 質問作成時間と推測に対する脆弱性に有意な影響は見られなかった

□ Cracking the Questions
- 設問の推測に対する脆弱性をはかるために実験.10人の攻撃者により10個の回答をそれぞれの設問に対して取得.
- 3回までの推測で正解した人は6%.10回までの推測で成功した人が11%.推測を3回までに制限すれば、半数の攻撃者は排除できる
- いくつかの質問は、ユーザが意図的に推測されやすい質問を設定していたと考えられる.
- 図3に設問者の難易度予測と実際の推測成功率の比較.右下、左上が誤まった予測(想定難易度と推測成功率に大きな食い違い)に該当
- 168個中10個の質問が、その安全性を過大評価されていた
- 予期せず推測された7つの例について調査: 2つの共通した誤りを発見.5つの設問は、全ての回答選択肢を容易に列挙できてしまう例(いつも夜更かししている曜日は?)、残りの2つはWeb検索エンジンで検索した結果、結果を見たそのページに回答がある例であった(Chrisのクローゼットで生きているのは誰?).
- Web検索のオントロジーを使うことで、脆弱な質問を自動検出できるかもしれない.


■ Handling Ambiguous Answers
- ユーザが共有の知識持っていても、その回答フレーズは異なる可能性がある
- あいまいな回答を扱うためにいくつかの規則を用意.37行のアルゴリズム
-- Intra-word deviations: スペル間違いや中間部の違いなどは許可 (Teriers <=> Terrier)
-- Alternative words: 省略形、頭字語、類語は間違いとして扱う
-- Extra or missing words: stop words(and, or, to)は無視.extra wordは許可.(例) "seattle downtown"を"seattle"の間違いとして入力した場合はOK.missing wordは誤り.(例) "grandparents"を"gabe's grandparents"の間違いとして入力した場合はNG.
- このアルゴリズムには2つの問題がある
-- 1) "case western"は"western"の特殊形ではないものの、正解と判断される
-- 2) "2005 and 2007"という解の場合、"2003 2004 2005 2006 2007"という推測回答を正解としてしまう


■ Related Work
- 個人認証は個人の持つ知識を照合.母親の旧姓など[5]
- 共有情報を使用することで個人からグループへ
- 写真の知識もアクセス制御に使えるだろう.個人からグループへ[3]

- 共有パスワードなどもアカウント生成することなしにアクセス制御もできるが、guard用の質問とは異なり鍵を事前に配布しなければならない.またそれを記憶保持し、適切に管理しなければならない.
- 共有知識による回答はユーザの実生活に基づいたものであるから、その記憶が容易である.また事前に配布する必要がないため、必要に応じて質問を変更することができる.
- また事前に配布する必要がないため、ad-hocなユーザ間でWebを共有するにも使用できる.我々はこの研究を形式化し、設計指針をまとめ、その有用性を広めていく予定である
- また最近の研究[1]では、white/black listに基づいたシステムの利便性を改善するものもある.


■ Future Work
- 社会的に関係のあるまたは友達による攻撃実験は行わなかったので今後の課題.この被験者の定義には様々な要素が考えられる.
- 評価のためのシステム実装
- 予想外の推測成功率を下げるためにいくつかの手段が考えられる
-- 推測攻撃とでたらめ攻撃の実時間視覚化システム
-- 代替回答や回答の境界を指定するためのインタフェース
-- 脆弱な質問/回答のための経験則的調査
-- 事前に安全だと思われる質問/回答の用意
-- 規則による推測攻撃の過小評価に関する認知的解析
-- 脆弱な質問の自動検出
-- 自然言語解析による回答検証と脆弱な質問の検知
- 写真共有以外への適用: blog、wi-fiアクセスなどなど
- 既存のアクセス制御とGuard questionの組み合わせの模索.


■ Conclusion
- アクセス制御として共有知識に基づく質問応答手法を提案.
- ユーザはその手法をすぐに理解し、問題作成の負担も比較的少なかった
- 多くの質問は他人による推測が困難であった.
- ユーザは質問の安全性を予測できていたが、いくつかの点では攻撃者の能力を過小評価していた.それはWeb検索エンジンによる方法や、回答選択肢の洗い出しに関する点である.
- いろいろな場面で使えるであろう手法であると考えている

Posted by z at 11:31 PM

June 13, 2008

論文: Measuring Trust in Wi-Fi Hotspots

Measuring Trust in Wi-Fi Hotspots,
Tim, K., Eamonn, O., Chris, B., Vassilis, K., Danae, S.F., Tim, J.,
Proc of the 26th annual SIGCHI conference on Human factors in computing systems (CHI 2008), pp.173-182, (2008).
ACM Digital Library

■ Abstract
- 公的な場所に設置されたWi-Fi spotに対する現状での信用度を測定するための実験について述べる
- 2つの仮説についてその調査を実施
-- 設置場所に関する画像による効果
-- 特定の場所に関係のない画像による効果
- 結果として、設置場所に関する画像が見知らぬWi-Fi hotspotに対してアクセスするかどうかの意思決定において大きく影響するという結果を得た

設置場所に関する写真をそのサービスを説明するWebページに掲載すると、そのサービスに対する信頼が増す.ということに関する調査.ま、信頼醸成に関する一つの調査なんだろうけれど、正直なところ、あまりピンとこないというのが当方の印象.信頼という形のない多面的な値を測定するための新しい方法を提案したともあるが、そうでない方法と比較しても一長一短のようです.

以降、内容の走り書き

■ Introduction
- situated service: 特定の場所で提供されているサービス[17].Wi-Fi spotもその1つ
- そういったサービスにはsecurityとprivacyの問題が残されており、そういった脅威を軽減するための研究が行われている
- 信用(Trust)はSecurity & Privacyにおいて重要な要素.しかしユーザは誤解しがちである
- 本研究ではCafeとかにWi-Fi spotを設置することに対し、信用を醸成するために必要な振る舞いについて調査する
- 研究室とかの疑似環境ではそれが信用に影響を与えてしまうので、実環境で実施
- 1つめの目標: 実験環境の開発.被験者がそれが実験環境だとわからないような環境で実施
- 言い換えると、現実の公的な場所における信用度を測定/収集するための方法を見つけること
- 2つめの目標: Wi-Fi spotの紹介Webページに、その設置場所に関する写真と、設置場所には関係のない写真を軽視することによる影響を調査
- 設置場所による写真の掲載が、そのWi-Fispotを通じて個人情報を入力するほどの信用を与えることになるかを調査
- Wi-Fi spotに対する"a location cue"による信用の補強.一方で"an anti-location cue"、すなわち設置場所に関係のない場所の写真掲載による信用の低下はあるのか?
- situated serviceにおける信用測定の実験方法の提案と場所に関する写真の信用に対する影響について調査


■ Background and Trust Hypotheses
□ Wi-Fi 'Phishing'
- phishingはブランドや見た目を類似性によりユーザをだましており、実験結果[10,11,27]からもそれはずいぶんやっかいなことがわかっている
- Wi-Fi hotspotの増加に伴いphishingも増加
- phishing siteへの誘導が可能に、というかman in the middle状態になるので、ある意味なんでもあり.
- 使用している/使おうとしているWi-Fi spotが本物かどうかは信用の度合いに依存している

□ Initial Situational Trust
- Initial Situational Trust: これまでの経験や限られた知識から醸成される信用度.他にもいくつかの定義
- 経済の視点から考えると、信用を増すためにははじめのコンタクトが大事.[21]
- Webブラウザの接続に関するセキュリティ情報の提示も信用醸成のための1つの方法.しかし論文[10,27]より無視できない数のユーザがそれを理解していない.多くのユーザはコンテンツのみか、コンテンツとドメイン名で信用してしまう
- ロゴや安全を示す画像(VeriSign, Verified by VISA)、そしてブランドは信用醸成に大きく影響.が、これも問題が残されている
- Fogg[13]ではwebサイトが与える信用度の重要性に注目.そのためのガイドラインを作成.
- [28,30]からも実世界での情報(住所や電話番号)そして著者や写真の写真を掲載することが信用醸成に大きく影響する
- 人の顔を見せるとそれは対人関係における信用醸成に好ましい影響[3,29,23].ただし結論を導くには至っていない
- 人の顔と場所に関する画像のどちらが信用醸成に好ましい影響を及ぼすか?
- location cueという言葉を使い、3つの実験をする
-- サービス設置場所に関する画像を提示 (location cue)
-- サービス設置場所とは関係のない画像を提示 (anti-locative)
-- サービス設置場所も含む多数の場所で見られるような一般的な写真 (a-locative)
- 他にもブランドや評判、以前利用した時の経験なども信用に影響すると考えられるが、今回は場所の写真に限定.
- 2つの仮説を検証
- Locative Hypothesis: Wi-Fi spotのサービスにおいてlocative cueはa-locativeなcueよりも信用を醸成しうる
- Anti-locative hypothesis: Wi-Fi spotのサービスにおいてanti-locative cueはa-locative cueよりも信用を減じる

□ Methodological Issues: Working with Trust
- 仮説を検証するためには信用度を測定する必要があるが、これは複雑で多面的な概念であり、実験条件を調整し、現象と分離することは研究者にとって重要な課題
- trustとriskは分離可能.経済や社会学ではriskによりtrustを測定しようとするが、実験室環境において用意される実験方法(囚人のジレンマゲーム等)で、Riskを与えることでTrustを測定しようという試みは、その両者の因果関係が明確であるとは言いがたい以上、正確とは言いがたい
- 信用という心理学的状態とtrusting actという振る舞いは別.心の中の信用が実際のtrusting actに変換される必用はなく、その関係は直接的とは言いがたい
- 被験者自身が実験に参加していると意識していない状況で実験を実施し、実験後に問う方法を採用.これは信用度を正確に測るために必要と考える


■ Methodology
□ Design
- LondonとBristolの2つのCafeに偽のWi-Fi hotspotを設置し、最初にアクセスすると"Fastnet'のサービスである旨のWebページを提示するシステムとした
- Londonは大学の近く、Bristolはdigital media center内.よって被験者はBristolの方が幅広い傾向
- サービスを利用するのに携帯電話番号を入力させるようにした
- 信用度は本当の番号を入力(信用)、番号を入力しなかった、偽の番号を入力した(信用しない)で測定
- 一見した見た目(デザイン)は同一で、その場所に関する写真の有無をランダムで変えながら実験
- Bristol屋外の写真と、都市部のビルの写真を利用: Bristolの場合、Bristolの野外の写真がlocative cue、Londonの場合はanti-locative cueとして機能、そして都市部の写真はどちらの場合もa-location cueとして使用
- 被験者は361人(Bristol: 247人、London: 114人).同一被験者が二度実験しないようにfiltering.年齢と性別の分布は不明

□ The Fastnet website
- phishingと疑われないようにドメイン名'www.fast-net.org'を取得
- 8 pageのweb page: 4pageはログイン処理、3pageはヘルプや会社説明のWebページ.

* Step 1: Splash Screen - 'Welcome to Fastnet'
- 同じデバイスでアクセスしてきたら常に同じ画像でWebページが提示されるように設定 (Mac addressベース)
- 最初に提示されるWebページには、このサービスに関する説明とその使い方を教示

* Step 2: Login - 'Please supply Your mobile phone Number'
- continueボタンを押すと携帯電話番号を聞かれる

* Step 3: Authentication - 'Please Enter Your Unique Passkey'
- 携帯電話番号を入力すると、ユニークなPINが携帯電話にSMSで送られる.
- 送られてきたPINを入力すると、アクセス可能になる

* Step 4: Debrief
- これが実験だったことを被験者に公開する.なぜならそこからInternetに接続することはできないようになっており、その理由を明らかにする必要があるため

□ Implementation issues
- ま、大変だったよ話
- 情報漏洩対策(携帯電話番号)のためHTTPSを使った.また電話番号をそのまま保存するのではなく、そのハッシュ値を保存し、番号そのものは破棄していた
- 外部からの攻撃に対する対処.無線LANからしかアクセスできないようにし、Internetには接続しなかった
- 被験者を限定しなかった=>あらゆるタイプのデバイスに対応する必要あり.標準に準拠し、多数のWebブラウザで動作確認.

□ ethical issues
- British Psychological Society(BPS)の倫理規定を満たしている
- 参加意思をとらずに実験実施 => だますことになる.それに対する配慮する必要あり
- 実験である旨と、その実験内容について実験後に通知
- 携帯電話番号の安全性には注意を払い、実験後には実験者へのコンタクト情報を提示


■ Results
- 29週分(Oct 2006 - July 2007)の実験結果

* Patterns of Site Access and Instances of phishing
- 結果は図7,8
- phishingに成功したのは、およそ32%
- 53%がsplash画面で退去、29%がlogin画面で、12%がpassword画面で、そして6%がhelp画面から退去した
- Londonのアクセス数に突出した時期があるのはクリスマスシーズン
- 80%の被験者がi回しかfastnetにアクセスしなかった

* The Effect of Location and Locative Cue
- 結果は表1.場所や画像種による有為な効果は見られなかった.
- が、場所と画像の相互作用に関しては有為な差が見られた: LondonではBristolの写真の場合のphishing率が、都市写真の場合のphishing率よりも低かった
- カイ2乗検定の解析結果、Bristolの人は表示される画像に関わらず一定の割合でphishingにひっかかった.一方、LondonではBristolの屋外写真の方が都市部の写真よりもphishingに引っかからないという結果になった


■ Discussion
- まず第一の結果として、やはりPhishingに引っかかってしまう人が多いという事実が確認.あっさり携帯電話番号を入れてしまう人が多い
- 2つめの発見は、場所に関する写真の提示は信用醸成に意味があるという証明が得られたこと.anti-locative cueの仮説は証明された.しかしlocative cueの方は証明できなかった.
- まだ結論に至ったとは言い切れない.さらなる調査が必要
- いくつかの検討要素.実験目的に対して場所の選択は適切だったか? 適切な場所を選択するための指標は? ユーザの認知に対してlocative, anti-locative, a-locative cueは適切だったか? ... そしてLondonの結果は本当にanti-locative cueによる信用度の違いによるものなのか? という具合である

□ Implications for Wi-Fi provisioning
- Wi-Fi spotのようなsituated serviceの設計において必要とされうる要素に関する提示
- a) 偽のサービスを誤って信用してしまうことに対するユーザ保護
- b) 正当なサービスの利用を断念させてしまうような信用不足を回避すること
- いろんな対策方法が考えられるが、一長一短(?).b)に対する対策としてa-locative cueを使うことが考えられるが、その土地に来たばかりの人にはそれがanti-locativeに見えるかもしれない

□ Implications for experimental methodology
- 設計した実験方法について.まず第一に現実的に危険な目に遭わせること.第二に仮定された信用ではなく、実際に信用をしたうえで起こす行動を基に信用を測定したこと.
- この手法は他の測定にも利用できるだろう.例) 公的な場所にある2Dバーコードの携帯電話による読み込み
- 一方この測定手法の問題点は被験者に依頼をできないこと.測定値をより正確にするような被験者の囲い込みができないこと.(Londonでの実験はLondon市民だけで実施とか...).interviewもできないのでfeedbackも得られない.
- この実験方法は、被験者保護のため研究者への負担が増す
- 被験者にその場で必要な対応をするための方法もない


■ Conclusion
- Wi-Fi hotspotのようなsituated serviceに対してユーザがおく信用を測定する実験を実施
- anti-locativeの仮説は実証できた.その場に関係のない写真をサービス説明のWebに掲載すると、ユーザはそのサービスを信用しない傾向がある
- この結果と実験方法は、信用を測定する方法として新しい手法であると考える.
- 今後の課題
-- cueとして使用する画像に関する調査(locative, anti-locative, a-locative)
-- 顕著の概念とlocation cueの有効範囲
-- 多数の他の地点での実験実施

Posted by z at 11:41 PM

June 09, 2008

論文: Love and Authentication

Love and authentication,
Markus, J., Erik, S., Susanne, W., Liu, Y.,
Proc. of the 26th annual SIGCHI conf. on Human factors in computing systems (CHI 2008), pp.197-200, (2008).
ACM Digital Library

perference-based authenticationと言うべきか.passwordを忘れてしまった時に本人を確認する手法として提案.個人の好みというのは長期/短期記憶よりもその記憶が安定していて、かつ回答がぶれにくい.これを利用して高エントロピーの認証を実現しつつ、利便性の低下を最小限にする認証を提案する.という内容と理解.

■ Abstract
- ユーザはpasswordを忘れる.
- 高いfalse positiveとfalse negative.前者は低いエントロピーだったり一般に入手できる情報が使われていることが原因であり、後者は記憶困難なパスワードだったり頻繁にパスワードを変更することや入力ミスが挙げられる.
- よい"Security question"とは、一定長の生活から得た好みや知識に基づく内容にすべきであり、一般に入手できるような情報を使うべきではない
- オンラインの仲人サービスで使われているような質問がSecurity questionに適している!
- まずはじめに入力ミスを減らすためのインタフェースについて議論
- 提案手法に関する実験の詳細について議論

以降も走り書き

■ Introduction
- 認証 = パスワード
- だがユーザはパスワードの記憶とその維持が得意でない.また多くの場合ユーザは簡単な(ダメな)パスワードを使いがち
- 安全なパスワード = 記憶困難なパスワード
- パスワードを忘れてしまうことに対する新しいアプローチに関する研究.Human computer interactionとSecurityの領域に関する洞察からくるアプローチ
- password resetの方法はここ数年新しい方法の提案はない
- callセンターだとコストがかかる.[7]
- 代替策としては2つの方法が主流
- 1. とあるリソースにアクセス: 事前に登録しておいたE-mailに復旧用のWebサイトを通知
-- そのE-mailアカウントにアクセスできる限り有効.が、配送や不正なアクセスに関する問題がある
- 2. 他の個人情報に関する知識:
-- 推測攻撃、低エントロピー、公的情報により攻撃可能といった問題
- これら2つの方法の組み合わせ:
-- E-mailアカウントが無効になってしまったらNGとなる問題
- 種々の問題から、結局Securityは知識のみにより検証されていると言える

- 今日使われている知識ベースの検証方法も様々な問題あり
- 「好きなスポーツチームは?」: 低エントロピー、地理的要素に依存
- 「あなたのはじめてのペットの名前は?」: 共通したペットの名前で攻撃可能
- 「母親の旧姓は?」公的情報のminingにより攻撃可能.辞書攻撃可能
- 「あなたの生誕地は?」インターネット検索エンジンで回答発掘可能.辞書攻撃可能
- 最近、インターネット検索エンジンの能力はこの種の情報収集方法として脅威[8]
- 多くの場合、攻撃者は回答を推測または類推可能
- 多くの質問には多くの回答がある場合もある.しかしシステムが受け付けるのは1つ.これはユーザをイライラさせる.例) 生誕地は? という問いにBrooklynなのかNew YorkなのかNew York CityなのかNYCなのか...
- 誕生日や社会保障番号などはこういった揺らぎはないが、データを安全に保持しなければいけないという問題もある

- personal security questionの提案: 個人的な好み/嗜好に関連した問題を選ぶことで、公的データの大規模なminingによる攻撃を回避可能に
- Onlineのdating web siteからの情報収集による攻撃は困難.profileは公開されていてもcontact informationは公開されていない.つまりユーザ名がわからない.また想定している質問は、複数のdating web serviceから情報を収集して使用するので、それら全部を攻撃者が収集することは極めて困難と考えるため
- 低エントロピーによる脆弱性を克服でき、かつ種々の質問を使用することで高エントロピーを実現
- またこれはユーザビリティに大きな障害を与えることなく実現できる
- どうするか-> 複数回答選択肢による多数の質問を使う.
- 3つの選択肢による回答は必ず1つになる.2つにはならない(?).心理学に基づいた洞察でもあり、「好み」は時間を経過しても変化せず、それは短期記憶や長期記憶よりも安定している.
- false positive, false negativeを測定するために複数の実験を実施
- 1. 個々の質問に対するエントロピーを測定
- 2. 質問に対するユーザの好みが変化しないかを測定
- 3. 質問に応じて攻撃者が認証に成功してしまう確率分布を測定
- 攻撃者は赤の他人と知り合いを想定


■ Design Principles
- パスワードの生成は大変な作業として知られている
- 認証のための質問を考えるのも同様
- この労苦ゆえに、ユーザは共通の質問を使い回し、そしてそれゆえに回答も再利用する傾向にある
- 認証は日常生活の一こまとなっており、HCI分野での問題でもある.それゆえ簡単さ、使用時間、単純さそして効率が問題とされる
- 使用される質問、質問の数、そして質問の形式が重要な問題.そしてその対話手法が最も大きな問題.操作は簡単で説明なしで操作が理解できることが望ましい
- そしてそれは高いセキュリティと外部に実体化された知識の利用を最小化されていることの双方が望まれる
- personal security questionの概念はこれらを全て解決.
- 実験結果から、被験者は10個の質問を平均20秒以内に回答できていた
- 要求される安全性にもよるが、10から90個の質問が使用されると推測している


■ Preference-based Security Questions
□ The Authentication Approach
- 2つの作業フェーズ: setup(初期設定)とauthentication(認証)
- setup: アカウントを登録、多数の質問に対して回答する.質問内容はTV番組、音楽、食べ物、スポーツなど
-- 例) country musicは好き?、試合を見るのは好き?
- 回答は 1) 大好き 2) どちらでもない 3) 大嫌いの三択.回答は認証サーバに送られる.
- ユーザがパスワードを忘れたとき、システムはユーザにsetupの時に回答させた質問を提示し、答えさせる.質問の数は要求される安全性に依存
- 認証に成功するためには、数回のエラーは許されるものの、ほとんどの回答には正解する必要がある.
- 特にsmall errorとbig errorの概念を使って区別する.big errorは大好きを大嫌いと回答する場合.small errorは大好きをどちらでもないと回答する場合
- 正規ユーザならばbig errorはそんなに多数発生しない.実験結果もこの事実を追認する形に.
- 認証の成否判断は、ユーザが得たスコアがしきい値を越えるかどうかで判定
- 正解ならスコア加算、不正解(big error)なら減算、どちらでもないとsetup時に回答した問題に正答してもカウントはしない(攻撃者による全"どちらでもない"回答攻撃に対処するため)


■ How Can One Find Good Questions?
- [10]の方法により候補とした質問群の善し悪しを決めるエントロピーを計算[10]
- よい質問のエントロピーは0.61〜1.57.TVを見るのは好きか? といった質問はエントロピーが低くてダメだった.
- ダメな質問は、認証用の質問からはずし、エントロピーの高い質問のみを認証用質問として使用した.=> 攻撃者による推測攻撃を回避するため


■ Experiments
- 423人の大学生で第一実験を実施.いくつかのdating web siteから193の質問を収集して実施.
- 第二実験では、193個の質問から96個の質問を選んで認証作業(setup & authentication)を実施.選んだ質問のエントロピーは1.35から1.57.
- setup実施後7-14日に認証を実施.2つのグループに分けて実施.1つめのグループは46人の被験者で認証を実施.$5.00の報奨金が出る.2つめのグループは26人で同額の報奨金が出るが、正解率が高い場合さらに$5.00の褒美が出るようにした.報償の追加により正解率が変化するかを知るための策.
- 第三の実験はfalse positive測定のための実験.他人による攻撃はbotによる攻撃.botは各問題における回答分布を知っており、もっとも回答分布の多かった回答を選択する.知人による攻撃は、被験者による実験を行った.評価はスコアとsmall error, big errorの数で実施


□ What are the Error Rates?
- 実験の目的は、false negativeとfalse positiveを最小にする最適パラメータ(しきい値)の取得
- しきい値Tが50%だとした場合、false negativeは0%、Abotによるfalse positiveは3.8%、知人による攻撃は10.5%となった.(図1)

□ Use of fewer questions
- 実験結果から96もの質問は不要
- どうやって質問を減らすか.質問の数と組み合わせが問題になる
- 50個のランダムな組み合わせを生成し、エラー率がどう変わるか実験(図2)
- 16個の質問でも利用に耐える.24個かそれ以上ならばエラー率も十分低い結果に.この試行錯誤の結果、false positiveを1%以下でfalse negativeを0%にすることができた


■ Conclusions
- 好みベースの認証(preference-based authenticaiton)の提案.パスワードを忘れてしまった時に使用することを想定
- できるだけ少ない要件(時間、記憶、手間)で対話性を持たせた認証を設計すること
- これらの要件は明らかに適切な安全性を確保することと対立する要件である
- が、実験結果から、提案手法はよいバランスを実現できたと考えている.低エラー率と過度な手間や時間を取らせない.また手法の理解も容易であり、手早く操作できる.被験者でこの手法を怖がったり、手間取った人はいなかった.

◇ 気になる参考文献
8

* http://www.i-forgot-my-password.com/ も参照のこと

Posted by z at 05:51 AM

June 08, 2008

論文: You've Been Warned: Am Empirical Study of the Effectiveness of Web Browser Phishing Warnings

You've Been Warned: Am Empirical Study of the Effectiveness of Web Browser Phishing Warnings
Serge, E., Lorrie, F.C., Jason, H., Proc. of the 26th annual SIGCHI conf. on Human factors in computing(CHI 2008), pp.1065-1074, (2008).
ACM Digital Library
* Best Paper Nominee

■ Abstract
- 最近のWebブラウザにはphishingサイトに関する能動的な警告方法が実装されている.
- これらは受動的な警告が無視されるという経験則からきたものである.
- Warning scienceのモデルを使って,ユーザがどのように警告メッセージを認知するかを実験により解析し,より効果的なphishing警告を実現するための提案を行う

よりよい警告を実現するために被験者実験を実施し、その結果をC-HIPモデルで解析した.それの結果からよりよい警告を実現するための勧告を行うという実験.Best paper nomineeなんだけど、個人的には...な内容.

以降は走り書き.

■ Introduction
- セキュリティ上の警告はうまく機能していない.なぜならユーザはそれらを理解できなかったり,信じていなかったりするからだ.
- phishing attackの完全な自動検知は困難であり,それゆえその対応がphishing siteへのアクセスをブロックするではなく警告となっている.
- anti-phishingの警告は実際にユーザの役に立っているのか?
- passive indicator: ユーザの作業を邪魔することなく色を変えたり,文字情報を提示したりといった方法でその危険性を提示してきた
- しかし研究成果[23]から,passive indicatorは意図した通りに機能していないことが明らかに
- active indicator: 作業中断を強要するような警告方法
- Internet Explorer 7(IE 7)にはpassiveとactive indicatorの双方が搭載
- IE 7のpassive indicatorは,なんの選択肢も推奨対策情報も与えていない
- Firefoxにはactive indicator.そのWebページを閲覧するか,無視するかの選択肢も提供
- active vs. passive indicatorの効果に関する比較を行う.そのためにはwarning science分野の研究者が用いるC-HIPモデル(Communication-Human Information Processing Model)を使う
- この論文の3つの貢献
- 1. 現行Webブラウザのactive indicatorの効果を測定
- 2. warning scienceのモデルを使って結果を解析
- 3. security indicatorの改善に向けた提案


■ Background
- ユーザのだまされやすさ,Webブラウザの警告方法,そして警告メッセージに対するユーザの認知に関する関連研究

□ Phishing susceptibility
- 教育や検知ツールが進んでも,だまされつづけるユーザ
- Gartner, Moore and ClaytonとFlorencio and Herleyの報告
- 見た目が同じならそれは真性のWebサイトだと信じてしまうユーザの傾向を利用
- 見た目がそのWebサイトを信頼するのに最も大きく寄与
- lockアイコン,ステータスバー,アドレスバーの表示は意味がない.ユーザはそれが何を意味しているのかがわからないから[7]
- E-mailによる実験[8].Amazonからのメールを疑わしいとしたユーザは47%,しかしCitibankからのメールを疑わしいとしたユーザは74%.過去の経験が大きく影響.またWebブラウザのSecurity指示は誤解されたり無視されやすい

□ Phishing Indicators
- phishing警告のための新たな指示器の設計は研究領域として注目されている
- Passpet system[25]
- Webブラウザを見た目を利用して,phishingサイトの検知を支援する[6, 24]
- これらはthird-partyのtoolを利用.複雑.どの程度のユーザがそのツールにより改善効果を得られるかが不明
- 実環境で被験者実験をすべき.
- SiteKey[2].だけど有効ではないとの実験結果も[19]
- EV(Extended Validation)証明書の利用.これも問題ありの指摘[13]
- phishingサイト検知用のplug-inもあるが,その検知能力には疑問点あり[26].またそれらの多くはpassive indicatorであり,気付かれなかったり,信用されなかったりする[23]


■ A Model For Warnings
- warning scienceのモデルを使用して結果を解析
- hazard matching: 警告メッセージによりその危険性が正確に伝えられているか?
- arousal strength: 認知された警告の緊急度
- C-HIP(Communication-Human Information Processing)モデル: 特定の警告が有効に機能していない理由を特定するのに使われるモデル[21]
- 5つの情報処理ステップ

- 以下の質問をすることでそのモデル異なるかを調査
- 1. Attention Switch and Maintenance: その指示情報に気付いたか?
- 2. Comprehension / Memory: その指示情報の意味を知っているか?
- 3. Comprehension / Memory: その指示情報を見た時,何をするべきかを知っているか?
- 4. Attitudes / Beliefs: どの指示情報を信用しているか?
- 5. Motivation: 推奨される対応をする動機があるか?
- 6. Behavior: 推奨されている対応を実際にするか?
- 7. Environment Stimuli: その指示情報が他の情報や刺激とどうやって相互作用しているか?

- think-aloudによる実験を実施.その後post-task questionnaireを実施


■ Methodology
- 実験ストーリ: onlineで物品購入.購入サイトからメッセージが届く.そのmessagge内のリンクをクリックするとphishing siteに誘導され警告が表示される.それを被験者が読んでどう対応するかをthink-aloudしてもらう.終了後に出口調査(?)も実施.


■ Recruitment
- IE 7とFirefoxを使用し,4つの異なる条件で実験実施
-- IE 7 x active indicator, IE 7 x passive indicator, Firefox x active indicator, no indicatorの4条件
- さまざまな"つて"を使って被験者募集
- 一定の条件にあわない人は被験者からはずした
-- Webサイトを設計した経験,domain名を登録した経験, SSHの利用経験, firewallの設定経験
- 実際の環境に近づけるため,外国の計算機でWebブラウザを使ってメールをチェックとし,メールアドレスを教えてもらった.またいくつかのISPはphishing mailのfilteringをしていたので,実験用メールサーバをDKIM, SPF対応とし,その回避を可能にした.

- 282人から70人を採用としたが,そのうち10人は実験時にいくつかの実験用E-mailを受信できなかったため,この10人も実験結果の対象外とした
- 被験者の平均年齢は28歳
- 実験グループ間の年齢と性別に有意な差はなし
- Firefoxグループは20人,IE 7 active indicatorが20人,IE 7 passive indicatorが10人.あとの10人は古いversionのWebブラウザを利用した(つまり警告なし)

■ Scenarios
- AmazonとeBayを利用: 銀行以外でphishingの被害が多いサイトであるため[17]
- ebay-login.netとamazonaccounts.netというドメインを取得
- FirefoxとIEに上記ドメインをphishing siteと判定するように細工
- 被験者には実際に両サイトで買い物をしてもらう
- think-aloudしてもらう.実験中は背後に実験監督者がつく
- 購入は比較的安いものを品種指定で購入させた.amazonはpaper clip(送料込み $6.00), eBayはHongKongの電化製品(送料込み $5.00 ー 10.00)のものとした
- 実験では商品代も含めて$35の謝金
- どちらの買い物も,指定されたURLにアクセスしないと注文がcancelされるという旨のメールが届く
- 実験完了まで平均して40分


■ Results and Analysis
- 概してユーザは今回の実験でphishing attackを疑った.
- active warningは79%が攻撃を回避した
- 興味深い結果(表1)
-- 1. FirefoxとIE 7 active indicatorに有意な差
-- 2. IE 7 passive indicatorとno indicatorに有意な差はなし
-- 3. IE 7 acitve indicatorとno indicatorに有意な差

□ Phishing Susceptibility
- 被験者全員がAmazonおよびeBayで買い物をした
- 106通のphishing e-mailが被験者に届いた.(いくつかはE-mail filteringにひっかかり届かなかった)
- そのうちの94通に対してURLをクリックし,phishing web pageにアクセスした.2人だけがphishing siteにアクセスしようとしなかった
- 46人の被験者に双方のphishing E-mailが届き,そのうちAmazonのリンクには43人が,eBayのリンクには37人がクリックした.
- 警告なしの場合はURLクリックした全員が個人情報を入力してしまった
- 入力した個人情報をfakeしたというデータは集めていないが,出口調査でうその個人情報を入力したという回答はなかった
- 被験者は,phishingに対して不正確なmental modelしか持っていないことが明らかに
- 警告は必要と回答した被験者の32%が,E-mailは本物だと思っていた
- E-mailが偽物だと気付いた被験者は3人のみ
- phishing web siteの認知とphishing E-mailの認知には,なんらかの不一致があるようだ
- E-mailの偽造が簡単であることをユーザが理解しない限りspear phishingは今後も効果的な攻撃であり続けるであろう
- 効果的な警告方法がWebブラウザに搭載されれば,教育の必要性を軽減できるはずである

□ Attention Switch and Maintenance
- 警告がユーザの注意を引き付けられなければ警告にならない
- active indicatorはユーザの作業を中断することで注意をひいている
- passive indicatorはやはり警告として意味がない
- attention maintenance: 警告メッセージを読んだかで判定
- 26/47(55%)が少なくとも1回は完全にメッセージを読み,そのうちの22/26(85%)がメッセージを読むと決めていたと質問に答えた
- IE 7 active indicatorの被験者のうちの2人のユーザは警告がでたらWebブラウザを閉じ,再びE-mail内のリンクを押すという行為を何回か繰り返し,その状況が変わらなかったらあきらめるという行為をした.これは警告を読んで理解してはいないが,結果として安全側に導くことができたという例.
- 19人が同様のメッセージを過去に見たことがあると回答.これはFirefoxユーザよりもIEユーザの方が多かった.しかしこれがphishingの警告だったかどうかは確認できない.なぜならば,ExpiredやSSL証明書に関する警告も非常に似たような警告だからである.
- warningメッセージと完全に読むという行為に関してはnegativeな相関があった.警告はそのそれぞれの内容に応じて異なる見た目になるよう設計し,ユーザがそれを読むようにすべき.dynamic warning[3]という事例もある

□ Warning Comprehension
- 47人中27人が警告を見たけど,20人がその内容を理解できないという結果に
- Firefoxの警告がIE activeやIE passiveよりも理解されているという結果に
- 1人を除いてFirefoxのユーザはその警告が何をして欲しいのかを理解していた.これは警告を完全に読まなくても,ユーザがすべきアクションを理解させられているという暗示かもしれない
- 結果的に31/47人が適切な対応をとることができていた.

□ Attitudes and Beliefs
- 多数の被験者は警告を信用していない
- IE 7 activeで警告を無視した被験者2人は,警告を信用してはいるが,その設定が厳密すぎるだけだと考えていた
- IE 7 passiveで警告を無視していた被験者は,常にあーいう警告がでるので無視する癖になっていた
- 見に降りかかるかもしれないRiskよりも,今の作業を完了することの方が大事になっていた
- IEは,警告がどれも似たような表記であるため,警告の危険度合を伝えられていない.
- IEユーザからのコメント:
-- これらはいつも無視しているよ.
-- いつも無視している警告と同じように見えるから無視.
-- 以前見たことある警告だから,多分警告間違い(false positive)でしょう
-- こういう警告はCMUの他のWebでも見たことあるよ
-- 毎日見る警告だしね
-- この警告はIEによっていつも表示される警告と思っていたよ
- 警告の理解に専門知識は必要とされるべきではない.
- しかしphishingに関する知識と警告を読む/必要とするとの間には有意な相関があった

□ Motivation and Warning Behaviors
- active indicatorとpassive indicatorには有意な差
- IE 7 passive indicatorを必要と回答した被験者は1人.他の被験者は全員警告を無視し,個人情報を入力してしまった
- passive indicatorとno indicator間に有意な差はなかった
- IE 7 active indicatorで警告を無視したユーザは9人,Firefoxは0人.
- FirefoxとIE 7 active indicatorには有意な差.しかしIE 7 activeはIE 7 passiveやno warningよりはよい結果となった
- トータルで31人が警告に留意した.そしてうち23人がその警告からなんらかの危険を感じとった
- 個人情報を入力してしまった被験者は,「そんな危険性に気づかなかった」「そういった警告はいつも無視していた」「警告が示した選択肢を理解していなかった」と回答

□ Environmental Stimuli
- IE 7 passiveで警告を無視した3人は「phishing webサイトに誤って信用してしまった.なぜなら警告以外の刺激はなかったから」
- 他の警告を無視した被験者も「サイトを信用しているから」と回答
- Webサイトの見た目は信用に対して最も大きく寄与する要素[10]ということw裏付ける結果に
- IE 7 activeで警告を無視した被験者も同様の回答.ブランドを信用しているから...
- ある一部の被験者は警告を見た時に,他のコンテキスト情報を使って判断をしようとしていた
-- あるFirefoxによる被験者はE-mailに戻り,個人情報がないことに気付いてやめる
-- 10人のFirefoxによる被験者は,URL barやE-mailのヘッダを調べた
- IE 7 passiveの1人とIE 7 activeの3人はURL情報を誤った判断をするために使用した.
「あ,このURLは大丈夫」と...
- 少なくとも4人の被験者は,E-mailの配送タイミングから警告を無視して良いという判断をしたと回答


■ Discussion
- 実験結果を基にphishing警告を改善するための指針を示す
- Interrupting the primary task: ユーザのタスクを中断させるように警告を行うこと.
- Providing clear choices: なにをどうすべきかオプションを明確に提示せよ.ユーザは何かをしなければ行けないことは理解しているが,どうしたらよいかはわかっていないのだ.
- Failing safely: 警告はすべて読まれた場合にのみphishing siteにアクセスできるように設計されるべき.警告を読まなかった場合はデフォルトで安全側,つまりphishing siteにはアクセスできないようにする
- Preventing habituation: 警告は他の危険度の低い警告と明らかに見分けがつくようにせよ.IEでは他の警告と見た目が似ているため,安易に警告が無視されていた
- Altering the phishing website: 警告は,ユーザがそのサイトを信用してしまわないようにWebサイトの見た目をゆがめる必要がある


■ Conclusion
- phishing対策を対象として,より効果的なsecurity警告を作成するための洞察を実施
- active warningがなければ,多くのユーザは個人情報をphishing siteに入力してしまうだろう
- どちらのactive indicatorもIE 7のpassive indicatorよりは有効に機能した.
- IE 7のよりもFirefoxのactive indicatorの方が有効に機能した

- phishing attackは今後も進化し,広範に攻撃は実施されるだろう
- phishingに対する将来の警告手法は以下のような要素を持つように設計されるべき:
- 1. ユーザの作業を中断すべき
- 2. 推奨される対策を明確に伝える
- 3. defaultは安全に
- 4. 疑わしいサイトを信用させないように
- 5. そしてユーザに悪い癖をつけさせないように


□ 興味のある参考文献
2, 3, 6, 7, 19, 23, 24, 25

Posted by z at 11:35 PM

June 05, 2008

論文: Sesame: Informing User Security Decisions with System Visualization

Paper: Sesame: Informing User Security Decisions with System Visualization,
Jennifer Stoll, Craig S Tashman, W.Keith Edwards, Kyle Spafford,
Proc. of the SIGCHI conf. on Human factors in computing systems(CHI 2008), pp.1045-1054, (2008).
ACM Digital Library

- Non-expertユーザのセキュリティに対する問題: 自身でセキュリティ対策をするのに欠けているもの: 動機(motivation)と知識(knowledge)
- それを支援する枠組みとして空間的にシステムレベルの情報を視覚化するシステムを提供 : Sesame
- 視覚化だけでなく、システムのセキュリティ設定を変更できるようにな制御手段も与える
- 実験によりそれが有望な選択肢(viable alternative)であることを示した.

以降、走り書き


◆ Introduction
- セキュリティツールやシステムからいろんな警告が出てくるが、それに対する対応は"Always", "This one time", "Never"などである.しかしユーザは何どうしたら良いか困惑し、そして取り返しのつかないことをしてあとで困らないかと悩んだりする.
- またユーザの判断を支援するためにツールから与えられているはずの情報は、高度に技術的だったり曖昧であったりして、かえってユーザを困惑させるばかりである.more infoで得られる情報も同様である.
- で、ユーザはどうしているかというと
- 1. ネット上で調査、掲示板などで質問する antionline.com, forumz.tomshardware.com
- 2. 単に無視する.傾向が出ないように設定してしまう [15,20] (この結果が何を招くかは自明であろう)

- エンドユーザのセキュリティ対策行為にはジレンマがある
- セキュリティ上の危険と自分がしたいこととのバランスをどう取るか? => 自動化は困難
- 対策をしなければいけないユーザのほとんどはSecurityに興味はない、そしてそういったユーザのセキュリティ対策を促進するはずの情報提供がかえってそれを困難にしている
- さらにほとんどのユーザはその判断をするのに必要な技術的情報を持っていない
- キーとする問題: ユーザはセキュリティ上の判断をしなければならないとして、どうしたら彼らのシステムに対する理解を支援でき、結果としてより良いセキュリティ対策における判断を導けるか?

- セキュリティに関する意思決定をユーザに知らせるシステムSesameでその改善を試みる
- firewallのようだが、視覚化と対話機能を有し、システムレベルの情報を理解しやすい方法で提示する => "behind the scene" viewの提供 (計算機内の仕組みを見せる化)
- このような情報を提供することでセキュリティに関する意思決定を知らせることができ、またそれらの情報に対するアクセス障壁を下げることで動機付けもできると推測する


◆ Related Work
- 2つのカテゴリ: expert user向けとnon expert user向け

◆ Experts
- Visualization tools: Rumint, IDS Rainstorm, VisAlert[7], 参考文献[1].とにかくexpert向け.またdesktop UIとも統合されていない
- text-based tools: 知識のあるユーザまたは管理者向け.ProcessExplorer, tcpview, windows task manager,
- systemレベルの情報を提供することは意思決定に対して有用.しかし個々のツールは個々の対象情報しか扱えず、その情報を理解するのは困難.また文字表現ゆえに、視覚的なメタファーのサポートもUIとの統合もできていない.

◆ Non-Experts
- expert向けは豊富なのに対し、end-user向けはまだ初期段階[4,18].2つのクラスに分けられる
- Tools for specific activities: 特定の行為に対する安全性だけを考えたツール.しかしシステムレベルの脅威のことは何も考えられていない.複数間のツールで不整合がおこる場合も....そのツールが全ての行為に対する全てのセキュリティ意思決定を支援しない限り、この手のツールは意味がない.
- Tools for specific threats: 特定の脅威に対するツール.アンチウィルス、アンチフィッシング、アンチスパイウェアなどなど.これらはblack listかheuristicな手法でなので、その方法で検知できないものには対処できず、また最新情報を随時取得しておかなければならない(ex. パターンファイルの更新).そしてこの種のツールが提示する警告が無視されるのは前述の通り

- Consumer firewallが、ユーザの判断を必要とするものでは最も普及したsecurity softwareだと思われる.しかし、これによって提供される情報はエンドユーザにとって解読不能.そして提示されるポップアップメッセージも、次に何をしたら良いかに対して有効な情報を提供しているとは言えない

- Sesameの目標はエンドユーザ向け、包括的なfirewall的securityツール.そしてユーザのセキュリティ対処を支援する.
- 特にエンドユーザが一連の正しい対応を決定する必要のあるような攻撃の対処に注力する.そういった状況には普遍的に正しいと言える対応があるわけではなく、securityとconvenienceのtrade-offがある.そしてシステム以外の状況に応じた対応も必要となる時がある.
- Sesameはsecurityに関するシステム情報を個々に提供するのではなく、全体的な視覚表現として提供し、エンドユーザでも理解できるようにする.そして既存のfirewall以上の多種多様な目的に対して使えるようsystem内部の情報を探求できる手段を提供する


◆ Design Process

◆ Representation Paradigm
- Sesameの主たる情報はセキュリティ上の意思決定に必要なシステム情報をユーザに解釈可能な形で提示すること
- 1). 重要だけどなじみのない抽象概念を、どうやってユーザになじみやすく意味の解釈しやすいものに関連づけするか
- 2). セキュリティに関するシステムの状態を変更できるようにする制御をどうやって与えるか?
- 空間配置、直接操作のインタフェースによる提案
-- すでにある知識の効果を利用.慣れ親しんでいるdesktop GUIの概念を応用する
-- 視覚表現の使用する理由はスピード.提示された情報の理解にかかる時間を最少化

◆ Information Content
- 全てのシステム情報は描ききれないし、その多くはこのシステムが対象とするセキュリティ問題に関係のない情報であろうと推測される
- よって全ての情報を描きだすのではなく、実際にアクセス可能で対象とするセキュリティ問題の解決に有用な情報のみを提示する
-- プロセスとその属性: プロセス, CPU usage, ベンダー名, インストール日時
-- Network属性: In and Outのnetwork接続
-- リモートシステム: ドメインから推定される所属組織と地理的位置
- 対象とする3つの脅威に対して、その同定と脅威の軽減が可能であろう
-- Spyware: 見知らぬサーバと接続する見知らぬプロセス
-- Bot infection: Spywareと同様.
-- phishing scam: webブラウザのnetwork接続を調べ、見ているアドレスと異なる接続が多数あるかどうかを検知
- ユーザが能動的にセキュリティの脅威を探索できるという点でfirewallとは異なる

◆ Formative Study
- 3人の被験者による事前評価.紙にプロトタイプを描いて評価させた
- 1) システム情報の具体的な表示と抽象的な表示のどちらを好むか
- 2) システム情報間の関係を理解できるか?
- 3) 技術的な概念に関する言葉を理解できるか?
-- 具体的な表現の方が好まれ、また説明なしにシステム情報間の関係を理解できていた

- この実験はユーザが何が理解できないかを知るのに有効だった
- Internet上のリモート計算機の表現がわかりにくかった => 地図に表示したらどうか?
- プロセスの配置にも再考
- エンドユーザはプロセスというよりエンジン'engine'とした方が理解しやすいという指摘も(もちろんtechnicalユーザには誤解を招く可能性がある)


◆ Sesame: Extending The Desktop

◆ Invocation - Getting 'behind-the-scenes'
- 既存のDesktop GUIの下にあるように見せる.Desktop GUとの統合、すなわち別に起動するアプリケーションと言う形ではなく、Desktop GUIの背景(下)にあり、システム情報を抽象化して提示するシステムとし、既存のGUIのパーツとSesameの提供する情報との関連を見せるられるようにするため.
- ボタンで既存のDesktop GUIとSesameによる情報提示モードを切り替えられるようにする.回転による画面遷移
- フルスクリーンによる視覚化.これは動作が重い、起動をためらわれる、他の作業をしている時は見えなくなるといった問題がある.また動機付けと効率という点でも議論の余地がある.賛否はあるが、現時点での問題はどうやって視覚表現を与えるかであり、またこの方法だと既存のDesktopとシステム情報の提示が概念的に切り分けられること、視覚化領域が広くなるというという点で利点がある.

◆ Division of Space
- 自分の計算機外の情報をどのように提示するか
- 一方を自分の計算機、他方を自分の計算機外の情報として明確に表示領域を分ける

◆ Visual Elements
- process, remote computer, networkの接続要求をどのように視覚化するか?
- プロセスを青色cubeで表示.Windowから起動されたプロセスは矢印でプロセスとWindowの関係を提示.
- Backgroundプロセスは画面下部に表示
- 画面右側は自分の計算機外の情報提示領域.リモート計算機を表示し、その接続状況を矢印で提示.外部からの接続要求に対してはallow, forbidのoptionがある
- 画面右下には'More info'があり、ユーザが特定のオブジェクトにfocusを当てるとその詳細情報が提示

◇ Process
- foreground processは大きめcubeで青色、background processは小さめで緑色
- 事前評価実験から、process typeの違いは明確に表示して欲しいとのこと.それを反映
- 多数の情報に圧倒されないように、以下のプロセスを表示対象に
- 1). ユーザが操作したWIndowから起動または関連するプロセス
- 2). network接続しているプロセス
- 3). 他のユーザやプロセスによって制御されていない、安全とわかっているプロセス
- process cubeにはプロセス名称、2つの四角は、小さい四角の色でベンダーが検証されているかを示す(緑が検証済み、黄色は未検証)、長い四角はインストールされてからの時間と現在と平均CPU usageを表示
- これらの情報からプロセスの異常性判断を支援
- hover, clickというアクションによりcubeが示すプロセスの詳細情報を知ることが可能(図2b,2c)
- processとwindow, processとremote computer間の関係: 矢印で情報の流れとその方向を示す (図3a, 3b)

◇ Remote Computers
- 画面右側にstack tileとして提示
- 遠隔の計算機であることを示すために地図による表記も実施
- hover actionによりsemantic zoom表示: 推定される位置や所属もあわせて表示(図4)

◇ Connection Requests
- in or outの接続要求があった時はそれを許可するかをユーザに問い合わせる機能がある
- 接続要求は2つの矢印で表示、接続要求をした側が実線の矢印となる(図5).直感的とは言いがたいが、まだ接続されていないという意味も示している
- 選択を促すための視覚的表現も適用: ボタン付近をflash、接続に関与しているプロセスの淵もflash
- 一度allow, forbid決定をすると、その後にpolicy設定も可能である.そのプロセスに関し常にallow, denyかまた今回だけかとか、どのremote domainにも接続を許すか、それとも特定ドメインのみ許可するかなどを決定することができる.決定された情報はprocess cube内に保存され、後でいつでも閲覧することができる.


◆ Usage Scenarios
- どう使われるかを2つのシナリオで説明

- Scenario 1: "この接続は許可すべき?"
ビデオの埋め込まれたWebページを見ていて、そのビデオを見るためplayボタンを押した.そしたらリモート計算機から自分の計算機に接続要求があるというダイアログが現れた.ユーザはどのダイアログをclickしSesameを起動.リモート計算機から接続要求を受けているプロセスを見る.それはWebブラウザが起動しているプロセスと同じものだった.playボタンを押したのとダイアログボックスの出現がほぼ同時だったことから、ユーザはその接続がビデオ再生に必要なものであると判断.ビデオを見るためにリモート接続を許可しなければいけないのかまだ判断できなかったため、リモート計算機の情報を見る.そうしたらそのリモート計算機の所属組織はWebサイトの組織と関連する組織であった.このことから信用できると判断し、ユーザは接続許可ボタンを押した.しかしユーザはその組織からのどんな接続も許可できるとは思わなかったため、この接続判断を今回限りのものとした.接続を示す黄色の矢印が実線表示になり、Sesameを終了してDesktopに戻った.そうしたらVideoは期待通りに再生されていた.

- Scenario 2: "Is this a phishing site?"
ユーザは銀行に関連するというWebサイトに飛ばされ、個人情報の入力を促された.ユーザはあやしいと感じ、Sesameを起動.Webブラウザのwindowに関連するプロセスを見たところ、1つのリモート接続が見つかった.そのリモート計算機の地理的位置を見ると妥当だとは思えない位置であった.またそのリモート計算機の所有者も銀行とは関係のないものであった.まだわからないので、リモート計算機の詳細情報を見た.そうしたら見知らぬドメインとなっており、その設置場所も関与があるとは思えない国であった.これらの結果からユーザはこれが銀行に関係のあるサイトではないと判断し、何もせずにWebブラウザを閉じた.そして銀行にその旨を電話した


◆ Implementation
- C++で実装、Windows XP上で動作.論文中の画面snapshotは、実際に動作しているシステムの画像である.
- GDI, GDI+で実装.評価実験データを収集するためのhookも実装
- process listを収集, network connectionを横取りするためにオープンソースのfirewallを利用、reverse-DNSとWHOISを情報収集のために利用.またベンダー検証の仕組みは完全に実装できてはいない.


◆ User Study
- 評価実験: Sesameによる視覚化を使うことでどの程度潜在的なセキュリティ問題を判断できるか?
- 主たる興味: Sesameにより提供される概念がセキュリティに関する意思決定においてどれほど貢献できるか?
- ZoneAlerm vs. Sesameの評価
- 被験者に質問: 様々な視覚的表現に関するものとなぜそのような意思決定をしたか? (UIの効率性やそれがSecurity対策に対して動機付けを与えることができたかについては調査対象としない).気になるのはセキュリティ問題に対する意思決定のqualityが向上したかどうかである


◇ Participants
- campus内で募集した20人(男性11、女性9)、全員が大学生、計算機系の学生も、計算機に関して詳しい人もいなかった
- セキュリティ対策に対しては素人さんばかり.Sesameが対象とするend-userとして適切
- 2つのグループに分けた

◇ Security Tasks
- 4つのfirewall設定に関する意思決定、その後2つのwebsiteの信憑性に関する判断

- T1: video playerをclickした後にMicrosoft.comからの接続があった時それを許可するか?
- T2: loadsys.exe(Spyware)から外部に向かった接続要求を許可するか?
- T3: intmonp.exe(Bot)に対して外部のサーバからの接続要求を許可するか?
- T4: outlook.exeから外部に向けた接続要求を許可するか?
- T5: "Mid America Bank"と言っているWebサイトをphishing siteと判断するか?
- T6: "CitiBank"と言っているWebサイトをphishing siteと判断するか?

- T5とT6は意図的に似た問題となっている.false positive, false negativeの試験にもなると仮定
- またユーザの行為によるもの(T1,T5,T6)とよらないもの(T2,T3,T4)とのバランスにも配慮

- control environmentとexperimental environment
- control environment: ZoneAlarmがinstallされた計算機.典型的なエンドユーザの計算機を想定.ZoneAlarmを改造し、Sesameと同様、接続要求があるとダイアログが出現するようにした
- experimental environment: Sesameがinstallされた計算機.事前に90秒ほどシステムをいじる時間を与えた.が、視覚的表現については特に説明はしなかった.単にvisual objectをmouse hoverしたりclickするといろんな情報が見られるよという説明をした.

◇ Study Details
- 実験では思ったことを口にしてもらうようにした.実験中はそれを録音
- 各被験者に対し、計算機とセキュリティに対する背景知識について質問した
- phishingについてはその概念を簡単に説明した
- Sesameの視覚表現に関する質問は回答しなかった: 視覚表現がどの程度理解されるかを評価するため
- 実験後にinterview実施.被験者の意思決定に関する明確さ、行った決定とツールにより得られた情報との関係
- security toolの改善に関する提案についても聞き取り


◆ Results
- 収集した情報
- 1) background情報
- 2) 6つのタスクにおける誤り率
- 3) システムが提供した情報の理解に関する質問への回答

◇ Participant security background
- control groupもexperimental groupのどちらの被験者もbackgroundには大きな差はなし
- なんのSecurity toolも使用していないユーザは、どちらのグループでも2人(of 10人)づついた
- 警告に応じてなんらかのupdateをする以外に何かsecurity対策をしたというユーザはいなかった
- 被験者全員が9-10年の計算機使用歴であるにもかかわらず、processやnetwork connectionの概念を理解できていなかった

◇ Security task miss-rate
- 一人ほど例外的に66%のmiss-rateをした人がいた.その被験者はMacintoshユーザでWindowsの操作に慣れていない影響があると想定
- 値的にはSesameの方がmiss-rateが低くなった.が、統計的に有為な差は見られなかった
- 各タスク別の成功率(図6)

◇ Information Comprehension
- ZoneAlarm: ツールが提供する情報を意思決定にどう使ったら良いかがわからなかった
- ZoneAlarmでは被験者10人中7人が以下の戦略に基づき意思決定をしたと述べた
-- 7人中5人がすべての問いにallow またはdenyと回答
-- 残りの2人はプロセス名を基準に意思決定をしたと回答
- More infoボタンは完全に無視されていた
- Sesameの方はZoneAlarmより良い結果となった
- 意思決定をするのに事前に戦略を決めていた被験者はいなかった
- ZoneAlarmがプロセス名だけが判断材料だったのに対し、Sesameではプロセスやリモート計算機の情報を見て判断していたと思われる
- リモートシステムの地理表示が有用だという被験者が5人いた
- 表示の概念的な理解に関する調査
-- 10人中8人がcubeが表現するforeground processとbackground processの違いを理解
-- しかし、2人しかその目的を理解していなかった
- リモート計算機についてはよく理解されていた: 8人がその意味を認識し、8人が矢印によるリモート計算機とプロセスの接続の意味を理解していた.また10人中8人が計算機の内部と外部の概念が意図した通りに理解されていた.


◆ Discussion and Future Work
- SesameのUIはセキュリティに関する意思決定を支援できた.しかも特に説明なしで表現が理解されたというのは特筆に値する.また自分の計算機内と外の表示はよく理解されていた.novice userがシステム情報を理解しやすい視覚化表現と概念を提供できていると言える.
- より大規模な被験者による検証も必要
- UIにおける問題点の指摘も有用な結果であった.被験者にとって困難だったのは因果関係の推測であった.被験者が行った行動がSesameからのダイアログ出現を引き起こしたということの理解が困難であった.また被験者は計算機のソフトウェア環境が独立したエージェントの集合によって成り立っているという概念の理解が難しいと言うことがわかった.Sesameの次期バージョンではプロセスのagent-causalをよりうまく提示できるようなメタファーを使うことが望まれる

- 全体論としてSesameの機能を評価してきたが、この実験から他のシステムにも適用可能な一般化できる設計指針がある.
- direct manipulation: Desktopを回転させることで、その下に隠されたシステム情報があるという概念を提示する方法はnon expert userにその概念を馴染みやすい方法で提示する方法として有効と考える
- policy cards: 一貫した視覚的表示を提供し、簡単にその設定値を見ることができるとともに、将来にわたってアクセスできる手段を提供.一貫した視覚的提示はシステムの状態を容易に理解させ、またアクセスさせるのに有効であると考える
- 3D model: デスクトップの下にそういう概念があるということをわからせるのに有効(?).他のUIでも有効であろう.
- 低レベルでの直接操作の有用性: 2.5DのUIによるDesktopの拡張.


◆ Conclusion
- Sesame: end-user向けにsecurity問題を対処可能にするための直接操作可能なgraphical interfaceの提案
- 既存のシステムは: タスクまたは脅威に特化したものか、文字による情報提示、もしくはexpert向け.
- non expert userがsecurity問題に対する意思決定をするためにシステムや専門情報の理解を支援するようなシステムはほとんどないに等しい
- というわけで、non-expert向けに一般的なfirewallに似たツールを提供.これはタスクやアプリケーションに依存しない広範なsecurity問題を対象としたツール

- すでにdesktop環境で馴染んでいる概念や地図による位置表示をシステムレベルの情報の表現に応用することでnon expert向けの情報提供を可能に
- 実験によって既存のツールよりもシステム情報の理解が進んだことを示した


■ 興味の湧いた参考文献
1,4,7,17,18

Posted by z at 02:29 AM