Command Line or Pretty Lines? Comparing Textual and Visual Interface for Intrusion Detection
Ramona Su Thompson, Esa M. Rantanen, William Yurcik, Brian P. Bailey
Human Factors in Computing Systems(CHI2007), pp.1205 - 1214
ACM Digital Library
IDSの解析のためのインタフェースは、コマンドラインによるツールと情報視覚化によるツールのどちらがよいかをユーザ評価により検証した．その結果、現時点ではコマンドラインツールの方が好まれるという結果となったが、今後は、この双方が融合されたインタフェースが必要になるであろう．という論文
以下は論文内容のメモ書き
- Incident Analysis or Intrusion Detection作業は、次の4作業に分割
1. プリプロセス
2. ネットワークの監視
3. 攻撃の解析
4. 発見された攻撃への対応
- いまだもって専門家の知識とスキルに高度に依存した作業
- Visual Interfaceが提案され始めている
- Visual Interfaceがよいのか、それとTextual Interfaceとの比較がない
- 被験者による評価実験が行われていない．だから実施した
-- 結果としては、Textual Interfaceの方がよい結果(好まれる)という結果になった
- が、今後はVisual+Textual Interfaceが望ましいと考える
■ User Study
- ユーザ評価をした
- 2種類のInterfaceで比較
-- Textual Interface (Command-line interface)
-- Visual Interface (VisflowConnect)
- Netflowのデータを解析
- 対象データにはP2Pのログ、portscan、そして攻撃なしのデータを利用した
- 12(students)+2(expert)の合計14人の被験者 (年齢は18-over 40)
○ Time on Task
Textual Intefaceの方がVisual Interfaceよりも早かった
○ Total Number of Commands used
Visual Interfaceの方がTextual Interfaceよりもコマンド発行回数は多い
Textual Interfaceの方は柔軟にデータの絞りこみができるが、Visual Interfaceの方は>
そうはいかなかった
○ Accuracy
1. 攻撃があったことを認識できるか?
2. その攻撃の種別を判定できるか? の二点で測定
◎ General Identification if an Attack occurred
攻撃の認識に関しては、VisualもTextualも同様で差はなかった
◎ Specific Identification of the Attack
Textual Interfaceの方が優位
- 詳細まで調べられれば判定ができるが、Visual Interfaceでは推測までしかできない
○ Confidence
Textual interfaceの方が判定に確信が持てる．
詳細まで調べられるほど、その判定に確信を持てるようになるから
○ Discovery of Other Problems
Visual Interfaceの方が優位．気づくきっかけを与えられる
○ Rating of Preference
- Visual Interfaceを褒めるものの、どちらかというとTextual Interfaceを好む
- いろんな理由で双方のInterfaceを好んでいるが、現状ではTextual Interfaceを好むと
いう人の方が優位
■ Discussion
- インタフェースの様式(modality)は、ユーザの情報処理能力に影響する
-- どちらのインタフェースでも異常な振る舞いの存在には気づくが、Visual
インタフェースの詳細情報へのアクセス不能性は、攻撃の種類の判定を困難にし
結果として結果への確信度やユーザの好みに影響を与えることとなる
- パターンの認識(networkの正常利用の状況)などはVisual Interfaceでないと
認識不可能．Textual Interfaceでは認識が困難な異常を認識可能
■ Strengths and Weaknesses of each Interface
□ Textual Interface
○ 長所
- 詳細情報を直接アクセスできる
- 強力なフィルタリング機能により、データの見方を制御/カスタマイズできる
○ 短所
- 異常をしめすパターンの検知は困難
- コマンドの利用法を体得しなければならない
□ Visual Interface
○ 長所
- 概観がわかり、平時の状況が把握しやすい
=>異常時との見分けがつきやすい
- 目立つ(異常?)部分が見分けやすい
- 未知の攻撃発見を可能にする
- 簡単に使える
○ 短所
- 詳細が不明/詳細情報にたどり着くまでが面倒
- 対話処理に柔軟性がない/特定の方法を押しつける
- 認識の困難なある種の攻撃は視覚的表現では検知できない
■ A Hybrid Interface: Combining the Textual and Visual
効果的なインタフェース => これら二つの融合
初心者にも経験者にもメリットのあるIDS用インタフェースに
■ Conclusions
我々の貢献は、以下の3つである
1. 2つのインタフェースによるIDS作業のユーザ評価を行った
2. それぞれのインタフェースの利点/欠点を明らかにした
3. 今後望まれるインタフェースの要件を明らかにした