山田 明

機械学習は，さまざまな課題においてデータに基づいてモデル構築を実現しているが，サイバー攻撃検知において正確なラベルが付与されないため高い精度を実現できない問題がある．本稿では，不確実なデータラベルを前提とした機械学習によるサイバー攻撃検知のための誤ラベル訂正手法を提案する．従来手法であるConfident Learningは，画像分類など汎用的なタスクにおいてクラスの組ごとに独立に誤ラベルが発生する場合に対応できる．しかしながら，サイバー攻撃検知においては，正例と負例の均衡がとれていない場合が多い．また，インシデントに基づいて運用者がラベル付けを行うため，時刻がずれることによって発生する誤ラベルが多い．本稿では，Confident Learningを拡張して，データセットの不均衡性と時刻のずれに対して頑強な誤ラベル訂正手法を提案する．提案手法の有効性を検証するために，公開されているCICIDS2017データセットおよび，企業ネットワークに設置された侵入検知システムのログを用いて評価した．その結果，提案手法は，従来手法に比べて高い精度で誤ラベルを訂正できることが分かった．また，侵入検知システムのログにおいて，ラベル時刻のずれを訂正できることを確認した． Machine learning has enabled model development based on data across various domains. However, in cyber-attack detection, the lack of accurate labels hinders high accuracy. This paper proposes a method for correcting mislabeled data in cyber-attack detection using machine learning, assuming uncertain data labels. Confident Learning, a conventional method, can handle situations where label errors occur independently within each class in general tasks such as image classification. However, in cyber-attack detection, there is often a significant imbalance between positive and negative labels. Additionally, since labels are assigned by operators based on incidents, mislabeling regarding time discrepancies frequently occurs. This paper proposes an extension of Confident Learning that provides a robust method for correcting mislabeled data, addressing both dataset imbalance and time discrepancies. To validate the effectiveness of the proposed method, we evaluated it using the publicly available CICIDS2017 dataset and logs from an IDS(Intrusion Detection System) deployed in an enterprise network. The results demonstrate that the proposed method can correct mislabeled data with higher accuracy compared to conventional methods. Furthermore, we confirmed that the method can correct time discrepancies in the labels within the IDS logs.

フィッシングのようなサイバー攻撃では，ユーザ自身による対策が求められる．セキュリティ教育において，フィッシングの場合は，攻撃の特徴を記憶し，それらとWebサイトを比較することによって攻撃を判断するように教育される．しかし，日々進化するサイバー攻撃への対策として，新しい攻撃手法を学び直し続けることはユーザの大きな負担となる．本稿では，大規模言語モデル（LLM：Large Largeage Models）によるセキュリティ対策における視覚的認知メカニズムのモデル化に向けた分析方式を提案する．近年，LLMは，人間のフィードバックによるファインチューニングによって因果推論タスクが可能になってきている．しかし，LLMは，言語によって記述されていないタスクの取り扱いが難しい．そこで，提案方式は，視覚的認知の情報を言語化することによって，LLMによる視覚的認知メカニズムのモデル化を目指す．提案方式の有効性を検証するために，フィッシングサイトと正規サイトをそれぞれ110件用いて評価を行った．その結果，大規模言語モデルと視覚情報だけを用いて，適合率98.2\%，再現率83.7\%の精度でフィッシングサイトを検知できた．さらに，フィッシング対策の文書をLLMに与えて判定過程を観察することによって，人間の認知メカニズムとLLMの振る舞いの関連性を調査した．また，フィッシング判定以外の複数のセキュリティ判定タスクに対するLLMの有効性を明らかにした．今後は，ユーザを狙うさまざまなサイバー攻撃に本手法を拡大して，視覚的認知メカニズムをモデル化することによってセキュリティ対策および教育への応用を検討する． Cyber attacks such as phishing require users to take their own countermeasures. In security education, in the case of phishing, users are taught to memorize the characteristics of the attack and to judge the attack by comparing the attack with the website. However, it is a heavy burden for users to keep learning and relearning new attack methods to counter cyber attacks that are evolving day by day. In this paper, we propose an analysis method for modeling visual cognitive mechanisms in security countermeasures using large language model. Recently, large language model have become capable of performing causal inference tasks through fine tuning with human feedback. However, large language model have difficulty in handling tasks that are not described by language. Therefore, the proposed method aims at modeling visual cognition mechanisms using language model by converting visual cognition information into language. To verify the effectiveness of the proposed method, we conducted an evaluation using 110 phishing sites and legitimate sites, respectively. The results showed that the proposed method was able to detect phishing sites with an accuracy of 98.2\% and 83.7\% using only a large language model and visual information.Furthermore, we investigated the relevance to human cognitive mechanisms by qualitatively comparing the phishing decision process with a large language model given an anti-phishing document. We also clarified the effectiveness of the model in phishing attacks other than phishing sites. In the future, we will apply the model to security attacks other than phishing to realize security countermeasures and education based on cognitive mechanisms.

セキュリティ設定に不備のある IoT 機器やマルウェア感染した機器をネットワーク観測によって発見し，当該機器のユーザに対して対策のための通知や情報提供を行う活動の重要性が高まっている．広く実施されている ISP による注意喚起を補完するセキュリティ通知手法として，我々はユーザ端末にインストールされた専用アプリケーションを通じて注意喚起を行うモデルに着目し，その実現例としてユーザ参加型のセキュリティプロジェクトである WarpDrive における通知実験とその効果測定方法を検討してきた．本報告では，1000 人規模の WarpDrive アクティブユーザのうち，サイバー攻撃を受ける可能性があるポートの開放とネットワークサービスの公開を継続的に行っている 60 人に対して実際に通知実験を行った結果を示す．実験の結果，通知したユーザの28 人 (47%) から反応が得られ，通知していない時と比べて 3 倍以上のポート開放状況の改善が見られた. また，通知時のアンケートでは，注意喚起対象ユーザのネットワーク環境は 20 人 (74%) が自宅，6 人 (22%) が勤務先，1 人 (4%) が外出先との回答が得られた. さらに，自宅からインターネット接続するユーザ 20 人のうち，半数の 10 人はポート開放とサービス公開は意図的でないと回答した．これらの結果は今後，エンドユーザへの効果的な注意喚起を検討する上での重要な知見といえる． The activities to notify users of IoT devices with inadequate security settings and/or malwareinfection have become increasingly important. As a complement to the widely conducted notifications by ISPs, we have considered a notification channel in which users are notified via dedicated application installed on their PC or mobile devices. We have prepared a notification experiment using a security client distributed by a security project, WarpDrive. This paper reports the results of the actual notification experiment, in which we sent out notifications to WarpDrive users on possibly insecure network services that might become a target of cyber attacks. Among around 1000 active users, we identified 60 users who continuously have their ports open and expose their network services to the Internet. As a result of the experiment, 28(47%) of the notified users visited our notification page, and 25% of them remediated their situation by closing the ports, which is 3 times as many as the natural remediation. In the questionnaires to the notified users, 20(74%) of them said they connected their devices at home, 6(22%) at work, and 1(4%) elsewhere. Also, of the 20 users who connected their device at home, 10 of them answered that exposing the network service was not intentional. We believe these results can serve as a basis for improving security notifications to end users.

健康診断やウェアラブルデバイスから取得したヘルスケアデータは生活習慣病の予測などに活用できる有益なビッグデータである．個人情報取扱事業者は，規則に従った適切な匿名加工に加えて，各種分析の精度を劣化させない最適な加工をすることが求められている．そこで，米国疾病対策予防センター CDC が収集した米国国民健康栄養調査（National Health and Nutrition Examination Survey: NHANES）データを用いて，年齢，学歴，BMI，運動量などの説明変数に対する糖尿病の罹患リスクを正しく評価するための匿名化技術と再識別リスクを探求するコンテストを企画する． Big data from healthcare devices and medical examination are very useful for epidemiologic study predicting a risk of diseases given lifestyle factors. Before sharing de-identified healthcare data, personal data business entities are required to perform the appropriate anonymization algorithm so that it preserves data accuracy and is approved by regulations. In this paper, we design a competition of data anonymization of healthcare data, the National Health and Nutrition Examination Survey, conducted by the National Center for Health Statistics, Centers for Disease Control and Prevention (CDC). The goal of participants is to anonymize the healthcare data to be used to quantify the prevalence of diabetes given demographic characteristics including age, educational level, body mass index, physical activity.

今年のPWSCUPは、サンプリングされたデータに誰が含まれるか推定する「メンバシップ推定」をテーマに、匿名化と攻撃の技術を競う。<br>本稿では、PWSCUP2020のルール説明や、ルール設計・プレ実験を通じて得られた知見について報告する。

2017 年5 月に改正個人情報保護法が施行され，パーソナルデータは匿名加工情報に加工することで，本人の同意なしに第三者提供ができるようになった．一方，標準的な匿名加工の方法が定まっておらず，パーソナルデータの利活用に向けて，優れた匿名加工の方法を明確にすることが重要課題となっている．我々はこの課題を解決するため，匿名加工データの有用性と安全性を競い合うコンテストを毎年実施している．これまでに，疑似ミクロデータ（全国消費実態調査）や購買履歴の匿名加工を対象としたが，本年度は「位置情報」の匿名加工を対象とする．本稿ではその内容を説明する． The amended act on the protection of personal information, which has been enforced since May 2017, states that personal data can be provided to a third party without users' consent if the data are anonymized as "anonymously processed information." However, anonymization methods are not clear, and hence we annually hold PWS Cup to clarify secure and appropriate anonymization methods. This year, we focus on location data, and hold location data anonymization competition. This paper describes its contents.

2017年5月から本施行された改正個人情報保護法により，本人同意不要な第三者提供を可能とする匿名加工情報の利用が始まった．しかしながら，匿名加工情報の再識別リスクについては，それほど自明ではなく，標準的な評価手法は定まっていない．そこで，我々は共通のデータセットを用いて匿名加工を行い，加工されたデータの再識別の性能を競うコンテストを企画し，有用性が高く安全な匿名加工情報の技術開発を試みる．本稿では，このコンテストの基本定義，有用性の評価方法，安全性を定量的に定めるためのサンプルとなる再識別アルゴリズムなどについて述べる． On May 30, 2017, the amended Act on the Protection of Personal Information has been enforced fully in Japan.Hence, business parties are required the long-term history to be divided into small datasets so that identification to individual is impossible. To access the risk to be compromised accurately, the data needs to balance the utility and the security. We propose a new competition for best anonymization and re-identification algorithm. Our dataset consists of a customer dataset and a transaction dataset and these datasets are linked with pseudonyms, assigned for each customer identities. The paper addresses the aim of the competition, the target dataset, sample algorithms, utility and security metrics.

著者らは,ユーザによる Web サイトの閲覧と同時に取得される Web アクセスログをもとに Web を監視して,Drive-by Download 攻撃サイトを検出・通報するフレームワーク FCDBD(Framework for Countering Drive-By Download) を提案している.著者らは,FCDBD 上で Drive-by Download 攻撃における Landing サイトを検出する手法として,Web ページから <iframe> タグなどで自動的に遷移する遷移先サイトの変化に着目して,改ざんにより Landing サイトとなった Web ページを検出する手法を提案した.しかし,正規サイトにおいても主に広告サイト,トラヒック解析サイトなどで JavaScript などを用いて遷移先サイトを動的に変化させているサイトが多く存在しており,本来観測したい改ざんによる変化のみを抽出するのは困難である.本稿では,Web サイトのリンク構造の分析結果にもとづいて本手法のさらなる改良を提案する.

NDSS(Network and Distributed System Security Symposium) は,ネットワーク及び分散システムのセキュリティのトップカンファレンスであり,毎年サンディエゴにて開催される.この度 2014 年 2 月に開催された NDSS2014 に参加した.今回の傾向として,併催ワークショップ SENT(Security of Emerging Networking Technologies)2014 も合わせた全 63 件 (各々 55 件及び 8 件) の発表中,サイバー攻撃関連が 20 件で 3 割程度,またモバイルセキュリティが 14 件で 2 割程度と多かった.本稿では,サイバー攻撃関連,モバイルセキュリティに加え,興味深く聴講した発表の内容についてその概要を報告する.

NDSS(Network and Distributed System Security Symposium)は,ネットワーク及び分散システムのセキュリティのトップカンファレンスであり,毎年サンディエゴにて開催される.この度2014年2月に開催されたNDSS2014に参加した.今回の傾向として,併催ワークショップSENT(Security of Emerging Networking Technologies)2014も合わせた全63件(各々55件及び8件)の発表中,サイバー攻撃関連が20件で3割程度,またモバイルセキュリティが14件で2割程度と多かった.本稿では,サイバー攻撃関連,モバイルセキュリティに加え,興味深く聴講した発表の内容についてその概要を報告する.

DoS攻撃がネットワークに与える影響は,攻撃トラフィック量に加えネットワーク内のルータのパケット処理能力やリンク容量に依存している.しかし,ISP等の事業者において用いているコアルータ監視型のDoS攻撃検知手法では,ネットワーク内のDoS攻撃が生じた場合に大きな影響が想定されるルータやリンクを全て把握することが難しく,DoS攻撃による影響の大きさを推定することが難しい.そこで本稿では,ネットワークのトポロジ解析を行い,ルータ配下に存在するホスト数を解析することによりエッジルータのパケット処理能力及び上流直近のリンク容量の推定を行う方式を提案し,事前にDoS攻撃に対する影響予測を行う仕組みを実現する.

Webトラッキングサイト・Webバグとは,Webページに小さな画像を埋め込むことによって閲覧者のアクセス先に関する情報を収集する方法である.企業組織では,従業員のWebアクセスによって内部情報が流出する危険性があるため問題となっている.これまで,HTMLに含まれる画像のサイズやURLを解析することによって,Webバグを検知する方式が提案されてきた.しかし,近年のWebの発展に伴い,従来方式による検知が困難なサイトが増加している.本稿では,タイミングを考慮したリンク解析によるWebトラッキングサイト検知方式を提案する.提案方式は,LAN内の通信におけるユーザのWebサイト閲覧を解析して,タイミングを考慮したページ間のリンク関係を表すグラフを作成する.そして機械学習を利用することによってトラッキングサイトを検知する.企業LANにおける3ヶ月の通信を用いた評価の結果,提案方式にトラッキングサイトとして検知されたサイトの62-73%が既存のブラックリストに登録されており,残りの96%が登録されていない未知のサイトと疑わしいサイトであることを確認した.

近年,増え続けるスパムブログが問題となっている.スパムブログを作成する主な目的の1つとしてアフィリエイト収入を得ることが挙げられる.そこで本稿ではブログに含まれるアフィリエイトに着目する.ブログからのアフィリエイトサイトへのリンク数,利用しているアフィリエイトプログラムの種別からスパムブログを判定する方式について検討する.収集したブログに対する調査を通じて本方式の有効性を確認する.

メールやWebなど様々なプロトコルにおける名前解決の基盤としてDomain Name System (DNS)が利用されている.そこで,DNS監視によって,それらのプロトコルにおけるクライアントの振る舞いを監視できる可能性が示されている.これまで提案されてきた方式は,企業LAN規模のようなクライアント数の少ないネットワークを監視する方式であり,ISPのようなクライアント数の多いネットワークへの適用が困難である.本稿では,クライアント数が多いネットワークにおいても,異常なクライアントを検知する方式を提案する.提案方式は,障害の原因となりやすい流量の多いクライアントのみを選別して判定処理を行うことによって,対象クライアントを個別に監視するのに要する総計算量や総記憶量を削減できる.実DNSサーバの6ヶ月間の通信による評価から,スパムメール送受信などの異常を検知できることを示す.

金融サイトを模倣してIDやパスワードを詐取するフィッシングサイトが問題となっている.これらのサイトは,模倣元サイトを参考にして作成されるため,ブラウザ表示の際の視覚的特徴が類似している.そこで,ブラウザによる表示を利用した悪意のあるサイト検知方式を提案する.提案方式は,ブラウザがサイトをレンダリングした表示画像を取得し,画像間の類似度に基づいてフィッシングサイトを検知する.提案方式の有効性を確認するため,実際のフィッシングサイトを収集して,サイト同士が類似していることを確かめ,提案方式の検知率を確認した.その結果,提案方式によってフィッシングサイトの92%を検知できることを確認した.