研究者業績
基本情報
- 所属
- 藤田医科大学 医学部 医学科 教授株式会社国際電気通信基礎技術研究所 脳情報通信総合研究所 客員研究員奈良先端科学技術大学院大学 先端科学技術研究科情報科学領域 客員教授
- 学位
- 博士(工学)(2002年9月 奈良先端科学技術大学院大学)
- J-GLOBAL ID
- 200901094345074980
- researchmap会員ID
- 1000301373
研究キーワード
7研究分野
5主要な経歴
11-
2022年1月 - 現在
-
2018年4月 - 2021年12月
-
2015年8月 - 2018年3月
-
2011年11月 - 2015年7月
-
2010年4月 - 2011年10月
-
2005年9月 - 2010年3月
-
2004年4月 - 2005年8月
-
2002年10月 - 2004年3月
学歴
2-
1998年4月 - 2002年9月
-
1994年4月 - 1998年3月
委員歴
28-
2025年4月 - 現在
-
2025年4月 - 現在
-
2025年3月 - 現在
-
2023年4月 - 現在
受賞
7-
2019年6月
-
2017年6月
主要な論文
92-
Frontiers in Molecular Neuroscience 17 2024年4月2日 査読有り最終著者責任著者Protein phosphorylation, a key regulator of cellular processes, plays a central role in brain function and is implicated in neurological disorders. Information on protein phosphorylation is expected to be a clue for understanding various neuropsychiatric disorders and developing therapeutic strategies. Nonetheless, existing databases lack a specific focus on phosphorylation events in the brain, which are crucial for investigating the downstream pathway regulated by neurotransmitters. To overcome the gap, we have developed a web-based database named “Kinase-Associated Neural PHOspho-Signaling (KANPHOS).” This paper presents the design concept, detailed features, and a series of improvements for KANPHOS. KANPHOS is designed to support data-driven research by fulfilling three key objectives: (1) enabling the search for protein kinases and their substrates related to extracellular signals or diseases; (2) facilitating a consolidated search for information encompassing phosphorylated substrate genes, proteins, mutant mice, diseases, and more; and (3) offering integrated functionalities to support pathway and network analysis. KANPHOS is also equipped with API functionality to interact with external databases and analysis tools, enhancing its utility in data-driven investigations. Those key features represent a critical step toward unraveling the complex landscape of protein phosphorylation in the brain, with implications for elucidating the molecular mechanisms underlying neurological disorders. KANPHOS is freely accessible to all researchers at https://kanphos.jp.
-
Neural mechanisms underlying uninstructed orofacial movements during reward-based learning behaviorsCurrent Biology 2023年8月 査読有り責任著者
-
Frontiers in Psychiatry 14 2023年6月27日 査読有り最終著者責任著者Background Phenotyping analysis that includes time course is useful for understanding the mechanisms and clinical management of postoperative delirium. However, postoperative delirium has not been fully phenotyped. Hypothesis-free categorization of heterogeneous symptoms may be useful for understanding the mechanisms underlying delirium, although evidence is currently lacking. Therefore, we aimed to explore the phenotypes of postoperative delirium following invasive cancer surgery using a data-driven approach with minimal prior knowledge. Methods We recruited patients who underwent elective invasive cancer resection. After surgery, participants completed 5 consecutive days of delirium assessments using the Delirium Rating Scale-Revised-98 (DRS-R-98) severity scale. We categorized 65 (13 questionnaire items/day × 5 days) dimensional DRS-R-98 scores using unsupervised machine learning (K-means clustering) to derive a small set of grouped features representing distinct symptoms across all participants. We then reapplied K-means clustering to this set of grouped features to delineate multiple clusters of delirium symptoms. Results Participants were 286 patients, of whom 91 developed delirium defined according to Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition, criteria. Following the first K-means clustering, we derived four grouped symptom features: (1) mixed motor, (2) cognitive and higher-order thinking domain with perceptual disturbance and thought content abnormalities, (3) acute and temporal response, and (4) sleep–wake cycle disturbance. Subsequent K-means clustering permitted classification of participants into seven subgroups: (i) cognitive and higher-order thinking domain dominant delirium, (ii) prolonged delirium, (iii) acute and brief delirium, (iv) subsyndromal delirium-enriched, (v) subsyndromal delirium-enriched with insomnia, (vi) insomnia, and (vii) fit. Conclusion We found that patients who have undergone invasive cancer resection can be delineated using unsupervised machine learning into three delirium clusters, two subsyndromal delirium clusters, and an insomnia cluster. Validation of clusters and research into the pathophysiology underlying each cluster will help to elucidate the mechanisms of postoperative delirium after invasive cancer surgery.
-
Neural Networks 163 327-340 2023年6月 査読有り最終著者
-
Nature Communications 12(1) 2021年12月 査読有り<title>Abstract</title>Scintillators emit visible luminescence when irradiated with X-rays. Given the unlimited tissue penetration of X-rays, the employment of scintillators could enable remote optogenetic control of neural functions at any depth of the brain. Here we show that a yellow-emitting inorganic scintillator, Ce-doped Gd3(Al,Ga)5O12 (Ce:GAGG), can effectively activate red-shifted excitatory and inhibitory opsins, ChRmine and GtACR1, respectively. Using injectable Ce:GAGG microparticles, we successfully activated and inhibited midbrain dopamine neurons in freely moving mice by X-ray irradiation, producing bidirectional modulation of place preference behavior. Ce:GAGG microparticles are non-cytotoxic and biocompatible, allowing for chronic implantation. Pulsed X-ray irradiation at a clinical dose level is sufficient to elicit behavioral changes without reducing the number of radiosensitive cells in the brain and bone marrow. Thus, scintillator-mediated optogenetics enables minimally invasive, wireless control of cellular functions at any tissue depth in living animals, expanding X-ray applications to functional studies of biology and medicine.
-
Frontiers in Psychiatry 12 780997-780997 2021年11月25日 査読有り最終著者責任著者Our current understanding of melancholic depression is shaped by its position in the depression spectrum. The lack of consensus on how it should be treated—whether as a subtype of depression, or as a distinct disorder altogethe—interferes with the recovery of suffering patients. In this study, we analyzed brain state energy landscape models of melancholic depression, in contrast to healthy and non-melancholic energy landscapes. Our analyses showed significant group differences on basin energy, basin frequency, and transition dynamics in several functional brain networks such as basal ganglia, dorsal default mode, and left executive control networks. Furthermore, we found evidences suggesting the connection between energy landscape characteristics (basin characteristics) and depressive symptom scores (BDI-II and SHAPS). These results indicate that melancholic depression is distinguishable from its non-melancholic counterpart, not only in terms of depression severity, but also in brain dynamics.
-
NeuroImage 118733-118733 2021年11月 査読有り最終著者責任著者<title>Abstract</title>Neurofeedback (NF) aptitude, which refers to an individual’s ability to change its brain activity through NF training, has been reported to vary significantly from person to person. The prediction of individual NF aptitudes is critical in clinical NF applications. In the present study, we extracted the resting-state functional brain connectivity (FC) markers of NF aptitude independent of NF-targeting brain regions. We combined the data in fMRI-NF studies targeting four different brain regions at two independent sites (obtained from 59 healthy adults and six patients with major depressive disorder) to collect the resting-state fMRI data associated with aptitude scores in subsequent fMRI-NF training. We then trained the regression models to predict the individual NF aptitude scores from the resting-state fMRI data using a discovery dataset from one site and identified six resting-state FCs that predicted NF aptitude. Next we validated the prediction model using independent test data from another site. The result showed that the posterior cingulate cortex was the functional hub among the brain regions and formed predictive resting-state FCs, suggesting NF aptitude may be involved in the attentional mode-orientation modulation system’s characteristics in task-free resting-state brain activity.
-
Frontiers in Psychiatry 12 2021年8月18日 査読有り最終著者Recently, the dimensional approach has attracted much attention, bringing a paradigm shift to a continuum of understanding of different psychiatric disorders. In line with this new paradigm, we examined whether there was common functional connectivity related to various psychiatric disorders in an unsupervised manner without explicitly using diagnostic label information. To this end, we uniquely applied a newly developed network-based multiple clustering method to resting-state functional connectivity data, which allowed us to identify pairs of relevant brain subnetworks and subject cluster solutions accordingly. Thus, we identified four subject clusters, which were characterized as major depressive disorder (MDD), young healthy control (young HC), schizophrenia (SCZ)/bipolar disorder (BD), and autism spectrum disorder (ASD), respectively, with the relevant brain subnetwork represented by the cerebellum-thalamus-pallidum-temporal circuit. The clustering results were validated using independent datasets. This study is the first cross-disorder analysis in the framework of unsupervised learning of functional connectivity based on a data-driven brain subnetwork.
-
Neural Networks 142 269-287 2021年5月 査読有り最終著者In neuroscience, the functional magnetic resonance imaging (fMRI) is a vital tool to non-invasively access brain activity. Using fMRI, the functional connectivity (FC) between brain regions can be inferred, which has contributed to a number of findings of the fundamental properties of the brain. As an important clinical application of FC, clustering of subjects based on FC recently draws much attention, which can potentially reveal important heterogeneity in subjects such as subtypes of psychiatric disorders. In particular, a multiple clustering method is a powerful analytical tool, which identifies clustering patterns of subjects depending on their FC in specific brain areas. However, when one applies an existing multiple clustering method to fMRI data, there is a need to simplify the data structure, independently dealing with elements in a FC matrix, i.e., vectorizing a correlation matrix. Such a simplification may distort the clustering results. To overcome this problem, we propose a novel multiple clustering method based on Wishart mixture models, which preserves the correlation matrix structure without vectorization. The uniqueness of this method is that the multiple clustering of subjects is based on particular networks of nodes (or regions of interest, ROIs), optimized in a data-driven manner. Hence, it can identify multiple underlying pairs of associations between a subject cluster solution and a ROI sub-network. The key assumption of the method is independence among sub-networks, which is effectively addressed by whitening correlation matrices. We applied the proposed method to synthetic and fMRI data, demonstrating the usefulness and power of the proposed method.
-
Frontiers in psychiatry 11 400-400 2020年 査読有り最終著者責任著者Resting-state fMRI has the potential to help doctors detect abnormal behavior in brain activity and to diagnose patients with depression. However, resting-state fMRI has a bias depending on the scanner site, which makes it difficult to diagnose depression at a new site. In this paper, we propose methods to improve the performance of the diagnosis of major depressive disorder (MDD) at an independent site by reducing the site bias effects using regression. For this, we used a subgroup of healthy subjects of the independent site to regress out site bias. We further improved the classification performance of patients with depression by focusing on melancholic depressive disorder. Our proposed methods would be useful to apply depression classifiers to subjects at completely new sites.
-
Scientific Reports 8(1) 2018年 査読有り
-
PLOS ONE 12(10) 2017年10月 査読有り
-
BMC BIOINFORMATICS 18 2017年2月 査読有り
-
Trends in pharmacological sciences 37(10) 858-871 2016年10月 査読有り招待有りDopamine signaling in the brain is a complex phenomenon that strongly contributes to emotional behaviors. Medium spiny neurons (MSNs) play a major role in dopamine signaling through dopamine D1 receptors (D1Rs) or dopamine D2 receptors (D2Rs) in the striatum. cAMP/protein kinase A (PKA) regulates phosphorylation signals downstream of D1Rs, which affects the excitability of MSNs, leading to reward-associated emotional expression and memory formation. A combination of phosphoproteomic approaches and the curated KANPHOS database can be used to elucidate the physiological and pathophysiological functions of dopamine signaling and other monoamines. Emerging evidence from these techniques suggests that the Rap1 pathway plays a crucial role in the excitability of MSNs, leading to the expression of emotional behaviors.
-
Intelligent Automation and Soft Computing 17(1) 71-94 2011年 査読有り筆頭著者
-
PLOS COMPUTATIONAL BIOLOGY 6(2) e1000670 2010年2月 査読有り
-
Artificial Life and Robotics 9(2) 67-71 2005年5月 査読有り筆頭著者
-
電子情報通信学会論文誌. D-2, 情報・システム 2-パターン処理 83(3) 1024-1033 2000年3月25日 査読有り筆頭著者acrobotは2リンク2関節からなるロボットで, 第2関節のみにアクチュエータが存在する.acrobotは非線形なダイナミックスをもち, 状態変数及び制御変数の空間がともに連続であるために, 強化学習によってこの制御を獲得することは難しい課題の一つである.本論文では, acrobotをバランスする制御に強化学習を応用する.我々の強化学習法はactor-criticアーキテクチャを用いて学習が行われる.actorは現在の状態に対して制御信号を出力し, criticは将来を通して得られる報酬の累積(期待報酬)を予測する.actorとcriticはともに正規化ガウス関数ネットワークによって近似され, オンラインEMアルゴリズムを用いて学習が行われる.また, criticの学習を促進させるための新たな手法を導入する.本手法が少ない試行回数から良い制御を獲得できることを計算機シミュレーションの結果により示す.
MISC
70-
情報処理学会研究報告. BIO, バイオ情報学 9(60) 55-62 2007年6月14日大脳基底核線条体はドーパミンの投射を受けており,その強度によって大脳皮質と線条体間のシナプス伝達効率が調節される.本研究では,このシナプス可塑性を実現している細胞内シグナル伝達機構を解明するために,その動力学モデルを構築し,様々な条件下における細胞の応答をシミュレーションによって予測した.また,そのモデルが持つ力学的特性の解析を行ったその結果,PKAおよびDARPP-32がドーパミンおよびカルシウム依存性シナプス可塑性において必須の分子であり,特に,CK1-Cdk5-D75経路はカルシウム依存シナプス長期減弱に,PP2A-D75経路が長期増強に重要な役割を果たしていることが分かった.
-
情報処理学会研究報告バイオ情報学(BIO) 2006(64) 35-40 2006年6月15日知の細胞内分子機構に関する仮説モデルを検証する上で、計算機シミュレーションは不可欠なツールである。しかしながら、シミュレーションの挙動を規定する力学パラメータには未知のものが多いため、利用可能な実験データからこれらのパラメータを高い信頼性で自動的に同定できる手法の開発が期待されている。本報告では、このパラメータ同定問題を取り上げ、ペイズ推定法に基づく解法を提案する。提案手法によれば、実験データを最も良く再現するパラメータの推定だけではなく、従来手法ではあまり対象とされていないパラメータ推定量の信頼区間の表現や類似したシミュレーション挙動を示すパラメータ空間の可視化という問題まで含めて統一的に扱うことができる。そして、提案手法を3つのペンチマーク問題への適用し、その有用性を示す。In a computational approach to life science, computer simulation is essential for verifying hypothetical kinetic models of intracellular molecular mechanisms. However, kinetic parameters used in simulation are often unidentified or unreliable. It is highly desired to develop a method that can automatically estimate the parame ters from accessible experimental measurements with high confidence. In this report, we address this estimation problem and present a Bayesian method for solving it. Our contribution is to unify the following three issues in the framework of Bayesian inference: 1) identifying unknown parameters to reproduce experimental measurements;2) representing confidence intervals of estimated parameters; and 3) visualizing the parameter space in which thnkinetic behaviors are similar to experimental measurements. Existing methods rarely dealt with the last two issues.The effectiveness of our method is demonstrated in three benchmark problems.Key words signal transduction, biochemical kinetics, system identification, Bayesian inference,Metropolis-Hastings method
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 106(101) 31-36 2006年6月8日未知の細胞内分子機構に関する仮説モデルを検証する上で、計算機シミュレーションは不可欠なツールである。しかしながら、シミュレーションの挙動を規定する力学パラメータには未知のものが多いため、利用可能な実験データからこれらのパラメータを高い信頼性で自動的に同定できる手法の開発が期待されている。本報告では、このパラメータ同定問題を取り上げ、ベイズ推定法に基づく解法を提案する。提案手法によれば、実験デー夕を最も良く再現するパラメータの推定だけではなく、従来手法ではあまり対象とされていないパラメータ推定量の信頼区間の表現や類似したシミュレーション挙動を示すパラメータ空間の可視化という問題まで含めて統一的に扱うことができる。そして、提案手法を3つのベンチマーク問題への適用し、その有用性を示す。
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 105(659) 19-24 2006年3月17日強化学習(RL)法は制御対象に関する知識を持たずとも制御則を自動的に獲得できるという利点があるため,近年,cart-poleのバランス制御問題などの自動制御問題に広く適用されている.しかしながら,多くの実問題は非線形で高自由度なダイナミクスを有するため,「次元の呪い」と呼ばれる問題が発生する.この問題のために,強化学習法による制御則の獲得はしばしば困難になる.我々の先行研究では,制御理論とシステム同定を利用した強化学習法を提案し,acrobotの自動制御課題に適用した.しかし,シミュレータでは安定に制御できたが,実ロボットの制御は不安定であった.本研究では,システム同定誤差に対してロバストな制御則学習法を提案し,それにより実ロボットを安定して制御できる制御器の獲得を実現した結果を示す.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 105(657) 91-96 2006年3月15日自律移動型ロボットにとって,自己位置同定問題は重要な問題である.この問題に関して多くの解決手法が研究されてきたが,環境が不確実性を持つ問題に対しては,確率モデルに基づく手法が有効に働く.特に,カルマンフィルタ(KF)とMonte Carlo Localization (MCL)はこのような確率的アプローチの中で現在広く用いられている手法である.本論文では,KFとMCLの相補的な利点を活かすために,これらの自然な融合として位置づけられる混合カルマンフィルタに基づく新たな自己位置同定アルゴリズムを示す.そして,計算機シミュレーションとネズミ型自律移動型ロボットCyber Rodentを用いた検証実験によって,提案手法の有効性を示す.
-
情報処理学会論文誌数理モデル化と応用(TOM) 46(10) 57-65 2005年6月15日遺伝子発現ダイナミクスの解析のために,状態空間モデルに基づく解析法が提案されている.従来の解析法では,状態変数のダイナミクスを仮定せず,また,システムノイズと観測ノイズを無視したモデルを仮定していたため,状態空間に含まれるノイズ成分を状態変数として誤検出する可能性がある.本研究では,ノイズプロセスに白色ガウシアンを仮定した線形ダイナミカルシステムモデルを考え,変分ベイズ法による推定とモデル選択を行う.本手法を出芽酵母細胞周期に関する公開データセットに適用したところ,従来手法で選択されたモデルと比較し,よりシンプルでもっともらしいモデルが選択された.また,この結果得られたモデルパラメータは,生物学的な考察とよく一致した.人工データへの適用も行い,ノイズを含む時系列データに対する有効性が示された.Several methods based on state space models have been proposed for analyzing dynamics of gene expression. Existing analysis methods can detect false noisy internal variables which seem to have no dynamics in state space because the methods do not assume any dynamics with system noise and observation noise. In this study, we propose a linear dynamical system model in which state variables and observation variables are generated by Gaussian white noise process and provide a variational Bayes inference for the model. We first show effectiveness of our method when applied to a synthesized noisy time-series data set. We also applied our method to a published yeast cell-cycle gene expression data set, then our method could select a simpler and more plausible model than existing method did. In addition, the resultant model parameters well matched the biological considerations.
-
情報処理学会研究報告. ICS, [知能と複雑系] 139(24) 73-78 2005年3月14日近年, コミュニケーション創発のメカニズムを計算機シミュレーションによって解明しようという構成論的アプローチの研究が盛んである.コミュニケーション創発における計算論的問題の1つは, メッセージの発信側と受信側の双方が, 同じ時期にコミュニケーション成立のための機能を獲得していなければならないことである.そこで本研究では, マルチエージェント競合環境における進化・学習エージェントのコミュニケーション創発メカニズムを提案する.このメカニズムにおいて重要な点は, エージェントが即応的に対処すべきである環境的要因が環境中に存在することである.環境的要因を対処するために獲得された機能は, エージェントによって間接的に利用され, コミュニケーションを段階的に創発する.環境中に環境的要因としての危険がある場合には, それがない場合と比べて, コミュニケーションが創発しやすく, 環境への適応度も高くなることをシミュレーションによって示す.
-
電子情報通信学会技術研究報告. AI, 人工知能と知識処理 104(727) 19-24 2005年3月8日近年, コミュニケーション創発のメカニズムを計算機シミュレーションによって解明しようという構成論的アプローチの研究が盛んである.コミュニケーション創発における計算論的問題の1つは, メッセージの発信側と受信側の双方が, 同じ時期にコミュニケーション成立のための機能を獲得していなければならないことである.そこで本研究では, マルチエージェント競合環境における進化・学習エージェントのコミュニケーション創発メカニズムを提案する.このメカニズムにおいて重要な点は, エージェントが即応的に対処すべきである環境的要因が環境中に存在することである.環境的要因を対処するために獲得された機能は, エージェントによって間接的に利用され, コミュニケーションを段階的に創発する.環境中に環境的要因としての危険がある場合には, それがない場合と比べて, コミュニケーションが創発しやすく, 環境への適応度も高くなることをシミュレーションによって示す.
-
情報処理学会研究報告. MPS, 数理モデル化と問題解決研究報告 51(92) 13-16 2004年9月13日 査読有り遺伝子発現ダイナミクスの解析のために,状態空間モデルに基く解析法が提案されている.従来の解析法では,状態変数のダイナミクスを仮定せず,また,システムノイズと観測ノイズを無視したモデルを仮定していたため、状態空間に含まれるダイナミクスを持たないノイズ成分を、状態変数として誤検出する可能性がある.本研究では、ノイズプロセスに白色ガウシアンを仮定した線形ダイナミカルシステムモデルを考え,変分ベイズ法による推定とモデル選択を行う.本手法を出芽酵母細胞周期に関する公開データセットに適用したところ,従来手法で選択されたモデルと比較し,よりシンプルで尤もらしいモデルが選択された.また,この結果得られたモデルパラメータは,生物学的な考察と良く一致した.人工データヘの適用も行い,ノイズを含む時系列データに対する有効性が示された.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 103(734) 61-66 2004年3月12日移動ロボットを統計的手法に基づいて制御する状況では,状態遷移や観測過程に関する確率モデルが必要不可欠である.外部からの観測情報を利用すると,比較的簡単にこれらの確率モデルを獲得することができるが,コストが増すばかりでなく適応範囲が狭まる.本研究では,ロボットセンサによって獲得される観測時系列情報から状態遷移や観測の特性を同定する手法を提案する.提案手法では,環境の幾何学特性やセンサの非線形性を考慮することで,確率モデルとして環境の定式化を行う.そして,未知パラメータが最尤推定法に基づいて決定される.提案手法の性能を調べるために,人エデータと実データを用いて評価実験を行った.その結果として,本手法は外部からの観測情報を利用しなくてもロボットセンサの情報のみから良い精度で環境を同定できることが示された.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 103(734) 97-102 2004年3月12日動的な環境で適切に知覚や認識を行うために,脳は環境の変化を検出し,新たな環境において素早く脳内表現を学習する必要がある.本研究では,神経修飾系のひどであるアセチルコリン(ACh)系の機能に注目し,脳内表現の学習についての計算論的なモデルを提案する.特に,脳内表現を単純化したモデルとして確率的主成分分析(PPCA)を想定し,動的環境にも適応可能なオンライン学習法がベイズ推定に基づいて導出される.提案学習法は人工データと実データを用いた2種類のシミュレーションによって評価され,環境が変化した際にも適切に基底表現が獲得されることが示される.最後に,生理学的な知見に基づき,提案学習モデルの学習係数がACh系の機能的な働きと対応づけられることが示される.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 103(734) 115-120 2004年3月12日本報告では,連続状態行動空間上で定義されるマルコフ決定過程に対する最適行動方策を獲得するための新たなアプローチを提案する.まず,統計力学からのアナロジーに基づいて,行動方策に間する自由エネルギーが導入される.この自由エネルギーの最小化問題を解くことによって最適行動方策が正確にあるいは近似的に獲得される.提案アプローチによれば,線形二次レギュレータ問題に対する最適制御方策をカルマンフィルタリング・スムージング法を用いて導出することができる.非線形問題に対しても,モンテカルロ法とガウス過程法を組み合わせた統計的推定法を適用することによって準最適な行動方策を獲得することができる.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 103(465) 45-50 2003年11月14日近年、強化学習によって非線形力学系に対する制御器を自律的に設計する試みが行われている。強化学習は制御対象の力学系が未知であっても制御則を獲得でき、動的に変化する環境に対しても追従可能だからである。しかしながら、制御対象が強い非線形性を持ち制御変数が高次元である場合には、関数近似語の性能に依存して学習が不安定になったり、莫大な試行回数が必要となったりする。このことが実機への応用が困難にしている。本研究では、この問題点を解決することを目指して、部分的制御器を利用した強化学習法を提案する。ここで、部分的制御器とはシステムの部分線形化によって設計された制御器のことをいう。検証実験として、シミュレーション上の単振子とacrobotの倒立制御課題に本手法を適用したところ、各部分空間において適切な制御器が選択されるようになり、非線形力学系に対しても良い制御を実現できることが示された。
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 102(731) 131-136 2003年3月12日本報告では,線形状態空間モデルを用いたシステム同定ためのオンライン変分ベイズ法を提案する.本手法はオンライン自由エネルギーの逐次最大化に基づいて導出される.このオンライン自由エネルギーは内部状態次元数を決定するための評価基準として用いられる.また,本システム同定法を用いた強化学習法を提案し,隠れ状態変数を持つ力学システムの自動制御問題に応用する.結果として,本手法がシステムの内部状態次元数を正しく決定することができ,部分観測環境においても良い制御を獲得できることが示される.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 102(731) 137-142 2003年3月12日強化学習におけるactor-critic法は,価値関数を近似推定するcriticと行動方策を改善するactorから構成される.Q学習やSARSAなどと異なり, actor-critic法では行動方策がactorによって明に表現されるため行動選択コストが低く,連続制御問題や自由度の大きい制御問題に広く用いられている.一方で, actorとcriticの学習は,並行かつ相互依存して行われるために不安定になりやすい.近年,この問題の解決策として,確率的方策勾配法に基づくactor-critic法が提案され,その収束性が証明された.本報告では,この手法を連続システムの自動制御問題に応用し,その性能について議論する.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 102(729) 149-153 2003年3月10日ジェスチャー認識やコンピュータグラフィクス、ヒトの運動を参考にしたロボットの運動制御などに利用するために、ヒトの運動に関する研究が行われてきた。そのような動的システムの解析には線形状態空間モデルが良く用いられている。本報告では、モーションキャプチャ装置を用いてヒトの指さし運動のシステム同定を行う。指さし運動はターゲットにより駆動される線形状態空間モデルであると仮定し、システム同定にはオンラインベイズ法を用いた。ベイズ評価基準によって、ヒトの指さし運動の有効自由度は大きくないことが分かった。
-
電子情報通信学会技術研究報告. AI, 人工知能と知識処理 100(88) 29-36 2000年5月18日 筆頭著者本報告では, 関数近似器と統計的学習を用いた, 連続力学システムに対する新しい強化学習法を提案する.我々の強化学習法はactor-criticアーキテクチャを用いて学習が行われる.criticは現在の状態と行動の組に対する将来の期待報酬(Q関数)を近似する.actorはQ関数値が大きい行動ほど高い確率で選択されるような確率的行動関数を近似する.actorとcriticはともに正規化ガウス関数ネットワークによって近似され, オンラインEMアルゴリズムを用いて学習が行われる.本手法が少ない試行回数から良い制御を獲得できることを2つの最適制御問題に対する計算機シミュレーションの結果により示す.
-
電子情報通信学会技術研究報告. NC, ニューロコンピューティング 99(684) 165-172 2000年3月13日 筆頭著者本報告では, 状態および行動の空間が連続である力学システムに対する新しい強化学習法を提案する.我々の強化学習法はactor-criticアーキテクチャを用いて学習が行われる.criticは現在の状態と行動の組に対する将来の期待報酬(Q関数)を近似する.actorはQ関数値が大きい行動ほど高い確率で選択されるような確率的行動関数を近似する.actorとcriticはともに正規化ガウス関数ネットワークによって近似され, オンラインEMアルゴリズムを用いて学習が行われる.本手法が少ない試行回数から良い制御を獲得できることを2つの最適制御問題に対する計算機シミュレーションの結果により示す.
書籍等出版物
4講演・口頭発表等
7-
The 19th China-Japan-Korea Joint Workshop on Neurobiology and Neuroinformatics (NBNI2019) 2019年11月23日 招待有り
-
The 9th Mind-Body Interface (MBI) International Symposium 2019年10月8日 招待有り
担当経験のある科目(授業)
9-
2025年4月 - 現在文章力ゼミナール (藤田医科大学医学部)
-
2022年4月 - 現在アセンブリIII (藤田医科大学医学部)
-
2022年4月 - 現在基礎データサイエンス (藤田医科大学医学部)
-
2022年4月 - 現在医学統計学 (藤田医科大学医学部)
-
2017年4月 - 現在医用統計学・医用AI学 (山口大学医学部)
共同研究・競争的資金等の研究課題
7-
日本学術振興会 科学研究費助成事業 2024年4月 - 2027年3月
-
日本学術振興会 科学研究費助成事業 2021年4月 - 2026年3月
-
日本学術振興会 科学研究費助成事業 2021年4月 - 2026年3月
-
2020年 - 2021年
-
日本学術振興会 科学研究費助成事業 研究活動スタート支援 2016年8月 - 2018年3月