吉本 潤一郎

Dopamine signaling in the brain is a complex phenomenon that strongly contributes to emotional behaviors. Medium spiny neurons (MSNs) play a major role in dopamine signaling through dopamine D1 receptors (D1Rs) or dopamine D2 receptors (D2Rs) in the striatum. cAMP/protein kinase A (PKA) regulates phosphorylation signals downstream of D1Rs, which affects the excitability of MSNs, leading to reward-associated emotional expression and memory formation. A combination of phosphoproteomic approaches and the curated KANPHOS database can be used to elucidate the physiological and pathophysiological functions of dopamine signaling and other monoamines. Emerging evidence from these techniques suggests that the Rap1 pathway plays a crucial role in the excitability of MSNs, leading to the expression of emotional behaviors.

Dopamine (DA) type 1 receptor (D1R) signaling in the striatum presumably regulates neuronal excitability and reward-related behaviors through PKA. However, whether and how D1Rs and PKA regulate neuronal excitability and behavior remain largely unknown. Here, we developed a phosphoproteomic analysis method to identify known and novel PKA substrates downstream of the D1R and obtained more than 100 candidate substrates, including Rap1 GEF (Rasgrp2). We found that PKA phosphorylation of Rasgrp2 activated its guanine nucleotide-exchange activity on Rap1. Cocaine exposure activated Rap1 in the nucleus accumbens in mice. The expression of constitutively active PKA or Rap1 in accumbal D1R-expressing medium spiny neurons (D1R-MSNs) enhanced neuronal firing rates and behavioral responses to cocaine exposure through MAPK. Knockout of Rap1 in the accumbal D1R-MSNs was sufficient to decrease these phenotypes. These findings demonstrate a novel DA-PKA-Rap1-MAPK intracellular signaling mechanism in D1R-MSNs that increases neuronal excitability to enhance reward-related behaviors.

A theoretical framework of reinforcement learning plays an important role in understanding action selection in animals. Spiking neural networks provide a theoretically grounded means to test computational hypotheses on neurally plausible algorithms of reinforcement learning through numerical simulation. However, most of these models cannot handle observations which are noisy, or occurred in the past, even though these are inevitable and constraining features of learning in real environments. This class of problem is formally known as partially observable reinforcement learning (PORL) problems. It provides a generalization of reinforcement learning to partially observable domains. In addition, observations in the real world tend to be rich and high-dimensional. In this work, we use a spiking neural network model to approximate the free energy of a restricted Boltzmann machine and apply it to the solution of PORL problems with high-dimensional observations. Our spiking network model solves maze tasks with perceptually ambiguous high-dimensional observations without knowledge of the true environment. An extended model with working memory also solves history-dependent tasks. The way spiking neural networks handle PORL problems may provide a glimpse into the underlying laws of neural information processing which can only be discovered through such a top-down approach.

一般に統計モデルや学習機械のパラメータの空間は,その出力の変化に関してユークリッドではなくリーマン空間としての性質をもち,その最急こう配方向は従来のこう配である出力の偏微分と必ずしも一致しない.この問題に対してAmariは自然こう配法を提案し,Kakadeがマルコフ決定過程の最適化手法の一つである方策こう配強化学習法に自然こう配を適用した.自然こう配方向はリーマン構造を規定するリーマン計量のもと定まるので,その選択は重要な問題となる.しかしながら,Kakadeの用いたリーマン計量行列は方策のパラメータ摂動による行動の確率分布変化だけを考慮した計量行列であり,同様に方策の影響を受けるはずの状態の確率分布変化に関しては無視していた.そこで本論文では,状態の確率分布も考慮した新しいリーマン計量を提案し,その計量に基づく新しい自然方策こう配を導出する.更に,この自然方策こう配は方策パラメータにより規定される基底関数をもつ線形関数近似器で即時報酬を近似した際に学習されるパラメータに一致することを証明する.また様々な状態数のマルコフ決定問題に適用した数値実験より,特に状態数が多い場合に従来法に比べ提案法は有効に働くことを示す.

遺伝子発現ダイナミクスの解析のために, 状態空間モデルに基づく解析法が提案されている.従来の解析法では, 状態変数のダイナミクスを仮定せず, また, システムノイズと観測ノイズを無視したモデルを仮定していたため, 状態空間に含まれるノイズ成分を状態変数として誤検出する可能性がある.本研究では, ノイズプロセスに白色ガウシアンを仮定した線形ダイナミカルシステムモデルを考え, 変分ベイズ法による推定とモデル選択を行う.本手法を出芽酵母細胞周期に関する公開データセットに適用したところ, 従来手法で選択されたモデルと比較し, よりシンプルでもっともらしいモデルが選択された.また, この結果得られたモデルパラメータは, 生物学的な考察とよく一致した.人工データへの適用も行い, ノイズを含む時系列データに対する有効性が示された.

アクロボットは2リンク2関節からなる劣駆動マニピュレータであり, その制御設計は困難な非線形問題であることが知られている.本研究では, 制御理論及び機械学習の分野で得られた知見を統合することにより, 実アクロボットに対する適応的制御設計法を提案する.提案手法では, まず, システム同定法によって近似されたシステム方程式に基づいて部分問題を解くための制御器を複数個設計する.そして, 各制御器を適用すべき部分状態空間が強化学習法によって適応的に決定される.提案手法を実装したところ, 実アクロボットの振上げ・安定化制御を成功することができた.

In this paper, we propose a new reinforcement learning (RL) method for dynamical systems that have continuous state and action spaces. Our RL method has an architecture like the actorcritic model. The critic tries to approximate the Q-function, and the actor tries to approximate a stochastic soft-max policy dependent on the Q-function. An on-line EM algorithm is used to train the critic and the actor. We apply this method to two control problems. Computer simulations in two tasks show that our method is able to acquire good control after a few learning trials.

acrobotは2リンク2関節からなるロボットで, 第2関節のみにアクチュエータが存在する.acrobotは非線形なダイナミックスをもち, 状態変数及び制御変数の空間がともに連続であるために, 強化学習によってこの制御を獲得することは難しい課題の一つである.本論文では, acrobotをバランスする制御に強化学習を応用する.我々の強化学習法はactor-criticアーキテクチャを用いて学習が行われる.actorは現在の状態に対して制御信号を出力し, criticは将来を通して得られる報酬の累積(期待報酬)を予測する.actorとcriticはともに正規化ガウス関数ネットワークによって近似され, オンラインEMアルゴリズムを用いて学習が行われる.また, criticの学習を促進させるための新たな手法を導入する.本手法が少ない試行回数から良い制御を獲得できることを計算機シミュレーションの結果により示す.