過去の研究内容はこちら

離散構造データからの機械学習

機械学習・知識発見の対象となるデータとして離散構造データを扱うことをテーマとしています. 離散構造データの特徴の一つは,複雑なデータは単純なデータから帰納的な手続きによって生成されることです. この生成過程は導出とよばれます.機械学習では精密化とよぶこともありました. 本研究室では構造データから導出を利用して知識を導き出す学習方式の開発を行っています.

木構造データからの学習 [1-1]

論理プログラムの学習 [1-2]

DFAを用いた強化学習 [1-3]

  • [1-1] Kawamura, K. and Yamamoto, A. : HTML-LSTM: Information Extraction from HTML Tables in Web Pages Using Tree-Structured LSTM, Proceedings of the 24th International Conference on Discovery Science, (Lecture Notes in Artificial Intelligence 12986), 29-43, 2021.
  • [1-2] Shindo, H., Nishino, M. and Yamamoto, A.: Differentiable Inductive Logic Programming for Structured Examples, Proc of Thirty-Fifth AAAI Conference on Artificial Intelligence, 2021, https://doi.org/10.1609/aaai.v35i6.16637.
  • [1-3] 藤永, 山本: DFA と SAT を用いた非マルコフ報酬強化学習, 第128回人工知能基本問題研究会, 2024

説明可能性を持つ機械学習

数理最適化を用いた言語モデルの頑健性検証 [2-1]

LLMを用いたプログラム自動修正の信頼性検証 [2-2]

GNNに対する半実仮想説明法 [2-3]

  • [2-1] Tomonari, H., Nishino, M., and Akihiro, Y.: Robustness Evaluation of Text Classification Models Using Mathematical Optimization and Its Application to Adversarial Training,Findings of the Association for Computational Linguistics: AACL-IJCNLP 2022, 327-333., 2022.
  • [2-2] 石倉,山本:大規模言語モデルによるプログラム自動修正の摂動を用いた信頼性検証,第26回プログラミングおよびプログラミング言語ワークショップ(PPL 2024), 2024.
  • [2-3]MA J.L., 山本 章博: Non-subgraph Counterfactual Explanation for Node Classification Graph Neural Networks, 第128回人工知能基本問題研究会, 2024

形式概念解析の応用

データを,対象の集合と属性の集合の二項関係と見なした上で,代数的構造を用いて分析する「形式概念解析」という手法は,仮説の学習,頻出アイテム集合の発見といった機械学習,データマイニングの基本的問題に用いられてきました. 我々の研究室では,近年の多様化の進んだデータから学習やマイニングを行なう際の代数的なアプローチとして,形式概念解析を応用する研究を行っています.

  • [3-1] Peng, S.Q and Yamamoto, A.:Z-TCA: Fast Algorithm for Triadic Concept Analysis Using Zero-suppressed Decision Diagrams. J. Inf. Process. 31: 722-733 (2023) 2.
  • [3-2] Peng, S.Q,  Yamamoto, A and Ito. K:: Link prediction on bipartite networks using matrix factorization with negative sample selection, Plos One 18(8): e0289568.

形式概念分析とTransformerを融合したリンク予測 [3-3]

リンク予測とは, 現在のグラフ構造に基づいて将来形成される可能性のあるリンクを予測するタスクです. 本研究では, 2部グラフにおける形式的概念とそれらの階層的な関係を抽出し、BERT (Bidirectional Encoder Representations from Transformers) に学習させることで, グラフ構造に潜む情報を効果的に学習し, リンク予測の精度を向上させられることを報告しました。

  • [3-3] Peng S.Q, Yang H, Yamamoto A: BERT4FCA: A method for bipartite link prediction using formal concept analysis and BERT, Plos one, 19(6), e0304858. link

知識グラフを用いた推論

  • [4-1] 植松温大, 山本章博,市瀬夏洋: 知識グラフを用いた多肢選択問題に対する選択肢と根拠の生成方法, 日本ソフトウェア科学会ネットワークが創発する知能研究会, 2023.

物理ダイナミクスを活用した機械学習

遍く物理現象は計算を行っていると考えることができます。例えばグラスを揺らすと、中の液体は複雑な波面が形成し、やがて静かな水面に戻ります。このようなダイナミクス(動き)は流体の運動法則に則って振る舞い、コンピュータでその法則を計算すれば、流体のダイナミクスをシミュレートすることができます。ここからわかることはコンピュータの記憶や四則演算という計算能力が、流体のダイナミクスに変換できるということです。では、逆に、流体のダイナミクスを計算に変換することはできないでしょうか?このような発想にアプローチする物理リザバー計算(Physical reservoir computing)と呼ばれる機械学習手法が提案されています。流体を揺らし(入力を与え)、そのダイナミクスを観測(出力を得る)したときの、入出力変換に機械学習を組み合わせることで、流体に限らない、ロボットの身体・光・量子・スピントロニクス・化学反応・培養細胞・生態系などの多種多様なダイナミクスを計算に活用することができます。 

やわらかいロボットの身体による計算

現代のロボットは固い素材でできたものが主流です。しかし、柔軟性・安全性・環境への適応性といった観点が要求されるウェアラブルデバイスや災害地のような不整地での救助ロボットなどを考えると、柔らかい素材の方が適していることが考えられます。このような柔らかいロボットを考える研究分野はソフトロボティクスと呼ばれ、ロボット工学の中でも比較的新しい研究分野です。このような柔らかいロボットに搭載する駆動部材(アクチュエータ)としての代表例にMcKibben型空気圧人工筋肉(Pneumatic artificial muscle)と呼ばれる部材があります。McKibben型空気圧人工筋肉はゴムと網紐からなるチューブ状の部材で、チューブ内に空気を印可することで、伸縮や曲げの動作を実現し、柔軟性・高出力・製造コストに優れるといった利点を備えています。一方で柔らかいロボットにはその柔らかさゆえの難しさがあります。例えば、柔らかさを実現する非線形で高次元の身体は、その動きを予測しづらく、従来の固いロボットに対すして固有の制御方法が必要とされます。我々の研究ではこの柔らかさの生み出す複雑なダイナミクスを計算資源と捉え、物理リザバー計算に活用することを提案しました。人工筋肉自身の持つ非線形性・ヒステリシスを活用することで自身の動作予測やパターン制御を達成しました。これにより、人工筋肉の外部の計算機が行っていたセンシングや制御の計算を人工筋肉の身体自身に外注することができます。

  • [5-1] N. Akashi, Y. Kuniyoshi, T. Jo, M. Nishida, R. Sakurai, Y. Wakao, K. Nakajima, Embedding bifurcations into pneumatic artificial muscle, Advanced Science 11: 2304402, 2024.
  • [5-2] W. Sun, N. Akashi, Y. Kuniyoshi, K. Nakajima, Physics-informed recurrent neural networks for soft pnuematic actuators, IEEE Robotics and Automation Letters, 7 (3) pp. 6862-6869, 2022.
  • [5-3] R. Sakurai, M. Nishida, H. Sakurai, Y. Wakao, N. Akashi, Y. Kuniyoshi, Y. Minami, K. Nakajima, Emulating a sensor using soft material dynamics: A reservoir computing approach to pneumatic artificial muscle, in Proceedings of 2020 3rd IEEE International Conference on Soft Robotics (RoboSoft), pp. 710-717, 2020. 

スピントロニクスデバイスによる脳型計算

機械学習分野の急速な発展によって、コンピュータに対する計算要求とエネルギーコストは年々深刻な問題になっています。この問題を解決するために、ソフトウェアである機械学習の劇的な発展に対応する、ハードウェアである計算機デバイスの抜本的な改革が探求されています。近年ではゲームなどの論理・推論の分野にとどまらず、生成系AIの行う言語・画像に対する認知的な処理においても人工知能は人間を凌ぐパフォーマンスを発揮していますが、その時間・エネルギー的な効率を考えると人間の方がはるかに優れていると捉えることもできます。そのため、脳の神経回路網を真似た計算機として脳型計算機(Neuromorphic computing)が次世代のコンピュータとして研究・開発が進められています。スピントロニクスデバイスと呼ばれる電子スピンのダイナミクスを利用した電磁気デバイスは、高速・小型・高エネルギー効率といった利点から、脳型計算機の有力な候補として注目されています。中でもスピントルク発振器(Spin-torque oscillator)と呼ばれる種類のスピントロニクスデバイスは物理リザバー計算(Physical reservoir computing)と呼ばれる手法により機械学習の計算資源として活用できることが示されています。我々の研究は、スピントルク発振器のダイナミクスを数値シミュレーションと非線形力学の理論により解析することで、脳型計算機における情報処理能力との関係やより効果的な利用方法を探索するものです。

  • [5-4] N. Akashi, Y. Kuniyoshi, S. Tsunegi, T. Taniguchi, M. Nishida, R. Sakurai, Y. Wakao, K. Kawashima, K. Nakajima, A Coupled Spintronics Neuromorphic Approach for High-Performance Reservoir Computing, Advanced Intelligent Systems 4: 2200123, 2022.
  • [5-5] N. Akashi, T. Yamaguchi, S. Tsunegi, T. Taniguchi, M. Nishida, R. Sakurai, Y. Wakao, K. Nakajima, Input-driven bifurcations and information processing capacity in spintronics reservoirs, Physical Review Research 2: 043303, 2020.