ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース

この方法の全体的な目標は、複数のソフトウェアプログラムを統合して、脳内ロボットとヒューマノイドロボットの相互作用の研究を可能にすることにより、S-S-V-E-Pベースの実験手順を確立することです。これは、脳波データ収集システムを通じて脳の反応を測定するために、人間の被験者にEEG電極を最初に配置することによって達成されます。ユーザーインターフェースを使用して、S-S-V-E-Pの応答を引き出し、閉ループ制御実験でビデオフィードバックを表示します。

2番目のステップは、初めての被験者のEEG信号を記録して、S-S-V-E-P機能をオフラインで分析し、各被験者の分類器を訓練することです。次に、オンライン信号プロセッサとロボットコントローラは、ヒューマノイドのロバートのオンライン制御用に構成されます。最後のステップとして、被験者は異なる環境内で3つの特定の閉ループ制御実験を完了します。

脳のロバート相互作用の性能を評価するために、結果は、異なる周波数でちらつく刺激を見つめながら生成される脳信号の正規化されたパワースペクトル密度を示しています。私たちのシステムは、これらの脳波パターンをロバートの行動を制御するためのコマンドに変換します。このアプローチを使用すると、被験者はヒューマノイドのロバート・バイオ・ブレイニン信号と対話することができます。

これにより、ヒューマノイドのロバートは、ロボット研究で人気があり、障害者の支援に役立つ典型的なタスクを実行できます。このアプローチの利点は、オープンワイドグラフやセントラルソフトウェアなどの複数のソフトウェアプログラムと、c plus plusやmatch labに関連するユーザー開発プログラムを統合して開発されているため、信頼性と柔軟性があることです。この方法により、ヒューマノイドロボットと行動する脳ロボットを研究することができます。

この研究は、病人や高齢者を支援するだけでなく、不衛生または危険な仕事を遂行する上で前向きです。私のチームメイトであるリムとハンは、それぞれ脳波センサーの配置を実演し、人間とロボットの接続方法を示します。実験の手順を被験者に説明します。

実験への参加について同意を得る。被験者の円周を測定し、測定値に近いE EEGキャップサイズを選択します。NASマーク間の距離を測定します 距離の10%をキャップを裏打ちするための基準として

被写体のカル位置の頂点で距離の中点をマークします。頂点上のE EEGキャップの電極czは、FP 1とFP 2の電極の中点に10%マークを揃えます。fz、cz、PZ、およびOZ電極がヘッドの正中線上にあることを確認してください。

導電性ゲルで電極への参照を塗ります。医療用テープを使用して、参照電極を左右のOIDに配置します。チェーンストラップを締めます。

先端が鈍いシリンジを電極トーターに入れ、次の順序で各電極に導電性ゲルを注入します。まず、接地電極、次に、実験で使用した5つの電極O 2 0 1 OZです。PZおよびCZ。刺激モニターの前の60センチメートルの快適な椅子に被験者を座

電極線をEEGデータ収集システムに接続します。サンプリングレートを 1 キロヘルツに構成します。専用のデータ処理コンピュータで脳波信号の品質を調べます。

特定の電極に問題がある場合。ゲルを再注入して、チャネルのインピーダンスを調整します。4つのロボットがユーザーインターフェース上の視覚刺激として異なる周波数の画像をちらつ

初めての被験者は、オフライントレーニング実験を実施して、S-S-V-E-P特徴ベクトルを確立し、分類器をトレーニングします。被験者ごとに32回の試行を行い、このプロセス全体で脳信号を記録します。トライアルが開始されたら、ターゲットとして1つの刺激をランダムに選択し、その上に黄色の矢印を表示します。

ちょっと。その後、ユーザーインターフェース上の異なる周波数で4つの視覚刺激を5秒間ちらつき、体の動きを最小限に抑えながら、選択した刺激ターゲットに焦点を合わせるように被験者に要求します。各試行の後、被験者に3秒間リラックスさせてから、次の試行を開始します。

すべてのトライアルが終了したら、保存したデータを読み込みます。縦のオレンジ色のバーは、5秒間に刺激がちらついているターゲットとして刺激を選択するトリガーを示します。各試行で、トリガーの 2 秒から 5 秒後の間に 3 秒のデータ アポを抽出します。

特定の周波数での周期的な刺激信号として設定された基準信号yを使用して、マルチチャネルEEGデータのCCA係数を計算します。CCA 法では、結合された信号間の相関係数を最大化するために線形結合ベクトルを検出します。計算された CCA 係数を使用して、マルチチャネル EEG データを空間的にフィルタリングします。

高速ホワイエ変換を使用して、フィルター データのパワー スペクトル密度を計算します。パワー スペクトル密度を、3 hutz から 40 hutz の間の平均値に対して正規化します。次に、各刺激周波数の分類パラメーターを較正します。

被写体の分類パラメータを設定するには、オープンワイプ設定ウィンドウを使用します。データ処理コンピュータでオンライン信号プロセッサを起動します。EEGシステムのチャネルO 2、0、1 OZ、PZ、およびCZから0.5秒ごとにEEGデータを取得し、オンライン処理のために最後の3秒間のデータセグメントを抽出します。

オフライン・プロセスで説明されているアルゴリズムを使用して、データ・セグメントを処理します。分類のためにリアルタイムのパワースペクトル密度を計算します。1つの特徴周波数の振幅が特定のしきい値を超えると、対応する周波数でちらつく刺激が分類されます。

SSV EEPターゲットとして、人間のノロロボットを起動し、データ処理コンピューターへのWi-Fi接続を確立します。ロボットコントローラを設定・実行すると、ロボットコントローラはオンライン信号プロセッサから分類結果を受け取り、無線接続を介してヒューマノイドロバートの対応する動作を制御します。専用の刺激プレゼンテーションコンピューターで振り付けプログラムを実行して、Robertsカメラからのライブビデオフィードバックをユーザーインターフェイスに表示します。

被験者に、脳のロバート相互作用のパフォーマンスを評価するために、異なる環境内で3つの特定の閉ループ制御テストを実行するように要求します。これらのテストはロボット研究で人気があり、障害者や高齢者の日常生活を支援するのに役立ちます。新しいタスクの前に、タスクの目的と制御に利用可能な動作を被験者に知らせます。

これらの結果は、マルチチャネルデータエポックの抽出、CCA係数を用いたデータの空間フィルタリング、正規化されたパワースペクトル密度の計算など、脳波データの処理手順を示しています。ここでは、被験者が異なるちらつくターゲットを見つめる 1 回の試行で得られた正規化されたパワー スペクトル密度を示します。最初のクローズドループ制御実験では、人間のノア・ロバートが脳の信号によって制御され、障害物を通り抜けたり、壁の照明スイッチを押したりしました。

脳の信号はリアルタイムで憑依されていました。被験者の制御意図を分類するために、被験者はライブビデオフィードバックを視聴し、対応する刺激を見つめることによってロバートの行動を制御しました。スイッチに到達した後、被験者はロバートを制御してライトを点灯させました。

2つ目の実験では、ビデオフィードバックに基づいて、人間のロボットを出口標識に続く階段に向かって連続的にナビゲートしました。通行人のスパイと対峙したとき、被験者はロバートをコントロールして、「すみません、通行人のスパイが道を譲るのを待ってください」と言いました。その後、ロバートは階段に向かって歩くように制御されました。

3つ目の実験では、ヒューマノイドのロバートが全身の動きで制御され、ライブビデオのフィードバックに基づいてバルーンターゲットに到達して拾い上げ、被験者の手に届けました。人間の意図はLU時間のEEG信号を解釈することで認識されるため、実験を行う前に電気接続とEEG信号の品質を確認することが重要です。EEG信号を取得する際の別の一般的な問題は、干渉またはアーティファクトとノイズです。

腰は、体の動きの主題を減らし、CCAベースのマルチチャネル技術を利用することにより、そのような干渉が改善されます。本手法は、特に脳内ロボットの相互作用に関するアルゴリズムや技術を調査するために柔軟性を持ち、様々な実験手順を設計するのに有効であり、新たなBRIアプリケーションの探索に容易に利用することができます。