인체운동을 총괄하는 우리 뇌는 운동출력을 전기신호로 만드는 기관이다. 모든 생명체를 포함하여 인체 움직임은 중추신경계 뇌의 생체신호인 신경조절(neuro-modulation)의 활동전위가 척수와 운동신경세포를 거쳐 근골격계로 전달된다(Kim, Yuk & Bae, 2003; Ratey & Hagerman, 2008). 뇌파신호는 사람의 감정이나 생각을 가장 현실적인 방법으로 측정하여 해석할 수 있는 유용한 정보원으로 뇌파는 사람과 사람, 사람과 사물, 사람과 컴퓨터 간에 편리하고 가장 자연스러운 초연결(hyper-connection) 접속과 통신을 가능하게 하는 유력하고 궁극적인 수단이다(Kim, Lee, Park, Choi & Park, 2017; Kim, 2019; O'Reilly & Munakata, 2000). 특히 인간의 중추신경계 뇌의 활동수준을 나타내는 객관적 지표인 뇌파검사를 통하여 뇌 이상 임상질환 및 진단 시에 인공지능 기반 뇌파데이터 분석 시도가 이루어지고 있다(Gemein et al., 2020). 뇌파계(EEG: electroencephalography) 활용은 대뇌피질의 뇌 활동성에 대한 뇌졸중 환자의 보행능력을 증진하기 위한 임상관련 논문에서도 재활훈련 방법이나 운동기능 회복 등에 다양하게 연구에 활용되고 있다(Jin, Ahn, Lee, Jang & Lee, 2014). 최근 인체운동이 중추신경계(CNS, central nervous system)인 뇌에 미치는 운동의 효과에 대한 관심이 높아지고 있지만, 어떤 운동유형이나 강도가 전기피질 활동의 증가 또는 감소로 이어지는지, 그리고 어느 뇌 영역에서 발생하는지 명확한 운동기전에 대해서는 여전히 불분명하다(Brűmmer, Schneider, Abel, Vogt & Strűder, 2011). EEG의 미세한 진폭의 전압(μV)은 뇌 신경세포와 신경세포 사이의 화학적 활성화에 의한 신체운동 신호들이 포함된다(Park, 2006; Yoo, 2020). 특히 뇌파 분석의 경우 시간 순서대로 정렬된 데이터로서 정보를 추출하기 위한 시계열(Time-series) 분석방식보다는 생체신호인 전기신호의 특성을 즉시적으로 판독하는데 주파수성분 분석(FFT; fast fourier transform)에 의한 주파수 영역(frequency domain) 연구에 전기에너지와 같은 진동수(주파수) 해석 시 주로 사용된다(Hall, 2016; Yoo, 2019).

이와 더불어 최근 뇌과학분야에서 머신러닝(machine learn- ing)은 통계와 알고리즘을 통합하여 빅데이터(big data)에서 관계를 찾는 인공지능(AI) 분야로서 AI의 딥러닝과 시스템 기반 학습에 적용된 연구사례들이 보고되고 있다(Chen, Tao, Wang & Xie, 2022; Kim & Oh, 1997; Eun, Kim & Kim, 2021; Hamet & Tremblay, 2017). 머신러닝 기법 중 하나인 딥러닝 순환신경망(GRU, gated recurrent unit)은 최근 주목을 받고 있는 알고리즘으로 문제의 빅데이터 입력신호가 들어오면 정답과 출력값의 오차 만큼을 수정해가며 학습하여 해답을 찾아내는 뇌신경망 구조이다(Kim & Oh, 1997). 인공지능의 딥러닝 순환신경망 중에는 대표적인 RNN (recurrent neural network)의 장단기 기억에 대한 손실 효과를 해결하기 위한 LSTM (long short-term memory) 알고리즘이 일반적으로 사용되었다. 하지만 LSTM은 복잡하고 연산량이 많으므로, 최근에는 본 연구에서 사용된 딥러닝 순환신경망(GRU) 기술이 가장 적절한 모델로 평가되고 있다(Kim & Oh, 1997).

인간의 뇌는 수십억 개의 상호 연결된 뉴런으로 구성되어 있으며 우리의 정신생활과 행동을 유발한다. 뉴런이 어떻게 정보를 받아들이고 처리하고 행동을 생성하는지 이해하는 것은 상당한 실험적, 계산적, 이론적 신경과학 연구의 초점대상으로 뇌신경분야의 여러 이론들이 뇌 회로, 상호작용방식 및 행동과의 관계를 잘 이해하기 위해 뇌 영역의 정보처리모델(Neural population dynamics model, Internal model theory)로서 연구되어 왔다(Vyas, Golub, Sussillo & Shenoy, 2020; Churchland et al., 2012). 그럼에도 불구하고 현재까지 인간의 운동을 총괄하여 생성되고 변화하는 뇌와 운동 간 운동시스템과 관련이 되는 운동매개 변수로서 신경활동이 근육과 어떻게 연계되어 있는지에 대하여서는 여전히 논란이 남아 있다(Lemon, 2008; Evarts, 1968).

이 연구의 관심대상인 바로서기 자세는 서 있거나 이동운동 하는데 중요할 동작일 뿐만 아니라 매일 일상생활 속에서 성공적인 운동수행 시 완수하는데 중요하기 때문에 삶의 질에 미치는 영향이 크며, 임상분야의 낙상이나 자세조절장애와 같은 노인성 뇌 질환과도 매우 깊게 연관되어 있다(Siddiqi, Masood, Osama, Azim & Babur, 2019; Stehle et al., 2022). 특히 뇌 신경신호가 직립 자세를 유지하거나 넘어지지 않기 위해 각 관절에 토크를 조절하기 위하여 위치 감각신호를 통합하고 자세를 예측하여 인체운동 시스템의 각 근육으로 전달하는 운동시스템 구조에 해당된다(Latash & Zatsiorsky, 2016; Song, Ampatzis, Björnfors & Manira, 2016; Yoo, 2019).

이에 본 연구는 사람의 뇌에서 집중하는 수준과 인체운동 간 긴밀한 관계가 있음을 검증하기 위하여 뇌와 운동 간 운동식별 예측의 구현이 가능한가를 연구문제로 뇌와 운동 간 상호 긴밀한 관련성을 바로서기 동작을 중심으로 두 가지 실험을 행하였다. 첫 번째 실험에서는 주파수성분 분석을 이용하여 인체무게중심의 변화와 동요에 대한 운동기능학 관점에서 자세조절 시 뇌 신호와 역학변인을 비교 분석하였다. 두 번째 실험에서는 실험 1을 참조하여 최근 개발된 인공지능 기반 딥러닝 순환신경망을 활용하여 뇌파계 신호로부터 뇌와 운동 간 인체 동작 예측에 대한 뇌 연결성의 탐구하였다.

1. 실험참여자

실험참여자들은 최근 6개월 간 의학적으로 뇌 질환, 근신경계 질환이 없는 신체 건강한 20대 전후 남성 두 개 그룹이다(n=12). 체조경력 9년 이상인 엘리트 우수집단(n=6, 나이 19.5±1.0 yrs, 키 167.8±5.8 cm, 몸무게 58.8±5.1 kg, 체지방률(BMI) 11.3±2.8)과 대전소재 H대학교 체육전공 일반집단(n=6, 나이 19.6±1.2 yrs, 키 175.9±2.9 cm, 몸무게 64.5±5.4 kg, 체지방률(BMI) 17.4±2.1)으로 하였다.

2. 실험설계

실험설계는 <Figure 1>과 같다. <Figure 1>에 제시된 바와 같이 <실험 1>과 <실험 2>로 설계하였다. <실험 1>에서는 바로서기 동작 시 3차원영상분석시스템을 활용하여 각각의 자세유형 별 발바닥 압력중심(CoP; center of pressure)과 발목관절 모멘트(ankle joint moment)을 역학변인을 정의한 후 시계열데이터로 먼저 취득한 후 기초자료로 활용하였으며 역학변인과 뇌파를 주파수계열 분석을 위하여 다시 개별 스펙트럼 구성 요소로 변환하는 고속 푸리에 변환(FFT, fast fourier transform) 자료처리과정 이후 (발바닥 압력중심)와 (발목관절 모멘트) 그리고 (뇌파) 간 주파수대역과 최대진폭 등의 변화를 분석하여 뇌파 활성화와 역학변인 간 뇌 운동명령의 연계성을 해석하였다. <실험 2>에서는 실험 1의 생체신호인 뇌파계 데이터를 중심으로 인공지능의 기계학습 최적화 모델(GRU)을 활용하여 뇌와 운동 간 뇌 활성화로부터 동작 예측을 도식화하였다.

Figure 1. Experimental design

Modify Delete

3. 측정 및 데이터수집

바로서기 자세유형(posture pattern)은 안정성을 중심으로 다섯 가지 동작으로 구분하였다. 앉아자세(class 0), 양발서기(class 1), 한발서기 자세유형 시 오른발 주발서기(class 2)와 왼발 비주발서기(class 3) 그리고 눈감고 주발서기(class 4)이다. 앉아자세는 의자에 엉덩이를 밀착한 반듯한 자세이며, 양발서기 자세는 해부학적 자세를 기준으로 머리와 어깨 골반 라인 그리고 발의 신체 중심선이 수직선상 상에 위치하도록 지시하였다. 한발서기 자세는 양팔을 벌린 자세에서 오른발 발을 주축발로 하였으며 반대발의 허벅지는 지면과 수평이 되도록 지시하였다(Kouvelioti, Kellis, Kofotolis & Amiridis, 2015). 눈뜨고 한발서기는 전방 5 m 높이 1.5~1.8 m에 10~15도 상단에 표식점을 응시하도록 하였으며, 눈감고 한발서기는 눈뜨고 한발서기와 동일한 자세에서 눈에 안대를 착용하여 시각정보를 차단하였다. 30초 측정시간 동안 눈뜨고와 눈감고 한발서기를 올바르게 시행하지 못할 경우 다시 재시도 후 성공한 자료만을 사용하였다. 자세 측정 시 실험 전 충분한 사전 연습을 하였으며 맨발로 하였다. 30초간 2회씩 반복하여 총 12회 측정하였다. 이 중 시각정보 유무에 대한 동작은 시각을 차단한 주발서기 자세유형(class 4)이 가장 난이도가 높은 동작이며 실험분석 시 주발서기만으로 한정하였다. 시각을 차단한 상태에서의 비주발서기 성공사례가 제한되어 데이터 분석 시 제외시켰다.

뇌파 실험은 최초 앉은자세로부터 시작하여 양발서기로 일어나 자세유형 간 30초의 뇌파를 측정하였다. 이는 사건유발 전위(event related potential) 검사를 통하여 뇌파 판독을 원활하게 하기 위한 것이다. 뇌 측정 부위는 전두엽, 측두엽, 두정엽, 후두엽 4개 부위이며, 전두엽(10채널; FP1, FP2, F7, F3, FZ, F4, F8, FC3, FCZ, FC4), 측두엽(8채널; FT7, FT8, T7, T8, TP7, TP8, P7, P8), 두정엽(9채널; C3, CZ, C4, CP3, CPZ, CP4, P3, PZ, P4), 후두엽(3채널; O1, OZ, O2) 그리고 귓불전극(A1, A2)을 포함한 32채널이다. 뇌파의 주파수대역은 서파인 델타파(0.5~4 Hz), 세타파(4~7 Hz), 기본파인 알파파(8~14 Hz) 그리고 속파인 베타(14~30 Hz)로 분류되는 저주파대역(0~ 60 Hz)이다. 뇌파 전압(μV)을 스펙트럼 분석, 즉 FFT 변환 주파수 영역에 따라 분리 변환 후 주요 주파수대역과 주파수의 최대진폭 크기를 해석하였다. 뇌파장비는 최신 디지털시스템 Neuornics32 Plus (InterMed.) 초당 샘플링사이즈는 128 Hz/s이다. 주파수별 뇌파신호는 주파수 영역의 변환을 위한 푸리에 변환 및 대역필터(BPF; high pass filter 0.47 Hz, low pass filter 75 Hz)를 통하여 추출한다. 뇌의 전기적 활동을 보다 잘 나타내기 위해서는 통상적으로 20~30초에서 1~2분 정도의 자료에서 Power(진폭의 양, 진폭의 제곱(V2))를 계산한다.

실험 1. FFT 변환을 활용한 뇌파계와 역학변인의 분석

자세유형 별 안정성 평가는 인체무게중심점(CoG)과 발바닥 압력중심점(CoP)의 궤적변화에 대한 안정화지수(stability index)를 사용하였다.

안정화지수

X: AP 방향(전후), Y: ML 방향(좌우), N: numbers

동력학 역진자모델에 기초하여 자세 흔들림 시 발생되는 역학변인으로는 발바닥 압력중심(CoP; center of pressure)과 발목관절 모멘트(ankle joint moment) 그리고 뇌 신호를 탐색하였다. 바로서기 동작 시 평형상태는 외력과 내력의 총합(CoG-CoP = 0)이 "0"이다(Hall, 2016; Latash & Zatsiorsky, 2016). 몸의 불균형 상태는 CoG-CoP ≠ 0이다. 이 실험에 사용된 분석장비는 Motion Capture System (Opti-Track, Visual 3D, 120 Hz), 지면반력기(Kistier, 9287BA, 1,200 Hz)이며, 광학식 마커기반 3차원영상시스템의 3차원 좌표계로부터 강체분절모델을 통하여 CoG를 산출하였다. 전역좌표계 설정은 전후방향(AP) x-axis, 좌우방향(MP) y-axis으로 정의하였다. 실험 1의 시계열 분석 자료는 주파수계열 분석을 위한 기초조사로서 활용하였다.

실험 2. 인공지능 딥러닝 순환신경망(GRU)을 이용한 뇌파계의 분석

GRU는 4단계 절차로 이루어지며 1단계는 데이터 전처리과정, 2단계 데이터 상관관계분석, 3단계 GRU 네트워크 학습연산과정 그리고 마지막 4단계 성능지표 평가 순으로 분석하였다.

1단계. 데이터 전처리과정

딥러닝 순환신경망 알고리즘을 사용하기 위해서 뇌파신호를 프레임으로 나누는 과정이다. 데이터 전처리과정은 GRU 기계학습 전에 데이터 무작위 섞음(DataShuffle), 데이터의 표준정규 분포화(StandardSclaer), 원-핫-인코딩(OneHotEncoder) 순차적 과정으로 무작위로 섞되 측정데이터에 대한 레이블(label)은 보존하면서 이진화 하였다.

2단계. 데이터 상관관계분석

2단계로 뇌파의 적절한 GRU 알고리즘 작동을 확인하는 데이터 상관관계분석 과정은 <Figure 2> (A) 데이터 같다. <Figure 2> (A-1)는 5가지 자세유형의 예시이며, 뇌파 32채널 (a) FP1, (b) F7, (c) T7, (d) CZ, (e) TP8, (f) P4 중에서 뇌-운동유형 간 고유의 데이터 특성을 보여준다. <Figure 2> (A-2)는 x 축과 y 축의 선형 상관관계를 확인하기 위해서 피어슨 상관계수(PCC; pearson correlation coefficient)의 연관성을 나타낸 것으로 PCC의 값은 채널 상호간의 상관관계가 양의 관계를 가지면 +1에 가까우며, 음의 상관관계에 가까울수록 -1 값에 가까워진다.

Figure 2. GRU network structure. (A) Step 2: (A-1) EEG signals by posture type (0: class 0, 1: class 1, 2: class 2, 3: class 3, 4: class 4); (a), (b): Frontal lobe (FP1, F7), (c), (e): Temporal lobe (T7, TP8), (d), (f): Parietal lobe (CZ, P4). (A-2) Pearson correlation coefficient (PCC) between EEG channels. (B) Step 3: (a) Process of dividing EEG signals of five posture types (class 0, 1, 2, 3, 4) into frames. (b) input layer: performs the learning process, (c) GRU layer: performs the calculation process for prediction (assigning weights), (d) fully connected layer: performs the function of modifying the learning weights and the backpropagation process. (e) output layer: motion recognition prediction.

Modify Delete

3단계. GRU 네트워크 구조 및 학습 연산과정

3단계는 연산과정으로 기계학습이 이루어진다. 기계학습을 위한 GRU 네트워크 구조와 연산과정은 <Figure 2> (B)와 같다. <Figure 2> (B)에서 (a)는 EEG 데이터의 프레임으로 나누는 과정이다. (b)는 학습과정 수행 input layer (x1, x2, ... xn)로 정의된다. (c) GRU layer는 순환신경망의 은닉층(hidden layer)으로 구성되며 GRU layer에서 자세예측을 위한 연산과정을 수행하며, GRU layer에서는 dropout을 설정하여 과대적합을 줄였다. 은닉층에서 초기 설정된 가중치를 바탕으로 학습하고 역전파 과정을 통해서 가중치를 지속적으로 수정하면서 예측을 위한 데이터를 (d) Fully connected layer를 통해서 (e) output layer로 전달하면서 연산과정을 거쳐 기계학습을 수행하였다.

4단계. 성능지표 평가

성능지표 평가는 통계와 알고리즘을 통합하여 상호 간의 관계를 찾는 절차이다. GRU 네트워크는 기계학습 연산과정 시 GRU 구성에서 입력데이터로 사용되는 프레임 설정 시 겹침 유무에 따른 성능지표를 탐색하여 GRU 모델의 최적화를 구현하여 운동예측 적중률을 개선하였다.

4. 통계분석 및 데이터 처리

실험 1에서 사용한 통계분석은 시계열 분석 시 CoM, CoP의 안정화지수, 주파수계열 분석 시 , , 를 역학변인으로 하여 두 집단 간, 자세유형 간 차이가 있는지를 검증하기 위하여 반복측정분산분석(repeated measures ANOVA)을 하였다. 뇌파데이터의 경우 신뢰성을 확보하기 위하여 등분산 가정를 검정하였다. Mauchly 구형성 검정의 만족여부에 따라 결과를 제시하였다. 등분산 가정 이탈 시 검증 통계량의 자유도를 보정해주는 그린하우스-가이서(Greenhouse-Geisser)의 F-분포의 보정하여 엡실론(ε) 값을 기초로 계산된 유의확률(p, Adj. G-G)을 사용하였다(Field, 2013). 사후검정은 유의수준 p<.05, p<.01 수준으로 하였으며, 사용된 통계프로그램 SPSS (ver. 22.0)이다. 역학변인 데이터의 주파수계열 분석은 공학용 소프트웨어 MatLab (ver. 22)의 FFT 변환 알고리즘을 이용하였다. 실험 2에서 사용된 프로그래밍 언어는 데이터 전처리과정에서 파이썬(Python) 모듈인 ScikitLeran을 사용하였으며, Tensor flow 플랫폼을 활용하여 딥러닝 순환신경망 네트워크(GRU) 성능지표를 개선하여 최적화를 얻었다. 실험 1의 fEEG 주파수성분 데이터를 이용하여 실험 2에서 자세유형의 운동예측을 탐구에 사용하였다.

1. 실험 1

1) 시계열 분석

자세유형 별 안정화지수 비교 시 체조선수그룹인 우수집단이 보다 안정적인 동작결과를 보였다. CoG와 CoP 변인의 집단 간 비교 시 class 2의 CoG안정화지수(t=-3.108, p<.011), CoP 안정화지수(t=-4.617, p<.001), class 4의 CoP안정화지수(t=-3.080, p <.012)로서 통계적으로 유의한 차이가 나타났다. 발목관절 모멘트 역학변인 결과 자세유형 class 1, class 2, class 4에서 유의한 차이가 나타났으며(AP 방향; p<.001, F=9.337; ML 방향; p<.000, F=26.299), 집단 간 비교에서도 유의한 차이가 나타났다(AP 방향; p<.000, F=50.874, ML 방향; p<.000, F=75.266).

2) 주파수계열 분석

(1) 분석

바로서기 자세유형 별 역학변인의 경우 시각정보를 차단한 class 4 자세유지가 어려운 동작에서 우수집단 9.09 Hz (0.85 dB)과 일반집단 8.79 Hz (2.89 dB) 간 최대출력 비교에서 통계적으로 유의한 차이가 나타났다(t=-2.640, p<.025). Class 2의 경우 AP 방향 fCoP에서 우수집단 주파수대역 8.46 Hz, 최대출력 3.57 dB이며, 일반집단은 8.57 Hz, 4.23 dB로서 조사되었으며, ML 방향에서는 주파수대역과 최대출력이 우수집단 8.45 Hz (1.35 dB)과 일반집단 8.45 Hz (1.81 dB)로써 조사되었다. Class 4의 경우 두 집단 모두 주파수대역 8.57 Hz가 관측되었으나 최대진폭 출력은 우수집단 3.58 dB, 일반집단 5.49 dB으로 운동패턴에 따른 고유한 주파수대역과 최대 출력값들이 존재하여 나타났다.

(2) 분석

자세유형 별 역학변인의 분석결과 주요주파수 대역에서 의미 있는 통계적 차이가 발견되었다. AP 방향 주요주파수 신호가 우수집단(4.42±2.76 Hz), 일반집단(7.37±5.25 Hz)으로 유의한 차이가 나타났다(F=104.219, p<.019). 우수집단에서 보다 느린 저주파대역의 주파수가 검출되었다. 반면 ML 방향에서 의 경우 유의한 차이가 발견되지 않았다.

(3) 분석

자세유형 별 역학변인의 분석결과 전두엽에서 통계적으로 유의한 차이가 나타났다(f(1)=277.84. p<.05). Class 1 (, 3.90 Hz), class 2 (, 2.92 Hz), class 3 (, 3.03 Hz), class 4 (, 12.92 Hz)의 주요 주파수대역이 자세유형에 따라 차이가 있음을 확인하였다. 전두엽의 서파(세타파, 델타파), 기본파(알파파), 속파(베타파)의 주파수대역에서 분석결과는 다음과 같다.

 세타파(4~7 Hz): Class 1과 class 4 자세유형 비교에서 -16.33±1.75 (t(1)=-13.23, p<.05) 그리고 class 3과 class 4에서 -21.40±8.22 (t(2)=-4.51, p>.05)로 유의한 차이가 나타났다.

 알파파(8~14 Hz): Class 1과 class 4는 -9.02±.01, (t(1)=-135.78, p<.05)로 유의한 차이가 나타났다. Class 2와 class 4 조건은 -9.99±.53, (t(1)=-26.46, p<.05) 그리고 class 3과 class 4 조건은 -9.88±.81, t(2)=-17.33, p<.05로 유의한 차이가 나타났다.

 베타파(14~30 Hz): Class 1과 class 2 조건은 .28±.08 (t(2)= 6.52, p<.05) 그리고 class 2와 class 3 조건은 -.15±.04 (t(2)= -6.53, p<.05)로 유의한 차이가 나타났다. 분석결과를 요약하면 대뇌피질의 전두엽이 가장 활발하게 나타났으며, 다음으로 두정엽 순으로 조사되었다. 일반적으로 안정적인 통제된 자세균형 시 Alpha (α, 8~18 H)가 활성화되었으며, 불안정성이 커질수록 속파인 Beta (β, 13~30 Hz)가 활성화되는 것으로 조사되었다.

2. 실험 2

1) GRU 모델의 최적화

GRU 모델의 최적화는 성능지표(metrics) 차이로 나타나며 <Figure 3>과 같다. 성능지표는 정확도(accuracy)와 비용함수(loss)의 검증결과로서 EEG 데이터 프레임 설정 시 겹침(over- lapping)을 허용한 것과 허용하지 않았을 경우의 가중치에 대한 예측결과이다. 본 연구결과 <Figure 3>에 나타난 바와 같이 성능지표의 결과인 정확도와 비용함수는 epochs(학습횟수)에 따라 변하게 된다. 첫째, <Figure 3> (a1)과 (b1) 비교를 통해서 겹침을 허용한 설정에서 정확도(accuracy)는 기계학습 정확도(train accuracy)와 검증 정확도(validation accuracy)가 유사하게 변하는 것을 알 수 있다. 둘째, <Figure 3> (a2)와 (b2)를 통해서 비용함수의 경우에는 겹침을 허용하여 설정한 경우 5 epoch 부근에서 0.1로 안정되게 수렴하는 것을 알 수 있다. 하지만 <Figure 3> (a2)의 겹침을 허용하지 않은 경우 검증데이터(validation data)의 비용함수가 epoch에 따라서 큰 변화를 보이는데 이것은 과대적합이 있음을 나타낸다.

Figure 3. Optimization of GRU model. (A) No overlap allowance weight, (a1) accuracy (a2) cost function (B) Overlap allowance weighted, (b1) accuracy (b2) cost function

Modify Delete

본 연구의 GRU 모델 최적화는 기존 GRU 알고리즘의 네트워크 구성에서 과대적합(over fitting)의 추정치와 프레임 설정 시 겹칩 유무에 따른 실측값(true class)과 예측값(predicted class)을 기계학습 시킨 것이다. 기계학습 이후 검증데이터(validation data)의 최적화 가중치 결과를 매 epochs 마다 평가하는 설정 조건을 수행하도록 학습시켜 자세유형 별 운동패턴에 대한 정확도와 비용함수를 개선하여 운동식별의 정확도를 향상시켰다. 본 실험에서 EEG 프레임과 프레임 사이의 겹침을 16개의 데이터(1/8초)로 설정하였으며, training data와 test data는 8:2로 나누었다. <Figure 3> GRU 모델의 최적화 과정에서 기계학습(train accuracy)의 가장 적절한 모델의 겹침 허용 가중치는 train data의 20%로 설정한 경우였다.

2) 운동식별의 추정 예측결과

GRU 모델 최적화에 따른 혼동행렬(confusion matrix)의 운동식별 추정값인 동작 예측의 결과는 <Figure 4>와 같다. 추정결과는 실측값과 예측값 간 차이이다. <Figure 4> (A)는 기존 GRU 알고리즘 적용이며, <Figure 4> (B)는 GRU 알고리즘 최적화 가중치를 학습시켜 본 실험에서 개선한 연구결과이다. <Figure 4> (B) 결과에서 운동식별 예측결과 정확도가 최고 99.15% (class 2), 최저 94.67% (class 3)로서 평균 97.38%까지 뇌파정보로부터 GRU 성능지표 가중치에 의한 운동식별 예측 적중률의 성과를 얻었다. 반대로 타 자세유형 class 별 일치도는 최저 0.00%에서 최고 2.13%로 나타남으로서 운동식별 추정이 정밀하게 구현되고 있었다. 자세유형 class 별 운동식별 예측의 개선 성과는 앉은자세(class 0) 5.49% (93.33% → 98.82%), 양발서기(class 1) 7.32% (90.91% → 98.23%), 눈뜨고 주발서기(class 2) 2.52% (96.63% → 99.15%), 눈뜨고 비주발서기(class 3) 15.92% (78.75% → 94.67%), 눈감고 주발서기(class 4)는 7.03% (89.02% → 96.05%)로써 평균 7.66% (최저 2.52% (class 2), 최고 15.92% (class 4))로서 크게 증가되었다. 또한 <Figure 4> (B)에 나타난 바와 같이 시각정보 유무 판단에 따른 바로서기 운동패턴의 기계학습에 의한 비교평가에서도 눈뜨고 비주발서기(class 3)와 눈감고 주발서기(class 4) 간 일치도가 1.82%와 1.25%로 명확히 구분되고 있었다.

Figure 4. Comparison of performance indicators of Confusion matrix according to GRU model optimization for each posture type (class 0, 1, 2, 3, 4). (A) No weighting allowed for EEG, (B) Weights allowed for EEG.

Modify Delete

이 연구는 뇌-운동 간 인체 내 생체신호로부터 운동신경기전의 이해에 대한 통섭적 접근으로서 운동 시 집중하고 몰입할 때 뇌의 운동피질의 활성화 수준과 역학변인 간 긴밀한 운동매개 변수로서의 운동명령신호를 관찰하였다.

첫 번째 실험 1 결과로부터 뇌 신호와 운동역학 변인 간 주파수대역과 파워값에 대한 주파수성분 분석으로 그룹 간, 자세유형 간 통계적으로 유의한 차이가 있는 것을 확인하였다. 바로서기 자세조절과 유지는 중추신경계인 뇌의 운동명령신호가 근골격계에 전달되는 근신경계 결과물이라 할 수 있다. 실험 1 연구결과에서 나타난 바와 같이 자세 흔들림이 클 경우 주파수 진동과 뇌의 활성화에 다른 신호대역와 파워값이 비례하여 증가하며, CoP 변동이 작을 경우 EEG 주파수 변동도 작게 연동되는 연관성을 나타내었다. 집단 간, 자세유형 간 와 그리고 에서 주파수대역과 최대출력에서 차이가 있는 것을 객관적으로 입증하였으며, 운동난이도에 따른 와 그리고 주파수대역에서 고유한 주파수 파동들이 변화됨을 관찰할 수 있었다. 본 연구결과 뇌 반응에 의한 뇌파 분석결과 운동조절 시 자세동요가 제한되어 평형상태가 잘 유지되는 경우에는 발목관절토크는 4~8 Hz에서 주요주파수가 검출되었으며, 자세동요가 허용되는 일반적인 자세조절에서는 8~9 Hz 대역에서 와 의 주파수가 특징적으로 변화되어 나타나는 것을 확인하였다. 이는 뇌-척수 신경반응기전의 역학적으로 해석한 선행연구(Yoo, 2019)에서도 뇌 활동 주파수 신호파형 간 긴밀한 관계를 있다고 보고하고 있는 바, 뇌 신호와 역학변인 간 인체운동 시 근신경계가 하나의 운동단위로서 뇌 연결성을 확인하였다.

두 번째 실험에서는 첫 번째 실험의 뇌파를 토대로 사람의 뇌에서 집중하는 수준과 인체운동 간 긴밀한 뇌 연결성을 입증하는 것으로서, 최근 개발된 인공지능 딥러닝 순환신경망의 네트워크 알고리즘으로 동작인식의 운동매개 변수(move- ment parameters)로서 뇌 신경활동 시 발생하는 뇌파계를 빅데이터로 간주하여 뇌파계와 역학변인 간의 운동식별 예측을 구현하였다. Presacco, Forrester & Contreras-Vidal (2012)은 EEG와 EMG의 주파수계열 분석에 의한 뇌-근육 변수들 간 매우 높은 상관관계(r=0.898)를 보고하고 있으며, 인체 사지 내(intra-limb) 및 사지 간(inter-limb) 운동과 EEG가 높은 상관계수(r=0.75)가 있다고 보고한 바 있다. 또한 Slobounov, Hallett, Caoa & Newell (2006) 연구결과에서도 바로서기 자세조절이 안정적으로 잘 통제되는 경우 뇌파의 기본파인 알파파(α, 8~14 H 이완/휴식) 주파수대역에서 증가되어 나타났으며, 자세 흔들림이 의도적으로 크게 발생시킨 경우 속파인 베타파(β, 14~30 Hz 활동/집중)가 두드러지게 활성화되었다라고 인용하고 있다. Tse et al. (2013)은 대뇌피질 활성화에 대한 자세동요 및 리듬 뇌파 분석에서도 바로서기 균형작업 중 EEG 변화를 측정한 결과 전두엽과 두정엽에서 작업 난이도가 증가하고 동작이 어려워졌을 때 베타 및 시그마 영역의 파워값이 크게 증가되었다라고 보고하고 있다. 이를 뒷받침하는 또 다른 선행연구로서 보행 시 뇌파 측정을 통한 뇌 신호와 근신호 간 상관관계에 관한 연구에서도 정상인과 뇌졸중 환자 보행 장애에 따른 뇌대피질 영역의 좌우 두정엽과 후두엽 영역에서 보행속도에 따른 뇌 연결성이 관찰되었다(Jin et al., 2014; Hong, 2018). 그리고 Slobounov et al. (2006) 연구에 의하면 대뇌피질에서 자발적 자세 흔들림 반응의 개시와 조절에 관여하는 발바닥압력과 EEG의 주파수 영역에서 알파, 베타 및 감마대역에서 차동 변조되어 발견됨으로서 뇌가 직접적으로 관여함을 규명하였다. 특히 자세 불안정성이 증가되어 균형 난이도가 증가하고 균형작업이 극도로 어려워졌을 때 대뇌피질과 대뇌피질 하 뇌-척수의 제어를 지원하는 것으로 보고하고 있다(Tse et al., 2013; Yoo, 2019). 이러한 연구보고 이외에도 뇌와 운동신호 간 긴밀한 연결성을 시사를 여러 연구사례에서 찾을 수 있다. 최근에는 신경과학분야의 가상 현실(VR)분야에서 자세조절 바이오피드백 연구에서는 뇌파검사, 근전도검사 및 압력중심의 신호를 병행하여 자세제어 적응의 정량적 패턴을 식별하여 예측하는 기계학습에 의한 연구사례가 발표된 바 있으며, EMG 기능과 CoP 기능을 함께 사용하면 평균 정확도 74.4% (±8%)와 6단계 중 5단계까지 예측할 수 있다고 보고하고 있다(Stehle et al., 2022).

바로서기 자세조절 시 뇌와 근골격계 상호 간 운동협응의 복잡한 생체신호들을 분석하는데 인공지능 기반 연구도구의 활용성이 보다 클 것으로 보인다. 이에 본 실험 2에서는 실험 1의 뇌의 운동지시 하에 자세조절과의 연계성을 근거로 뇌 자극에 의한 뇌파의 주파수대역과 출력(파워)결과로부터 인공지능 딥러닝 순환신경망을 기반으로 인체 동작인식 예측의 정량적 성과를 실용적인 단계인 평균 97.38% 최고 99.15% (class 2)까지 향상된 점에서 본 연구의 의미와 가치가 있다. 이러한 개선 결과는 뇌파와 역학변인들 간의 운동패턴의 자세인식에 대한 예측성에 대한 뇌 연결성을 검증한 것이다. 실험 2에서 뇌의 신경활동에 대한 인체 동작인식을 유도할 수 있음을 시사하는 것이다. 복잡한 인간 움직임에 대한 뇌의 신경회로의 감각, 인지, 운동기술 명령 정보를 하나의 운동패턴으로서 인식하여 인공지능으로 기계학습 시켜 사람의 운동식별 추정결과를 구현을 제시할 수 있었다. 이는 뇌신경학분야의 뇌 회로, 상호작용방식 및 행동과의 관계를 구체적으로 이해하기 위해 동적 시스템 프레임워크를 사용하여 뇌 여러 영역에 걸쳐 운동매개 변수로 모델링하는 신경인구역학모델(neural population model) 이론과도 일치된다(Churchland et al., 2012). 이러한 결과는 다음의 뇌과학 및 뇌공학분야의 연구에서도 찾아볼 수 있다. 움직임의 뇌과학자 캐럴라인 윌리엄스는 그의 저서(2022)에서 신경과학자 안토니오 다마지오는 운동할 때 만이 아니라 움직임이 없는 일상에서도 두뇌는 근골격계와 계속해서 커뮤니케이션을 하고 있다고 말한다. 이렇듯 뇌 지시 하의 운동지시 신호는 신체운동과 일상에서 신경전달물질을 통하여 늘 소통하고 있다(Williams, 2022). 최근 과학기술정보통신부 주관 사업으로 뇌공학의 뇌-기계 인터페이스 분야에서는 사람의 운동제어 시 뇌 활동으로부터 체성감각(somatosensory)과 대뇌의 실시간 피드백에 따른 뇌신경 활동신호를 추출해내는 디코딩 기술을 개발하여 손실된 운동기능을 복원시키는 로봇팔 연구개발이 진행되고 있다(Kim, 2019). 이러한 뇌-컴퓨터연결(BTI) 분야의 신경정보처리 기술들이 실용화를 위한 기초단계까지 크게 발전되고 상황에서 최근의 연구 동향과도 잘 부합된다. 부가적으로 인공지능 기술활용은 연구자의 데이터 분석과 해석 시 인위적인 오류를 최소화하는데 많은 도움을 제공할 수 있기에 연구 효율성과 효과성에 혁신적으로 기여할 수 있다. 본 연구의 인공지능 기반 운동식별 연구성과는 다양한 신체활동 시 운동정보를 탐색, 설명하고 적용하는 4차 산업시대에 신경역학(neuromechanics), 바이오헬스, 임상의학, 운동재활프로그램 개발, 스포츠산업 등 뇌-컴퓨터연결(BCI) 분야의 발전에 강력한 연구도구가 될 것으로 전망된다(Chen et al., 2022; Kim & Oh, 1997; Eun et al., 2021; Hamet & Tremblay, 2017; Mao & Vinson, 2018). 또한 뇌 정보를 이용한 인공지능 기반 솔루션은 휴먼헬스 디지털테크놀로지 시대의 인간운동 연구분야에 많은 부분을 변화시킬 것으로 보인다(Lee, 2022). 본 연구의 범위는 예시 중심으로 연구모형을 설계하였다. 연구 제한점으로 실험데이터 량의 한계와 함께 임상질환자와 같은 다양한 실험집단의 참여가 필요 시 되며, 근신경역학 이론 및 모델에 근거한 후속연구가 진행된다면 연구의 일반화에 기여할 수 있을 것이다.

이 연구는 바로서기 동작 시 운동 원인이 되는 힘(force)에 대한 생체신호인 운동역학 변인과 뇌 신호 간 운동기전 이해를 도모하기 위하여 뇌 연계성의 타당성을 분석한 결과 다음과 같은 결론을 얻었다.

실험 1에서는 사람의 뇌에서 집중하는 수준과 인체운동 간 긴밀한 상관관계가 있는가에 대한 결론으로서 FFT 주파수 변환에 분석결과 자세유형 별 자세조절 난이도에 따른 CoP, Torque, EEG 역학변인 간 유의미한 차이가 나타났으며, 우수집단과 일반집단 비교에서 안정성 평형능력에 따른 통계적 차이를 확인할 수 있었다. 대뇌피질의 뇌대엽 중 전두엽에서 가장 활발하게 나타났으며 세타파, 알파파, 베타파에서 유의한 차이가 나타났으며, 구체적으로 이러한 결과는 뇌 신호 와 역학변인 와 간 뇌 영역의 고유한 주파수 대역과 출력값들이 하나의 운동단위로서 근신경계가 연계됨을 확인하였다. 실험 2에서는 실험 1의 뇌파로부터 사람의 운동식별 구현이 가능한지에 대한 객관성을 얻기 위하여 인공지능 기계학습에 의한 GRU 모델 성능지표의 최적화로부터 운동식별의 예측 정확도를 최저 94.67%에서 최고 99.15%까지 구현하여 그 타당성을 검증할 수 있었다.

이러한 결과들로부터 운동수행 시 뇌 영역의 뇌파계로부터 운동역학 변인 간 동작인식추정이 가능함을 확인하였다. 향후 운동역학의 신경역학 학문분과에 인공지능의 연구툴로서 활용된다면 뇌과학의 새로운 연구 패러다임으로 보다 많은 혁신이 있을 것으로 보여 진다.