Drosophila melanogaster에서 추적 및 자동 행동 정량화 프로토콜

요약

이 프로토콜은 파이썬의 자세 추정을 사용하여 쌍을 이룬 초파리의 주요 신체 지점을 추적하며, 특히 사회적 상호작용에서 미묘한 사회적 행동과 열맵 및 운동 궤적을 자동으로 정량화할 수 있게 합니다.

초록

전통적인 중심체 기반 추적 방법의 한계를 극복하는 오픈 소스 분석 도구를 개발하기 위해, 우리는 자유롭게 행동하는 초파리 쌍의 사회적 상호작용을 정확히 분석하는 프로토콜을 제시합니다. 구체적으로, 이 프로토콜은 고해상도 네트워크(HRNet) 프레임워크에서 영감을 받아 머리, 흉부, 복부, 좌우 날개 끝 등 다섯 개의 해부학적 핵심 지점을 동시에 추적하여 사회적 행동의 정량적 분석을 위한 고해상도 좌표 데이터를 생성하는 것을 목표로 합니다. 이 프로토콜은 파이썬과 우리가 설계한 그래픽 사용자 인터페이스(GUI)를 기반으로 한 완전한 워크플로우를 제공하며, 데이터셋 구축, 모델 학습, 자동 좌표 추출, 공간 점유 히트맵, 이동 운동 궤적, 파리의 사회적 상호작용 비율을 생성하는 통합 모듈도 포함합니다. 이 프레임워크를 검증하기 위해 널리 사용되는 두 가지 균주인 w1118과 Canton-S(CS)를 사용하여 테스트했습니다. 우리의 결과는 핵심점 탐지의 안정성을 입증했으며, 공간 활용도와 기관차 구조에서 유전자형별 차이를 드러냈습니다. 이 방법론은 초파리의 정량적 행동학과 사회적 상호작용의 자동 분석을 위한 확장 가능한 기반을 제공하며, 수동 주석 작업을 줄이고 재현성을 향상시킵니다.

서론

Drosophila melanogaster는 강력한 유전적 도구와 잘 매핑된 신경 회로를 가진 널리 사용되는 모델 생물로, 행동의 기전적 해부를 가능하게 합니다^. 구애와 공격성 등 다양한 사회적 행동을 가지고 있으며, 강한 학습 능력 은 2,3,4,5,6,7,8입니다. 각 신경은 작지만 매우 잘 조직된 신경계에 의해 제어되는 뚜렷한 운동 요소로 구성되어 있습니다. 중요하게도, 신체 자세의 정확한 측정은 행동 선택의 신경학적 기초를 이해하는 데 필수적이다. 많은 행동들이 맥락적 및 내적 상태 정보를 암호화하는 세밀한 자세 모티프를 포함하고 있기 때문이다 ^9,10.

개별 차이를 포착하기 위해 단일 플라이 해상도가 필요함에도 불구하고, 초파리의 많은 고처리량 행동 분석은 여전히 그룹 수준 지수에 의존합니다¹¹. 고처리량 행동 분석에는 사회적 선호에 대한 T-미로 테스트(^12,13), 비행 간 거리를 정량화하는 사회적 간격 분석, 감각 자극 하의 집적/회피 패러다임 등이 포함되며,¹⁴는 집단 추세를 효율적으로 포착할 수 있다. 하지만 본질적으로 개인의 평균화를 수반하여 행동 시퀀스와 사회적 교환의 시간 구조의 이질성을 가립니다. 수년간 파리별 식별 시도는 운동학 임계값을 이용한 규칙 기반 사건 감지, 중심 추적을 이용한 배경 빼기, 수동 비디오 주석^{15, 16, 17, 18} 등 기능적으로 제한된 방법에 의존해 왔습니다. 그 결과, 돌진, 두드리기, 날개 위협과 같은 별개의 행동은 종종 무시되거나 잘못 표시되어 상당한 수작업 교정이 필요합니다. 이러한 제약은 신경 활동과 개별 행동 간의 정밀한 시간적 정렬을 요구하는 메커니즘 연구를 제한했다.

최근 컴퓨터 비전과 머신러닝 기반 포즈 추정의 발전 덕분에 혁신적인 해결책이 이제 등장했습니다. DeepLabCut¹⁹ 와 SLEAP²⁰ 과 같은 오픈소스 프레임워크는 마커 없이 신체 부위 감지, 개별 행동의 확장 가능한 분류, 그리고 밀접한 상호작용 중에도 개인 정체성을 보존할 수 있게 합니다. 이러한 특징들은 이전의 집단 기반 및 규칙 기반 접근법의 단점을 극복하고 복잡한 사회적 행동을 반복 가능한 정량화할 수 있게 합니다.

초파리의 개별 상호작용은 사회적 상호작용의 진행을 나타내는 독특한 운동 특징으로 특징지어집니다. 예를 들어 공격성에는 돌진, 날개 위협, 그래플링과 같은 전형적인 행동이 포함되며, 이들은 모두 갈등 단계가 심화되는 것을 나타냅니다 ^21,22. 구애 역시 방향, 노래 생성과 함께 일측 날개 확장, 두드리기, 교미 시도로 정의되며, 이들이 결합되어 교미 상호작용의 시간적 순서를 형성합니다²³. 이러한 모티프를 포착하는 것은 신체 자세와 관절 움직임을 정확히 인식하는 데 달려 있습니다^24,25. 실제로 샘플링은 미묘한 운동 패턴을 정확히 감지하고 신경 활동과 정렬할 수 있도록 장시간 기록 기간 동안 높은 공간적·시간적 해상도를 요구한다^25,26.

여기서는 머리, 흉부, 복부, 좌우 날개 팁²⁷을 자동으로 식별할 수 있는 오픈소스 시각 기반 프레임워크를 제시합니다. 이 시스템은 데이터셋 생성, 모델 학습, 좌표 추출을 위한 완전한 워크플로우를 포함하며, 맞춤형 행동 분류에 적합한 고해상도 시계열 데이터를 출력합니다. 수동 주석 처리 과정을 자동화하고 분석 워크플로우를 표준화함으로써, 우리의 방법은 사회적 상호작용 행동에 대한 세밀한 정량적 분석을 가능하게 하여 효율성과 재현성을 높이고 분석에 필요한 시간과 노동을 크게 줄입니다.

시스템의 신뢰성을 검증하기 위해, 우리는 흔히 사용되는 두 가지 실험실 균주인 w1118과 Canton-S(CS)에 적용하여, 프레임 간 안정적인 핵심점 검출과 함께 머리 거리와 방향 각도에 따른 공간 점유, 궤적 특징, 사회적 상호작용 지표에서 유전자형별 차이를 관찰했습니다. 연구자들은 필요한 시공간 해상도(≥30 fps, ≤0.5 mm/픽셀)와 비디오 녹화 조건(조명 및 명암비)을 바탕으로 이 프로토콜의 적합성을 평가할 수 있습니다. 픽셀 크기는 카메라 설정에서 직접 결정할 수 있습니다. 측정된 몸 길이를 가진 초파리를 영상 시야 안에 넣어 보정할 수 있습니다. 이 프로토콜은 다음과 같은 상황에 특히 적합합니다: 두 마리의 자유롭게 상호작용하는 초파리 를 동시에 추적하고 각자의 정체성을 구별해야 하는 경우; 중심 위치뿐만 아니라 머리 각도와 거리 같은 미세한 자세에 집중하기; 수동 주석이 불가능한 경우 녹화 시간이 10분 이상; 이후 분석에서 행동 사건과 신경 활동(예: 칼슘 영상 또는 전기생리학) 사이의 밀리초 수준의 시간적 정렬이 요구됩니다.

프로토콜

1. 플라이 준비

1. 실험 전에 약 3-4일 된 파리를 짧은 CO₂ 마취 상태에서 채취하여 성별을 측정하세요.
   참고: 마취 시간과 CO₂ 유량은 각 실험실에서 사용하는 이산화탄소 실린더의 사양과 압력에 따라 달라질 수 있습니다. 파리는 마취 중에도 지속적으로 모니터링해야 하며, CO₂ 노출은 파리가 완전히 마취되어 움직임이 완전히 멈출 때까지 유지해야 합니다.
2. 각 파리를 개별적으로 50mL 팔콘 튜브에 넣고, 그 튜브에는 표준 옥수수 가루-아가-포도당-효모 배지가 들어 있습니다.
3. 사용 전까지 파리는 25°C에서 12시간 동안 빛과 어둠 사이클을 유지하세요.

2. 경기장 건설

1. 3mm 투명 아크릴 판 2장과 3mm 폴리에틸렌판 1장을 준비합니다.
2. 폴리에틸렌 판 중앙에 4개의 원형 챔버(각각 직경 35mm)를 절단합니다.
3. 클립을 사용해 한 아크릴 플레이트를 폴리에틸렌 플레이트에 접착시켜 챔버 베이스를 만듭니다; 두 번째 아크릴 플레이트는 분리 가능한 커버로 두세요.

그림 1: 행동 영역 및 영상 설정의 도식. (A) 맞춤형 관측실 건설은 도표에 묘사되어 있습니다. 챔버는 세 가지 주요 층으로 구성되어 있습니다: 3mm 투명 아크릴 베이스 플레이트; 3mm 폴리에틸렌 판과 4개의 35mm 직경 원형 컷아웃이 개별 챔버 웰 역할을 하며; 그리고 분리 가능한 덮개 역할을 하는 두 번째 아크릴 판이 있습니다. (B) 90° 어댑터 클램프를 사용해 카메라를 40cm 광틱 폴에 수직으로 설치합니다. 탑다운 이미징을 위해 카메라는 다층 관측 영역 바로 위에 위치하며, 광학 축은 챔버 표면에 수직입니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

3. 영상 설정

1. 20cm 광극 두 개와 40cm 광극 하나에 90° 어댑터 클램프를 장착하세요.
2. 카메라(1280 × 1024 픽셀)를 40cm 폴에 수직으로 장착하고, 경기장 표면에 수직으로 정렬한 후 프레임 속도를 150fps로 설정하세요.
3. 경기장을 25cm × 25cm 밝기 가능한 주광 백색 LED 패널에 디퓨전 시트로 덮어 놓으세요.
4. 경기장 표면에서 조명을 약 1500럭스로 조정하세요.
   참고: 바이너리 미리보기에서 날개 가장자리가 보이도록 하세요. 열로 인한 인공물을 방지하기 위해 >2000럭스를 피하세요. 파리는 광원의 열 스트레스로 인해 자연스러운 이동 방식이나 분포가 바뀔 수 있습니다.

4. 녹음 절차

1. 경기장 각 모서리 아래에 3cm 두께의 폼 패드를 깔아 안정적으로 하세요.
2. CO₂ 마취 하에 파리 쌍을 챔버로 옮기고; 상단 아크릴 플레이트로 밀봉하세요.
3. 파리가 40분 정도 적응할 때까지 기다려 주세요.
4. MIAS.exe²⁷을 사용해 비디오 촬영을 시작하세요: Q 버튼을 눌러 시작하고 C 버튼을 눌러 종료하세요.
   참고: 이로 인해 표준화된 조건 하에서 자유롭게 상호작용하는 파리 쌍의 영상이 연속적으로 녹화됩니다.

5. 사회활동 패널 정의

1. 전처리 스크립트를 실행하세요: 파이썬 SoAL_PreProcess.py [video_file_path]
   참고: 모든 코딩 스크립트는 보조 파일 1에 제공됩니다.
2. 챔버 면적을 주석 표시하고 Genotype_age일× 1(챔버 수) 형태의 메타데이터를 할당합니다. (예: CS_3 × 1)
3. 이진 이미지에서 날개가 거의 보이지 않을 때까지 검출 임계치 슬라이더를 조정하여 최적의 배경 감량과 날개 가시성을 확보합니다.

6. 데이터셋 준비

1. 다음 동작을 실행하여 새로운 데이터셋 폴더를 생성하세요:
   Python Tools/SoAL_DatasetGen.py DATASETNAME 10 (프레임 샘플링 간격)
   참고: 프레임 샘플링 간격 매개변수("10")는 이전에 발표된 프로토콜²⁷에서 변형되었습니다. 낮은 값은 샘플링 밀도와 계산 부하를 증가시키고, 높은 값은 계산 수요를 줄이며 사용 가능한 하드웨어 성능과 실험 요구사항에 따라 조정할 수 있습니다.
2. 'tools/SoAL_DatasetUtils.py'에서 비디오 경로와 데이터셋 경로를 설정하세요.
3. 발사 매뉴얼 라벨링 인터페이스:
   >python tools/SoAL_LabelUI.py DATASETNAME
   1. 프레임 내비게이션: 스페이스 키와 Z 키를 누르면 각각 다음 또는 이전 프레임으로 이동합니다. 또는 타임라인 슬라이더를 사용해 탐색할 수도 있습니다.
   2. 키포인트 표시: 각 이미지에서 파리의 올바른 위치(특정 순서: 머리, 흉부, 복부, 왼쪽 날개, 오른쪽 날개)를 클릭해 5개의 핵심 포인트를 표시하세요.
   3. 키 포인트 선택: 숫자 키를 눌러 키 포인트(흰색 원으로 표시됨)를 선택합니다. 다음 클릭은 선택한 핵심 지점에 새로운 숫자를 재할당합니다.
   4. 저장: 창을 닫거나 D 키를 누르면 주석 결과를 저장하세요.
      참고: 완전한 학습 세트 아카이브는 이미지 디렉터리와 annotation.json 파일 두 가지 구성 요소로 구성됩니다.

7. 모델 훈련

1. 데이터셋을 훈련 및 검증 세트로 나누세요:
   Python tools/SoAL_DatasetGen.py DATASETNAME divide
   'dataset/'에 두 개의 새로운 폴더가 생성될 예정입니다.
2. hrnet/fly_w32.yaml에서 훈련 매개변수를 설정하세요:
   회전 계수: 15°
   스케일 팩터: 0.35
   밝기 인수: 0.25
   배치 크기: 24
   시대: 200
3. 교육 프로그램을 진행하세요:
   Python HRnet/tools/train.py --cfg HRnet/fly_w32.yaml
   평균 정밀도(AP)가 정체되면 훈련 세트를 종료하고; 최고의 모델(AP > 90%)을 유지하세요.
4. 다음 방법으로 모델 검증:
   Python HRnet/tools/test.py --cfg HRnet/fly_w32.yaml
   결과: 다중 플라이 핵심 지점 탐지를 위한 견고한 HRNet 기반 모델.

8. 탐지 프로그램 실행

1. 새 비디오 파일을 비디오 디렉터리에 복사하세요.
2. 5단계에서 보여준 메타데이터에 주석을 달아주세요.
3. 실행 감지 프로그램: 파이썬 SoAL_KptDetect.py
4. 탐지 결과 점검:
   Python Tools/SoAL_ViewKptUI.py excel_file_path (.cvs/xslx)
   결과: 프레임 단위의 플라이당 다섯 개의 해부학적 랜드마크의 2차원 좌표.

9. 행동 정량화

1. 분석을 위한 독립 실행형 GUI 애플리케이션(보조 파일 2)을 실행하고 좌표 파일을 인터페이스로 가져오세요.
2. 공간 점유 히트맵(경기장 위치의 확률 밀도)을 생성하세요.
3. 좌표 시계열에서 운동 궤적을 재구성하세요.
4. 머리 거리, 방향, 유도된 사회적 상태 등 사회적 상호작용 데이터를 생성합니다.
   결과: 유전자형 특이적 공간 사용 및 이동 역학의 표준화된 시각화.

결과

그림 1 은 초파리에서 자연스러운 사회적 상호작용을 기록하는 데 사용되는 경기장 기하학, 조명 구성, 카메라 배치를 보여줍니다. 이 장치는 포즈 추정 및 좌표 추출에 적합한 균일한 조명과 안정적인 영상 조건을 보장합니다.

자동 자세 추정이 모든 녹화된 영상에 적용되어 각 파리의 미리 정의된 해부학적 핵심 지점에 대한 2차원 좌표를 추출했습니다. 모델은 근거리 상호작용 중에도 프레임 전반에 걸쳐 머리, 흉부, 복부, 날개 관절을 일관되게 식별했습니다. 그림 2 는 중첩된 핵심 포인트가 있는 대표적인 프레임을 보여주며, 녹화 전반에 걸쳐 정확한 다중 플라이 추적과 안정적인 핵심 지점 탐지를 보여줍니다. 이 단계의 신뢰성은 추출된 좌표 시계열이 후속 정량적 분석의 견고한 토대가 될 수 있음을 보장합니다....

토론

우리 연구는 기계 학습 기반 자세 추정이 초파리에서 세밀한 사회적 상호작용을 측정하는 확장 가능하고 신뢰할 수 있는 방법을 제공함을 보여줍니다. 이 방법은 중심체 기반 접근법^{15, 16, 17, 18}의 한계를 극복하며, 다섯 개의 해부학적 핵심 지점을 자유롭게 상호작용하는 쌍으로 추적함으로써 신체 축에서 제공하는 각도 정보와 머리 점에서 추론된 헤드 대 헤드 거리를 획득할 수 있게 합니다. 저희 기법은 각 영상 프레임에서 파리의 중심좌표를 추적하여 이동 경로를 파악하고, 5점 랜드마크를 사용해 머리 방향을 추정함으로써 공간적 점유 패턴과 움직임 경로를 재구성할 수 있습니다. w1118과 Canton-S 균주 모두에서 관찰된 ...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
아가르	BioFroxx	8211GR500
카메라(MV-CU013-A0UC)	Hikvision	MV-CU013-A0UC
이산화탄소	Messer	124-38-9
무수 D(+)-글루코스	BioFroxx	1179GR500
드로소필라 좁은 바이알(팔콘 튜브)	Biolgix	51-0500
에탄올	Chron Chemicals	64-17-5
LED 패널	/	/	맞춤형
메틸파라벤	Sigma	99-76-3
폴리에틸렌 플레이트	/	/	맞춤형
파이썬	/	버전 3.6
수크로오스	DaMao	57-50-1
투명 아크릴 플레이트	/	/	맞춤형
효모	Angel	100004237033