본 논문은 Anthropic의 AI 모델인 Claude를 활용하여 생체 분자 모델링을 위한 30개 이상의 오픈 소스 딥러닝 모델들을 최적화하고, 이를 통해 구조 예측 및 단백질 설계의 효율성을 비약적으로 향상시킨 연구 결과를 제시합니다.

핵심 방법론 및 기술적 상세

Claude는 전문적인 커널 엔지니어링 경험이 없는 인력의 지도하에 약 4주 동안 생체 분자 구조 예측, 단백질 설계, 단백질 언어 모델, 유전체학 모델 등을 최적화하였습니다.

1. FlashPairformer 커널 개발:

구조 예측 모델의 핵심인 Pairformer 아키텍처의 Triangle Attention과 Triangle Multiplication 연산은 시스템 크기($N$)에 대해 $O(N^3)$의 복잡도를 가지는 연산 비용과 메모리 사용량을 보입니다. 연구진은 Claude를 활용해 이 병목 현상을 해결하는 커널인 FlashPairformer를 개발했습니다. 이는 기존 필드 표준 대비 Triangle Attention에서 2.7~2.9배, Triangle Multiplication에서 1.7~3.2배의 성능 향상을 기록했습니다.

2. 모델별 최적화 및 메모리 효율화:
   • 중복되는 재계산 작업의 캐싱(Caching redundant recomputed work).
   • 데드 브랜치(Dead branches)의 상수 출력화 등 특정 모델에 맞춤화된 최적화 기법을 적용했습니다.
   • 결과적으로 전체 모델의 평균 속도는 4배 증가했으며, 동일 출력 유지 조건에서도 2배 가까운 속도 향상을 달성했습니다.

3. Big Mode (Low-memory mode):

대규모 분자 기계(예: 리보솜, 미토콘드리아 복합체 I) 예측을 위해 메모리 사용량을 최적화한 Big mode를 도입했습니다. 이를 통해 단일 NVIDIA GPU 노드에서 10,000개 이상의 토큰을 처리할 수 있게 되었으며, 실험적으로 70,000개 토큰 규모의 시스템까지 추론이 가능해졌습니다. 이는 학습된 컨텍스트 범위를 약 1.5배 이상 넘어서는 일반화 성능을 보여줍니다.

단백질 설계 성과

이전 연구에서는 *de novo* 단백질 설계에 타겟당 약 2,500개의 NVIDIA H100 GPU 시간과 서브 에이전트(sub-agents) 중심의 복잡한 구조가 필요했으나, 본 연구에서는 단일 Claude 모델이 H200 GPU 1대와 훨씬 간소화된 프롬프트를 사용하여 2주 전보다 100배 적은 컴퓨팅 자원으로 동등한 수준의 *in silico* 성능(ipSAE 점수 기준)을 달성했습니다.

연구의 의의 및 생태계 기여

• 오픈 소스화: 최적화된 코드 전체를 공개하여 과학계의 접근성을 높였습니다.
• 단백질 설계 경진대회: Adaptyv Bio와 협력하여 5,000개 이상의 설계에 대한 습식 실험(wet lab) 검증을 지원하며, 100만 달러 규모의 Claude 크레딧과 25만 달러 규모의 Modal 컴퓨팅 크레딧을 제공하여 생명과학 연구를 독려합니다.
• Life Sciences Verification Program: 생명과학 분야의 연구를 지원하기 위한 퍼블릭 베타 프로그램을 운영하며 AI 기반 과학적 혁신을 가속화하고 있습니다.