AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms

AlphaEvolve는 Google이 개발한 Gemini 기반의 코딩 에이전트로, 범용 알고리즘 발견 및 최적화를 위해 설계되었습니다. 이 시스템은 Large Language Models (LLMs)의 창의적인 문제 해결 능력과 자동화된 평가자의 검증 기능을 결합하고, 진화 프레임워크(evolutionary framework)를 사용하여 가장 유망한 아이디어를 지속적으로 개선합니다.

AlphaEvolve의 핵심 방법론은 다음과 같습니다. 먼저, prompt sampler가 LLM을 위한 prompt를 구성합니다. 이 에이전트는 최신 LLM 앙상블을 활용하는데, Gemini Flash는 탐색하는 아이디어의 폭(breadth)을 극대화하고, Gemini Pro는 통찰력 있는 제안을 통해 깊이(depth)를 제공합니다. 이 모델들은 알고리즘 솔루션을 코드로 구현하는 컴퓨터 프로그램을 제안합니다. 제안된 프로그램들은 automated evaluators를 통해 검증, 실행 및 점수화됩니다. 이 평가 지표들은 솔루션의 정확도와 품질에 대한 객관적이고 정량적인 평가를 제공하며, 프로그램 데이터베이스(programs database)에 저장됩니다. 이 데이터베이스는 진화 알고리즘(evolutionary algorithm)을 구현하여, 어떤 프로그램이 미래의 prompt에 사용될지 결정함으로써 아이디어를 반복적으로 개선하고 최적화된 알고리즘을 찾아냅니다.

AlphaEvolve는 Google의 컴퓨팅 생태계 전반에 걸쳐 적용되어 다음과 같은 중요한 성과를 달성했습니다.

데이터 센터 스케줄링 개선: Google의 대규모 데이터 센터를 조율하는 Borg 시스템을 위해, AlphaEvolve는 간단하지만 매우 효과적인 휴리스틱(heuristic)을 발견하여 Google의 전 세계 컴퓨팅 자원 중 평균 0.7%를 지속적으로 회수했습니다.

하드웨어 설계 지원: AlphaEvolve는 Tensor Processing Unit (TPU)에 통합될 예정인 핵심 산술 회로에서 불필요한 비트(bit)를 제거하는 Verilog 재작성을 제안했습니다. 이는 엄격한 검증을 통과하여 기능적 정확성(functional correctness)을 유지했음을 확인했습니다.

AI 학습 및 추론 향상: AlphaEvolve는 행렬 곱셈(matrix multiplication) 연산을 더 효율적인 하위 문제로 분할하는 방법을 찾아 Gemini 아키텍처의 핵심 kernel을 23% 빠르게 만들었으며, 이는 Gemini 학습 시간의 1% 단축으로 이어졌습니다. 또한, FlashAttention kernel 구현에서는 최대 32.5%의 속도 향상을 달성했습니다.

수학 및 알고리즘 발견 분야에서도 진전을 보였습니다. AlphaEvolve는 최소한의 코드 골격만 제공받아 새로운 경사 기반 최적화 절차(gradient-based optimization procedure)의 많은 구성 요소를 설계했으며, 이로 인해 여러 새로운 행렬 곱셈 알고리즘을 발견했습니다. 특히 4x4 복소수 행렬(complex-valued matrices)을 48번의 스칼라 곱셈(scalar multiplications)으로 곱하는 알고리즘을 찾아 Strassen’s 1969 알고리즘보다 개선된 결과를 보여주었습니다. 또한, 50개 이상의 공개된 수학 문제에 적용하여 약 75%의 경우 최첨단 솔루션을 재발견했으며, 20%의 경우 기존의 최고 솔루션을 개선했습니다. 예를 들어, kissing number problem에서 11차원에서 593개의 외부 구체(outer spheres) 구성을 발견하여 새로운 하한을 설정했습니다.

AlphaEvolve는 알고리즘 발견의 범위를 특정 도메인에서 복잡한 실제 문제 해결로 확장하는 진보를 보여줍니다. Google은 LLM의 코딩 능력이 향상됨에 따라 AlphaEvolve의 역량도 계속 발전할 것으로 기대하며, 현재 People + AI Research team과 함께 사용자 인터페이스를 개발하고 있습니다. 학술 사용자를 위한 Early Access Program을 계획 중이며, 재료 과학, 신약 개발, 지속 가능성 등 다양한 분야에 적용될 수 있는 잠재력을 가지고 있습니다.