Kronos는 금융 K-line 데이터에 특화된 unified, scalable pre-training framework를 제안하는 논문입니다. 기존 Time Series Foundation Models (TSFMs)가 금융 K-line 데이터의 고유한 특성(낮은 신호 대 잡음비, 비정상성, 복잡한 고차 의존성)으로 인해 제한적인 성능을 보이거나, 변동성 예측 및 합성 데이터 생성과 같은 주요 금융 tasks를 간과하는 문제점을 해결하고자 합니다.

Kronos의 핵심 방법론은 두 가지 주요 단계로 구성됩니다:

1. K-line Tokenization: 연속적인 다변량 K-line 데이터를 이산적인 토큰 시퀀스로 변환합니다.
2. Autoregressive Pre-training: 토큰화된 시퀀스를 사용하여 autoregressive 방식으로 모델을 사전 학습합니다.

1. K-line Tokenization (K-line 토큰화)

K-line 토큰화 단계에서는 연속적인 D-차원 K-line 시퀀스 $x = (x_1, \dots, x_T)$ (여기서 $x_t \in \mathbb{R}^D$는 OHLCVA(Open, High, Low, Close, Volume, Amount) 지표를 인코딩하며, 본 논문에서는 D=6으로 고정)를 해당되는 이산 토큰 시퀀스 $b = (b_1, \dots, b_T)$로 변환합니다. 이는 Transformer-based autoencoder (Encoder $E_{enc}$, Quantizer $Q$, Decoder $E_{dec}$)를 통해 이루어집니다.

• Binary Spherical Quantization (BSQ) 적용: 기존 비디오 양자화 방법에서 영감을 받아 Look-up Free Quantization (LFQ)의 변형인 BSQ를 사용합니다. BSQ는 연속적인 latent vector $\xi_t$를 k-bit binary code $b_t \in \{-1, 1\}^k$로 양자화합니다.
• Hierarchical Token Design (계층적 토큰 설계): k-bit 코드를 $n=2$개의 하위 공간으로 분할하여 계산 복잡성을 줄이고 계층적 정보를 모델링합니다. 각 토큰 $b_t$는 coarse-grained subtoken $b_t^c$와 fine-grained subtoken $b_t^f$로 구성되며, 이들은 각각 $k/2$ 비트 길이를 가집니다. 즉, $b_t = [b_t^c, b_t^f]$입니다. 이를 통해 전체 $2^k$ 크기의 vocabulary에 대한 단일 예측을 $2 \times 2^{k/2}$ 항목에 대한 순차적 예측으로 변환하여, 계산 및 파라미터 복잡성을 크게 줄입니다.
• Tokenizer Loss Function (토크나이저 손실 함수): 토크나이저는 계층적 재구성 손실과 BSQ를 위한 commitment loss를 결합한 복합 목적 함수로 학습됩니다:

$L_{tokenizer} = L_{coarse} + L_{fine} + \lambda L_{quant}$

• $L_{coarse} = E[\Vert x - E_{dec}(b^c) \Vert^2]$: coarse subtoken $b^c$가 입력의 주요 구조를 저충실도(low-fidelity)로 재구성하도록 훈련합니다.
• $L_{fine} = E[\Vert x - E_{dec}(b) \Vert^2]$: 전체 토큰 $b$를 사용하여 고충실도(high-fidelity) 재구성을 평가합니다. 이 때, fine-grained subtoken $b^f$는 coarse subtoken으로 표현되지 않은 잔여 정보를 인코딩하도록 유도됩니다.
• $L_{quant}$: BSQ의 양자화 손실로, 연속적인 latent vector $\xi$와 이들의 binary code $b$ 사이의 $L_2$ 거리에 페널티를 부여하여 학습 과정을 안정화합니다.

2. Autoregressive Pre-training (오토회귀적 사전 학습)

토큰화된 이산 시퀀스는 decoder-only Transformer인 $E_{ar}$를 사용하여 모델링됩니다. $E_{ar}$은 인과적 어텐션(causal attention)을 사용하여 각 시점의 예측이 오직 과거의 컨텍스트에만 의존하도록 합니다. 기본 목적은 토큰 시퀀스 $b = \{b_1, \dots, b_T\}$에 대한 joint distribution을 추정하는 것입니다:
$p(b) = \prod_{t=1}^T p(b_t | b_{<t})$
여기서 $b_{<t}$는 시점 $t-1$까지의 모든 이전 토큰을 나타냅니다.

• Hierarchical Prediction (계층적 예측): 계층적 토큰 설계에 따라 각 토큰 $b_t = [b_t^c, b_t^f]$의 조건부 확률은 chain rule을 사용하여 coarse-to-fine 의존성을 명시적으로 포착합니다:

$p(b_t | b_{<t}) = p(b_t^c | b_{<t}) \cdot p(b_t^f | b_{<t}, b_t^c)$
이는 모델이 먼저 coarse-grained subtoken을 예측하고, 이 예측이 fine-grained residual subtoken 생성의 기반이 되도록 합니다.

• Input Representation (입력 표현): 각 시점 $i$에서, subtokens $b_i^c$와 $b_i^f$는 두 개의 개별적인 임베딩 레이어(embedding layers)를 사용하여 벡터 표현 $e_c(b_i^c)$와 $e_f(b_i^f)$로 독립적으로 투영됩니다. 이 임베딩들은 연결(concatenated)된 후 선형 투영을 통해 통합된 입력 벡터 $v_i$를 생성합니다:

$v_i = W_{fuse}([e_c(b_i^c); e_f(b_i^f)])$
여기서 $[\cdot; \cdot]$는 연결을, $W_{fuse}$는 결합된 표현을 모델의 latent space로 투영하는 학습 가능한 가중치 행렬입니다.

• Subtoken Prediction (Subtoken 예측):
  • Coarse Subtoken Prediction: 과거 컨텍스트를 처리한 Transformer $E_{ar}$의 최종 hidden state $h_t$는 선형 헤드 $W_c$에 의해 투영되어 첫 번째 subtoken의 분포에 대한 logits을 생성합니다:

$p(b_t^c | b_{<t}) = \text{softmax}(W_c h_t)$

• Fine Subtoken Prediction: 조건부 의존성($p(b_t^f | b_{<t}, b_t^c)$)을 모델링하기 위해, 컨텍스트는 예측된 coarse subtoken $\hat{b}_t^c$로 업데이트됩니다. 훈련 중에는 실제 ground-truth subtoken 대신 이전 단계에서 모델이 예측한 $\hat{b}_t^c$ (샘플링됨)를 사용합니다 (teacher-forcing을 피함). $\hat{b}_t^c$의 임베딩이 쿼리(query) 역할을 하고 $h_t$가 키(key)와 값(value)을 제공하는 cross-attention 메커니즘을 사용합니다. 결과는 두 번째 헤드 $W_f$에 의해 투영됩니다:

$h_t^{update} = \text{CrossAttn}(\text{q} = e_c(\hat{b}_t^c), \text{k} = \text{v} = h_t)$
$p(b_t^f | b_{<t}, b_t^c) = \text{softmax}(W_f h_t^{update})$

• Pre-training Objective (사전 학습 목적): 전체 훈련 목적 함수 $L_{ar}$은 두 예측 단계 모두에 걸쳐 데이터의 negative log-likelihood를 최대화하는 것입니다:

$L_{ar} = -E_{b \sim D} \sum_{t=1}^T \left[ \log p(b_t^c | b_{<t}) + \log p(b_t^f | b_{<t}, b_t^c) \right]$

데이터셋 및 모델 규모

Kronos는 45개 글로벌 거래소에서 7가지 샘플링 빈도로 수집된 120억 개 이상의 K-line record를 포함하는 대규모, 고품질 금융 K-line 데이터셋을 활용하여 사전 학습되었습니다. Kaplan et al. (2020)의 LLM 스케일링 법칙에 따라, Kronos는 0.5억 개에 가까운 파라미터를 가진 세 가지 변형(small, base, large)으로 훈련되어 성능과 추론 예산 간의 트레이드오프를 제공합니다. 최대 컨텍스트 길이는 512 토큰으로 제한됩니다.

실험 결과

Kronos는 가격 시계열 예측, 수익률 예측, 실현 변동성 예측, 합성 K-line 생성, 투자 시뮬레이션 등 5가지 대표적인 금융 tasks에서 종합적인 평가를 받았습니다.

• 예측 Tasks: Kronos는 모든 예측 tasks에서 consistently state-of-the-art (SOTA) 성능을 달성했습니다. 특히, 가격 시계열 예측에서는 SOTA TSFM baseline 대비 RankIC에서 93% 향상을, 비사전 학습 모델 대비 87% 향상을 기록했습니다. 모델 크기가 커질수록 성능이 지속적으로 향상되어 time series foundation models의 스케일링 법칙을 실증적으로 검증했습니다.
• 생성 Tasks: Kronos는 생성된 데이터의 다양성(diversity), 충실도(fidelity), 유용성(usefulness) 측면에서 가장 우수한 성능을 보였습니다. t-SNE plot과 Kernel Density Estimates (KDE)를 통해 Kronos가 생성한 합성 데이터가 원본 데이터 공간을 더 잘 커버하고 분포가 유사함을 보여주었습니다. 또한, discriminative score와 Train-on-Synthetic, Test-on-Real (TSTR) 프로토콜을 통해 정량적으로도 우수함을 입증했습니다.
• 투자 시뮬레이션: 중국 A-shares 시장에서 long-only 투자 전략 시뮬레이션 결과, Kronos는 모든 baselines를 능가하여 가장 높은 Annualized Excess Return (AER)과 Information Ratio (IR)를 달성했습니다. 이는 모델의 뛰어난 예측 정확도가 실제 투자 수익으로 이어진다는 것을 보여줍니다.

Kronos는 금융 시장의 복잡한 "언어"를 해석하기 위한 강력하고 다재다능한 foundation model로서의 잠재력을 확립했습니다.