LiteRT는 에지 플랫폼(edge platforms)에서 고성능 머신러닝(ML) 및 생성형 인공지능(GenAI) 배포를 위한 Google의 온디바이스(on-device) 프레임워크(framework)입니다. 이는 TensorFlow Lite의 유산을 계승하여 효율적인 모델 변환, 런타임(runtime) 및 최적화를 통해 뛰어난 성능을 제공합니다.

핵심 방법론 및 기능:

1. 새로운 LiteRT Compiled Model API: 개발 프로세스를 간소화하고 전반적인 실행 시간을 단축하기 위한 여러 기능을 포함합니다.
   • 자동화된 액셀러레이터(accelerator) 선택: 명시적인 델리게이트(delegate) 생성 없이 자동으로 최적의 하드웨어 액셀러레이터를 선택합니다.
   • 비동기(Async) 실행: 진정한 비동기 실행을 지원하여 태스크(task) 처리의 효율성을 높입니다.
   • 효율적인 I/O 버퍼(buffer) 처리: 입출력 버퍼 관리를 최적화하여 데이터 전송 오버헤드(overhead)를 줄입니다.

2. 통합 NPU(Neural Processing Unit) 가속화: 주요 칩셋(chipset) 제공업체(Google Tensor, Qualcomm, MediaTek S.LSI, Intel)의 NPU에 대한 원활한 접근을 제공하며, 일관된 개발자 경험을 보장합니다. NPU 런타임 및 모델 배포가 용이합니다.

3. 최고 수준의 GPU(Graphics Processing Unit) 성능: 온디바이스 ML을 위한 최첨단 GPU 가속을 활용합니다. 새로운 버퍼 상호 운용성(interoperability)은 다양한 GPU 버퍼 유형 간의 제로-카피(zero-copy)를 가능하게 하여 지연 시간(latency)을 최소화합니다.

4. 우수한 생성형 AI 추론(inference) 성능: GenAI 모델을 위한 가장 간단한 통합과 최고의 성능을 제공합니다. 특히 대규모 언어 모델(LLM)과 확산 모델(diffusion models)의 온디바이스 배포에 중점을 둡니다.

지원 플랫폼:

LiteRT는 광범위한 하드웨어에서 크로스-플랫폼(cross-platform) 배포를 위해 설계되었습니다.

• Android: CPU, GPU (OpenCL, OpenGL), NPU (Google Tensor, Qualcomm, MediaTek S.LSI*, Intel*)
• iOS: CPU, GPU (Metal), NPU (ANE*)
• Linux: CPU, GPU (WebGPU)
• macOS: CPU, GPU (WebGPU, Metal), NPU (ANE*)
• Windows: CPU, GPU (WebGPU), NPU (Intel*)
• Web: CPU, GPU (WebGPU, 예정)
• IoT: CPU, GPU (WebGPU), NPU (Broadcom*, Raspberry Pi*, 예정)

(*는 예정 또는 특정 하드웨어)

설치 및 사용 경로:

LiteRT는 Docker를 사용하여 소스(source)에서 빌드(build)할 수 있습니다. build_with_docker.sh 스크립트를 통해 Linux Docker 이미지 생성 및 Linux와 Android 아티팩트(artifacts)의 크로스 컴파일(cross compilation)이 가능합니다.

개발자의 목표에 따라 다양한 사용 경로를 제공합니다:

• PyTorch 모델 변환:
  • 클래식 모델: LiteRT Torch Converter를 사용하여 PyTorch 모델을 .tflite 형식으로 변환하고, AI Edge Quantizer로 최적화한 후 표준 LiteRT 런타임으로 배포합니다.
  • LLM: LiteRT Generative Torch API를 사용하여 PyTorch LLM을 Apache 형식으로 재작성하고 LiteRT LM으로 배포합니다.
• 온디바이스 ML 초보자:
  • 초보 개발자: Android Studio를 통해 실시간 이미지 세그먼테이션(segmentation) 앱을 CPU/GPU/NPU 추론으로 구축합니다.
  • 경험 많은 개발자: Get Started 가이드를 따르고, Kaggle Models에서 사전 학습된 .tflite 모델을 찾아 표준 LiteRT 런타임을 사용하여 Android 또는 iOS 앱에 통합합니다.
• 성능 극대화: LiteRT API를 활용하여 하드웨어 가속을 용이하게 합니다. 생성형 AI 작업의 경우 LiteRT LM을 사용합니다.
• 생성형 AI 작업: LiteRT LM은 LLM 및 확산 모델의 온디바이스 배포를 위한 특화된 솔루션으로, 모델 양자화(quantization) 및 대규모 모델 아키텍처(architectures)에 특화된 최적화에 중점을 둡니다.

로드맵:

LiteRT는 NPU 지원 확장 및 모든 주요 하드웨어 액셀러레이터에서의 성능 향상, 온디바이스 생성형 AI 모델을 위한 새로운 최적화 및 기능 도입, 디버깅(debugging), 프로파일링(profiling) 및 모델 최적화를 위한 개발자 도구 개선, 그리고 코어 플랫폼 지원 강화 및 새로운 플랫폼 탐색에 중점을 두고 있습니다.

관련 제품:

LiteRT는 온디바이스 머신러닝을 위한 광범위한 도구 생태계의 일부입니다. 관련 프로젝트로는 LiteRT Samples, LiteRT Torch Converter, LiteRT Generative Torch API, 효율적인 LLM 실행을 위한 LiteRT-LM, 고성능 CPU 가속을 제공하는 XNNPACK (ARM, x86, WebAssembly 아키텍처를 위한 신경망 추론 연산자(operators) 라이브러리), 그리고 크로스-플랫폼 ML 솔루션 구축 프레임워크인 MediaPipe가 있습니다.

이 프로젝트는 Apache-2.0 License 하에 라이선스됩니다.