GitHub - openpcc/openpcc: An open-source framework for verifiably private AI inference

OpenPCC는 Apple의 Private Cloud Compute에서 영감을 받은 검증 가능한 프라이빗 AI inference를 위한 오픈소스 프레임워크입니다. 이 프레임워크는 사용자가 프롬프트, 출력, 또는 로그를 노출하지 않고 오픈 소스 또는 커스텀 AI 모델을 실행할 수 있도록 설계되었습니다. OpenPCC는 투명하고 커뮤니티 거버넌스 기반의 AI 데이터 프라이버시 표준이 되는 것을 목표로 합니다.

이 핵심 방법론은 다음의 세 가지 주요 기술을 통해 구현됩니다:

Encrypted Streaming: AI inference 과정에서 프롬프트 및 출력 데이터가 암호화된 스트림으로 전송 및 처리됩니다. 이는 AI compute provider가 전송 중이거나 처리 중인 데이터를 직접 접근하거나 엿보는 것을 방지하여 데이터 프라이버시를 보장합니다.

Hardware Attestation: OpenPCC는 하드웨어 수준의 증명(attestation)을 사용하여 AI 모델이 실행되는 compute environment가 변조되지 않았음을 검증합니다. 이는 Trusted Execution Environment(TEE)와 같은 기술을 통해 데이터 처리의 무결성과 기밀성을 확보합니다. compute node가 신뢰할 수 있는 상태에서 작동하고 있음을 원격으로 확인하여, 데이터가 안전한 enclave 내에서 처리되도록 합니다. 프로젝트 저장소에 tpm 및 attestation 관련 파일이 존재하는 것은 이러한 하드웨어 기반 검증 메커니즘의 활용을 시사합니다.

Unlinkable Requests (via OHTTP): 개별 사용자 활동을 compute provider가 파악할 수 없도록, OpenPCC는 Oblivious HTTP (OHTTP)를 사용합니다. OHTTP는 클라이언트의 IP 주소와 요청의 목적지를 분리하여, AI compute provider가 특정 사용자와 그들의 AI 요청을 연결할 수 없게 만듭니다. 이 아키텍처는 주로 다음 구성 요소로 이루어집니다:

* OHTTP Relay: 서드 파티에 의해 운영되며, 클라이언트의 요청을 받아 OHTTP Gateway로 전달합니다. Relay는 클라이언트의 IP 주소는 알지만 요청 내용을 알 수 없으며, Gateway는 요청 내용을 알지만 클라이언트의 IP 주소를 알 수 없습니다.
* OHTTP Gateway: Relay로부터 요청을 받아 실제 AI compute node로 전달합니다.
이러한 분리된 아키텍처를 통해 클라이언트와 AI inference 서비스 간의 직접적인 연결을 단절시켜 익명성과 비연결성(unlinkability)을 강화합니다.

OpenPCC는 Go 언어로 작성된 클라이언트와 C 라이브러리(이를 기반으로 Python 및 JavaScript 클라이언트 제공)를 포함하며, 실제 AI inference 요청은 OpenAI API 형식을 따릅니다. compute node의 구현은 별도의 confidentsecurity/confidentcompute 저장소에서 다룹니다. 또한, Transparency Verifier 설정을 통해 시스템의 투명성을 강조하고, IdentityPolicy를 정의하여 특정 아이덴티티 정책을 따르는 요청을 허용할 수 있습니다.