이 트윗은 LLM을 활용한 응답의 시각적 출력과 인간-AI 상호작용의 발전에 대한 통찰을 제시합니다.

핵심적인 조언은 LLM에게 "structure your response as HTML"이라고 요청하여 브라우저에서 보거나, 슬라이드쇼 형태로 출력하도록 하면 매우 효과적이라는 것입니다. 이는 LLM 응답의 사용자 경험을 개선하는 실질적인 방법으로 제시됩니다.

저자는 AI에 대한 인간의 선호도에 대해, 입력은 Audio가 선호되지만, AI로부터의 출력은 Vision(이미지, 애니메이션, 비디오)이 선호된다는 일반적인 주장을 펼칩니다. 그 근거로 인간 뇌의 약 3분의 1이 Vision 처리에 할당되어 있으며, 이는 정보를 뇌로 전달하는 "10-lane superhighway"와 같다고 설명합니다.

AI 출력 형식의 진화는 다음과 같은 단계로 제시됩니다:

1. raw text: 읽기 어렵고 노력이 많이 필요합니다.
2. markdown: bold, italic, headings, tables 등을 포함하여 읽기 편하며 현재의 기본값입니다.
3. HTML: 아직 underlying code가 있는 절차적인 방식이지만, 그래픽, 레이아웃, 심지어 상호작용성(interactivity) 면에서 훨씬 유연성을 제공하며, 새로운 좋은 기본값이 될 수 있습니다.
4. 궁극적으로 interactive neural videos/simulations: 기술적으로 아직 존재하지 않지만, Diffusion neural net에 의해 직접 생성되는 인터랙티브 비디오 형태를 예상합니다. https://x.com/zan2434/status/2046982383430496444와 같은 최근의 사례를 이 방향성의 예시로 언급하며, "Software 1.0" 아티팩트(예: interactive simulations)와 neural artifacts(Diffusion grids)를 어떻게 결합할지에 대한 미해결 질문들이 남아있음을 인정합니다.

입력 측면에서의 개선도 필요하다고 언급합니다. Audio, text, video 단독으로는 불충분하며, 마치 실제 옆에 있는 사람과 컴퓨터 화면을 보며 상호작용하듯, 화면의 특정 부분을 가리키거나(point/gesture) 하는 행동이 필요하다고 강조합니다.

결론적으로, 인간과 AI 간의 입출력 "mind meld"는 현재 진행 중이며, Neuralink와 같은 BCIs(Brain-Computer Interfaces) 단계까지 가기 전에 해결해야 할 상당한 작업과 중요한 진전이 필요하다고 말합니다. 현 단계에서 탐색할 가치가 있는 팁으로 HTML 출력을 다시 한번 강조합니다.