목차
SiliconFlow의 공동 창립자 Pan Yang은 Convo AI & RTE 2025의 “실시간 AI 인프라 세션”에서 “AI 인프라: 누구를 위한 것인가 그리고 왜?”라는 제목의 연설을 했습니다. AI 인프라 분야에 대한 8가지 핵심 통찰이 있습니다.
요약
Pan Yang의 AI 인프라에 대한 연설에서의 8가지 핵심 통찰:
Inference First — 추론 컴퓨팅으로의 전환은 AI 고객과 계산 필요성의 기하급수적인 증가에 의해 주도됩니다.
오픈소스 기회 — 오픈소스 모델은 3-5개월 갭으로 닫힌 모델을 따라잡고 있으며, 멀티모달 영역에서 획기적인 잠재력을 가지고 있습니다.
MaaS의 요청 — 여러 모델에 대한 단일 API 액세스를 제공하는 원스톱 플랫폼.
세 가지 주요 MaaS 도전 — 가용성 문제, 성능 변동 및 비용 절감 환상.
어려운 일을 하다 — SiliconFlow는 더 빠르고 더 나은, 그리고 더 비용 효율적인 AI 인프라를 제공하기 위해 노력합니다.
2025년의 네 가지 AI 시나리오 — 콘텐츠 생성, 에이전틱 AI (에이전트의 해), 코딩 및 멀티모달 어플리케이션.
AI는 도구가 아닌 작업 — Jensen Huang은 에이전트를 위한 건설을 강조하는 패러다임 전환을 제안합니다.
AI 인프라 — 버블 없음 — 시장의 현실은 버블이 없고 공급 부족만을 증명하는 엄청난 충족되지 않은 수요를 보여줍니다.
Inference first
SiliconFlow는 2023년에 “향후 대부분의 컴퓨팅 파워가 훈련이 아닌 추론에 사용될 것”이라고 예측했습니다. 이 트렌드는 2025년에는 주로 두 가지 요인, 즉 AI 고객 수와 사용량의 기하급수적인 증가와 하나의 작업을 완료하는 데 필요한 계산량의 기하급수적인 증가에 의해 실현되고 있습니다.
오픈소스 모델의 기회
오픈소스 모델은 닫힌 모델과 대조적으로 3-5개월의 동적 격차로 빠르게 따라잡고 있습니다. 현재 LLMs에 대한 오픈소스 생태계는 state-of-the-art(SOTA)에 가깝지만, Image, Audio 및 Video와 같은 멀티모달 모델에는 여전히 획기적인 기회가 있습니다.
Model as a Service (MaaS)의 부름
올해, 우리는 빈번한 모델 업데이트, 다양한 사양, 다양한 구조, 다중 모달리티를 목격했으며, 단일 회사는 모든 모델을 독립적으로 배포하고 유지할 수 없습니다. 따라서 다양한 모델을 통합할 수 있는 원스톱 MaaS 플랫폼이 개발자에게 필수적인 진입점이 되었으며, 이는 SiliconFlow가 계속 집중하여 사용자가 하나의 API로 다양한 모델을 빠르게 경험할 수 있도록 하는 방향입니다.
MaaS 플랫폼은 현재 세 가지 주요 도전에 직면해 있습니다
가용성 및 신뢰성 도전: 자원 부족 및 429/503 오류와 같은 문제가 발생했습니다.
성능과 품질이 크게 다릅니다: 같은 오픈소스 모델이라도 다른 서비스 공급자가 제공할 경우 실제 성능에 큰 차이가 있으며, 이는 모델 양자화 및 최적화 수준의 차이를 반영하여 모델의 최종 기능에 직접적으로 영향을 미칩니다.
비용 감소의 환상: 단일 모델의 비용이 매년 10배 감소할 수 있지만, 사용자는 항상 최신이고 가장 강력한 state-of-the-art(SOTA) 모델을 찾고 있으며, 이러한 최상위 모델의 호출 가격은 상대적으로 안정적입니다. 그와 동시에, 하나의 작업을 완료하기 위한 token의 수가 기하급수적으로 증가하여 실제 응용 프로그램 비용에 큰 감소가 없습니다.
어려운 일을 하다
SiliconFlow는 항상 AI 인프라 분야에 깊이 뿌리를 두고 당면한 과제를 깊이 이해하며, 사용자에게 더 빠르고 성능이 뛰어나며 비용 절감된 AI 인프라 서비스를 제공하기 위한 솔루션을 지속적으로 추진하고 있습니다.
2025년까지 널리 인정받은 네 가지 AI 시나리오
콘텐츠 생성: 기사 생성, 챗봇을 통한 고객 서비스 제공, 또는 지식 기반 구축, 모든 것이 언어를 중심으로 펼쳐집니다.
에이전틱 AI: 올해는 에이전트의 해로 불립니다. 에이전트의 개념에 대한 다양한 이해가 있지만, 일부 변화가 있되었습니다. 예를 들어, Manus는 에이전트를 정의하는 방법을 홍보하기에 많은 노력을 했습니다.
코딩: 올해 출시된 주류 모델들이 한 첫 번째 일은 에이전트와 코딩 기능에 맞추는 것이었습니다. 업계는 일반적으로 에이전트와 코딩이 가장 많은 tokens을 소모하는 분야라고 믿고 있습니다.
멀티모달: 특히 중국 인터넷 환경에서 멀티모달의 모델 소비량이 다른 형태보다 훨씬 큽니다.
“AI는 도구가 아닌 작업”
Jensen Huang은 “AI는 도구가 아닌 작업”이라고 제안하며 중요한 패러다임 전환을 의미합니다. AI는 도구를 사용하여 작업을 완료하고, 명령에 수동적으로 응답하는 것이 아니라 적극적으로 도구를 운영할 것입니다. 이것은 에이전트를 위한 건설을, 인간을 위한 것이 아니라 실현시키는 패러다임 전환을 촉발할 것입니다. 인간은 점점 더 소프트웨어 인터페이스에 직접 영향을 미치는 것이 아닌 에이전트에게 작업을 위임할 것입니다.
AI 인프라 — 버블 없음
전체 AI 인프라스트럭처 산업은 버블이 없으며, 실제로 “멀리 충분하지 않은” 공급 상태를 보이고 있습니다. 세계 최고의 기술 회사들이 아직 인도되지 않은 수백억 달러 규모의 인프라를 구매할 계획이 있습니다. 현재 업계의 병목현상은 칩을 생산하지 못하고 에너지가 부족하다는 것입니다. 수요가 공급 능력을 훨씬 초과하며, 시장의 진정성과 엄청난 잠재력을 증명하고 있습니다.
