<div style="line-height:1.8;">
<p style="color:gray;">...중략...</p>
AI 추론 효율화 기업 노타(Nota AI, 대표 채명수)가 중국 문샷AI의 초거대 모델 '키미 K3.1 Pro(Kimi K3.1 Pro)'를 최적화해 엔비디아 최신 GPU인 B300 대신 B200 GPU 8장에서 실행 가능하도록 하는 데 성공했다고 10일 밝혔다. 자사 견적 기준 GPU 구매비용을 최대 약 20%, 클라우드 임대료를 최대 약 22% 절감할 수 있는 수준이다.<br />
키미 K3.1 Pro는 2조8000억 개의 매개변수를 갖춘 현재 공개된 오픈웨이트 AI 모델 중 최대 규모 모델이다. 모델 규모가 클수록 실행에 필요한 메모리와 GPU 확보 부담이 커지는 만큼, 성능을 유지하면서 하드웨어 요구 조건을 낮추는 최적화의 가치도 높아진다.
<p style="color:gray;">...중략...</p>
</div>
<p><strong>출처 : www.hellot.net</strong> <a href="https://www.hellot.net/news/article.html?no=116145" target="_blank">(원문보기)</a></p>
...중략...
AI 추론 효율화 기업 노타(Nota AI, 대표 채명수)가 중국 문샷AI의 초거대 모델 '키미 K3.1 Pro(Kimi K3.1 Pro)'를 최적화해 엔비디아 최신 GPU인 B300 대신 B200 GPU 8장에서 실행 가능하도록 하는 데 성공했다고 10일 밝혔다. 자사 견적 기준 GPU 구매비용을 최대 약 20%, 클라우드 임대료를 최대 약 22% 절감할 수 있는 수준이다.
키미 K3.1 Pro는 2조8000억 개의 매개변수를 갖춘 현재 공개된 오픈웨이트 AI 모델 중 최대 규모 모델이다. 모델 규모가 클수록 실행에 필요한 메모리와 GPU 확보 부담이 커지는 만큼, 성능을 유지하면서 하드웨어 요구 조건을 낮추는 최적화의 가치도 높아진다.
...중략...
출처 : www.hellot.net (원문보기)