JOURNAL / ENTRY
NVIDIA Build
무료 api
프로젝트를 하다 보면, 자연스럽게 AI를 붙일 일이 많아졌다.
처음에는 Claude, GPT의 API를 사용했는데, 막상 개인 프로젝트에 붙여서 이것저것 테스트하다 보면 생각보다 비용이 꽤 나온다.
특히, 간단한 기능임에도 악덕 앤트로픽과 OpenAI가 API 비용을 과하게 잡는 현장을 목격하면 마음이 아프다. ^_^
그래서 이것저것 찾아보다가 꽤 괜찮은 무료 LLM들을 발견했고
보물창고에 숨겨두었던 무료로 사용 가능한 LLM 방법 3가지를 정리해보려고 한다.
🚨 결론부터.. 🚨
그냥 NVIDIA Build를 사용하자.
갓 젠승 황님은 GPU를 팔아야 먹고사시는 분인데 GPU가 없는 우리에게도 단비를 내려주셨다.
(* 진짜 왜 무료인지 아직도 잘 모르겠다.)
물론 상황에 따라 Google AI Studio가 더 나을 수도 있고, Ollama가 더 적합한 경우도 있다.
하지만 현재 시점에서 무료 API를 가장 편하게 사용하고 싶다면 NVIDIA Build가 가장 강력한 선택지라고 생각한다.
왜 무료 LLM이 필요할까? 요즘은 AI를 활용한 서비스를 만드는 진입장벽이 정말 많이 낮아졌다.
RAG 챗봇 만들기 n8n 기반 업무 자동화 개인 비서 구축 Slack 챗봇 개발 이처럼 AI 기능을 서비스에 붙이려면 결국 LLM API를 호출해야 하는데, 비용 때문에 망설여진다.
개인 프로젝트나 사내 PoC 단계에서는 물론이고,
정식 서비스로 출시하더라도 초기 사용자 수가 많지 않은 경우에는 매달 발생하는 API 비용이 부담될 수 있다.
그래서 자연스럽게 무료 또는 무료에 가까운 비용으로 사용할 수 있는 LLM 서비스를 찾게 된다.
- NVIDIA Build 먼저 이번 글의 주인공이다.
솔직히 말하면 이번 글을 쓰게 된 이유이기도 하다.
NVIDIA Build는 복잡한 서버 설정이나 인프라 구축 없이도
개발자가와 엔지니어가 AI 애플리케이션을 쉽게 제작할 수 있도록 돕는 플랫폼이라고 이해하면 된다.
현재 기준으로도 상당히 많은 모델들이 제공되고 있다.
Llama 계열 Qwen 계열 DeepSeek 계열 Mistral 계열 Nemotron 계열 그리고 여기서 실제 API를 호출할 때 사용하는 것이 NVIDIA NIM API이다.
덕분에 별도로 모델을 설치하거나 GPU 준비 없이 API Key만 발급받으면 바로 사용할 수 있다.
😎 좋았던 점
무료 API 제공 OpenAI 호환 최신 오픈소스 모델 지원 속도 상당히 빠름 (무료버전 치고..!) GPU 없어도 됨 🤔 아쉬웠던 점
Preview 모델 일부 존재 상업 서비스 운영용으로는 정책 확인 필요 모델별 Rate Limit 존재 근데 솔직히 개인 프로젝트 기준으로는 단점이 없다.
RAG 챗봇 정도는 거뜬하게 돌릴 수 있다.