내일을 위한 오늘의 기록 내일을 위한 오늘의 기록

맥북에서 로컬 LLM을 돌리는 프로그램으로 Ollama를 거쳐 LMStudio로 잘 사용하다가 나중에 GPU 서버에서 서빙하는 걸 연습도 해볼 겸 vLLM으로 알아보고 있었습니다. 하지만 맥의 GPU(Metal - MPS)를 사용할 수 없다는 결론이 나와서 llama.cpp로 알아보게 되었습니다. 제가 컨테이너 사랑꾼(...)이라 llama.cpp 또한 컨테이너로 실행하려고 했고 도커 이미지가 존재하기에 사용할 수 있었지만, 애플의 정책상 VM에서는 GPU 가속이 무슨 짓을 해도 안된다는 글을 발견해고 호스트에 설치하기로 생각했습니다. 원래는 가상 환경을 만들고 llama.cpp를 빌드해야 하지만, 따로 빌드할 필요 없이, brew로 빌드되어 있는 바이너리 파일을 간편하게 설치할 수 있었습니다.0. 시스..

맥북에서 LLM을 구동시키기 위한 여러 가지 프로그램이 있지만 모델 다운로드부터 멀티 모달 모델까지 한 번에 올인원으로 사용 가능한 부분이 마음에 들어 Ollama를 사용했습니다. Open Webui 같은 API를 사용 가능한 프로그램이 거진 필수인 것까지는 괜찮은데 제대로 사용하려면 터미널에서 사용해야 하고 로그를 확인하는 것이 불편했으며 LLM 모델 관리가 잘 안 돼서 요즘은 LM Studio를 주로 사용하고 있습니다. LM Studio 자체로도 훌륭한 프로그램이지만, 좀 더 많은 활용을 위하여 Open Webui를 사용해 볼 겁니다.https://lmstudio.ai/docs/api/endpoints/openai위 링크를 확인해 보면 LM Studio API는 OpenAI API와 호환되게끔 만들어..