클리앙
·11시간전
요즘 컴퓨터에 NPU 광고 많이 하는데 말입니다.
NPU 안씁니다.
구매할때 1도 참고하지 않으시는걸 추천드려요
공정위에 진정 넣고 싶을 지경입니다.
Strix Halo 기반의 라이젠AI 395+ 와 인텔 울트라 225H 모델을 사용중입니다.
AMD의 RoCM? NPU 안돕니다.
LM Studio, Ollama 전부 그냥 CPU와 GPU를 조져서 토큰을 뽑아내는 시스템이에요.
AMD의 레모네이드 서버가 있다구요? 그걸로 쓸만한 서비스가 없습니다.
일반에선 젬마4 같은거 물려서 쓰려고 사는거지 딥식이 돌려서 중국어 뽑으려는거 아니잖아요.
인텔의 OpenVINO는 어떨까요?
물론 위의 LM과 Ollama 역시 NPU는 동작하지 않습니다.
그럼 광고에 자주 나오는 코파일럿은 쓰지 않을까 해서 돌려보면 코파일럿 조차도 NPU는 안씁니다.
(자꾸 한영키 옆에 있는 코파일럿 키 눌려서 빡칠때가 한둘이 아닙니다...)
그냥 NPU는 안쓰는거라고 보시면 됩니다.
그냥 맥을 사십쇼
현재 상태에서 LM Studio MLX 아키텍쳐 땡겨쓰는 맥이 제일 좋은선택 같습니다. (물론 비싼건 그쪽 사정입니다만)
저야 뭐 가성비로 사서 쓴다지만 이걸 4-500주고 사겠다면 저라면 말라고 싶습니다.
로컬로 서비스 개발하는 정도 아니시라면 그냥 월 요금제 주고 쓰시는걸 추천드리고 싶어요.