전에 딥시크가 4비트 실수를 이용해서 저비용 AI를 개발했다는 얘기를 했었는데요. 링크
이번엔 MS가 1비트로 학습한 LLM 모델을 공개했네요.
추론 시 메모리 사용량은 불과 400MB. 속도도 빨라요. GPU 없이 CPU만으로도 구동이 가능하고요.
특정 기능에 특화된 LLM은 그냥 휴대폰에 얹혀져서 나올 거 같네요.
AI 기술의 발달 속도가 너무 빠르네요.
게임 프로그래머의 만담 커뮤니티, 게임코디 입니다
온종일 코드와 씨름하는 우리들의 외로움을 삭이고자 합니다