JJonas Kim·Jan 7, 2024Mixtral of Experts 논문 리뷰Mixtral은 오픈소스 LLM에 전문가 혼합(MoE) 구조를 도입하여, 추론 속도와 처리량을 크게 향상시켰습니다.24 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Jan 4, 2024DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 논문 리뷰DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.21 min read·bits-bytes-nn.hashnode.dev