RRishi·Jul 22Towards the Modern Transformer ArchitectureA deep dive into how GPT-1's architecture evolved: pre-norm, RMSNorm, SwiGLU, RoPE, and GQA — with the math behind every change.36 min read·rishi2220.hashnode.dev11K
SSisir Dhakal·Feb 9, 2025Multi-Head, Multi-Query, and Grouped-Query Attention: Which One Should You Use?Multi-Head, Multi-Query, and Grouped-Query Attention: Which One Should You Use?6 min read·sisirdhakal.hashnode.dev
JJonas Kim·Jan 4, 2024DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 논문 리뷰DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.21 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Sep 9, 2023Mistral 7B 논문 리뷰Mistral AI가 2023년 10월에 처음 선보인 Mistral 7B는 효율적인 아키텍처와 뛰어난 성능으로, 소형 오픈소스 언어 모델 분야에 새로운 변화를 가져왔습니다.20 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Jul 17, 2023Llama 2: Open Foundation and Fine-Tuned Chat Models 논문 리뷰2023년 7월 Meta AI가 출시한 Llama 2는 거부 샘플링, RLHF, 레드팀 테스팅 등의 기법을 통해 대화 안전성 향상에 중점을 두었습니다. 이 모델은 유해 콘텐츠 제한과 유용성 사이의 균형을 찾는 새로운 기준을 제시했습니다.34 min read·bits-bytes-nn.hashnode.dev