DDarsh Shah·Aug 6How to Customize an LLM for AI Agents using SFT and QLoRAIn this tutorial, I’ll show you how to fine-tune a large language model for use in AI agents using supervised fine-tuning with QLoRA. This lets us customize a pre-trained model so it behaves the way w16 min read·freecodecamp.org1
RRijul Sarin·Jun 21How Models Learn to Behave: SFT, RLHF, and What Alignment Means for ProductThe model was accurate. Users called it "robotic" and "like talking to a FAQ page." The team had solved accuracy. Nobody had solved alignment.12 min read·appliedailab.hashnode.dev1
AAbstract Algorithms·Mar 9SFT for LLMs: A Practical Guide to Supervised Fine-TuningSupervised fine-tuning teaches LLMs task behavior before preference tuning and RLHF.12 min read·abstractalgorithms.hashnode.dev
JJonas Kim·Jan 7, 2024Mixtral of Experts 논문 리뷰Mixtral은 오픈소스 LLM에 전문가 혼합(MoE) 구조를 도입하여, 추론 속도와 처리량을 크게 향상시켰습니다.24 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Jan 4, 2024DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 논문 리뷰DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.21 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Sep 9, 2023Mistral 7B 논문 리뷰Mistral AI가 2023년 10월에 처음 선보인 Mistral 7B는 효율적인 아키텍처와 뛰어난 성능으로, 소형 오픈소스 언어 모델 분야에 새로운 변화를 가져왔습니다.20 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Jul 17, 2023Llama 2: Open Foundation and Fine-Tuned Chat Models 논문 리뷰2023년 7월 Meta AI가 출시한 Llama 2는 거부 샘플링, RLHF, 레드팀 테스팅 등의 기법을 통해 대화 안전성 향상에 중점을 두었습니다. 이 모델은 유해 콘텐츠 제한과 유용성 사이의 균형을 찾는 새로운 기준을 제시했습니다.34 min read·bits-bytes-nn.hashnode.dev
JJonas Kim·Feb 26, 2023LLaMA: Open and Efficient Foundation Language Models 논문 리뷰LLaMA는 현대적인 오픈소스 LLM의 중요한 출발점으로서, 2023년 2월 Meta AI가 출시했습니다. 이 모델은 효율적인 트랜스포머 아키텍처 설계를 확립하여 후속 오픈소스 LLM들이 따르는 기술적 표준을 제시했습니다.18 min read·bits-bytes-nn.hashnode.devJ