---
title: "#prenormalization articles | Hashnode"
description: "Explore 2 articles tagged #prenormalization on Hashnode. Tutorials, guides, and how-tos from the community."
url: "https://hashnode.com/tag/prenormalization"
---

Tag

# #prenormalization

2 posts · 0 followers

[Jonas Kim](https://hashnode.com/@bits-bytes-nn) · [Jan 4, 2024](https://hashnode.com/posts/deepseek-llm-scaling-open-source-language-models-with-longtermism/67e2c222dc0e88ba125abf9f)

### [DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 논문 리뷰](https://bits-bytes-nn.hashnode.dev/deepseek-llm-scaling-open-source-language-models-with-longtermism?utm_source=hashnode&utm_medium=feed)

DeepSeek AI는 영어와 중국어 분야에서 우수한 성능을 보이는 모델을 선보이는 동시에, 하이퍼파라미터와 모델·데이터 간 연산량 할당에 관한 정교한 스케일링 법칙도 제시했습니다.

21 min read · [bits-bytes-nn.hashnode.dev](https://bits-bytes-nn.hashnode.dev/deepseek-llm-scaling-open-source-language-models-with-longtermism?utm_source=hashnode&utm_medium=feed)

[Jonas Kim](https://hashnode.com/@bits-bytes-nn) · [Feb 26, 2023](https://hashnode.com/posts/llama-open-and-efficient-foundation-language-models/67d994dd734a9902c7d34dfb)

### [LLaMA: Open and Efficient Foundation Language Models 논문 리뷰](https://bits-bytes-nn.hashnode.dev/llama-open-and-efficient-foundation-language-models?utm_source=hashnode&utm_medium=feed)

LLaMA는 현대적인 오픈소스 LLM의 중요한 출발점으로서, 2023년 2월 Meta AI가 출시했습니다. 이 모델은 효율적인 트랜스포머 아키텍처 설계를 확립하여 후속 오픈소스 LLM들이 따르는 기술적 표준을 제시했습니다.

18 min read · [bits-bytes-nn.hashnode.dev](https://bits-bytes-nn.hashnode.dev/llama-open-and-efficient-foundation-language-models?utm_source=hashnode&utm_medium=feed)
