Feb 16 ยท 10 min read ยท Every once in a while, you come across these concepts that are so tricky to grasp, they tickle the insides of your brain. Introducing RoPE, he gave me a hard time last week. Hi future-me, who forgot how RoPE works, this is for you. RoPE stands for Ro...
Join discussion
Jan 4, 2024 ยท 21 min read ยท TL;DR ์ด ์ฐ๊ตฌ๋ฅผ ์์ํ๊ฒ ๋ ๋ฐฐ๊ฒฝ๊ณผ ๋๊ธฐ๋ ๋ฌด์์ ๋๊น? ์คํ์์ค ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLMs)์ ๋ฐ์ ์ด ๊ฐ์ํ๋๋ฉด์, ๋ชจ๋ธ ์ค์ผ์ผ๋ง์ ๋ํ ๋ช ํํ ์ดํด์ ํ์์ฑ์ด ๋๋๋์์ต๋๋ค. ๊ธฐ์กด ์ฐ๊ตฌ๋ค์ ์ค์ผ์ผ๋ง ๋ฒ์น์ ๋ํด ์๋ก ๋ค๋ฅธ ๊ฒฐ๋ก ์ ์ ์ํ์ผ๋ฉฐ, ํ์ดํผํ๋ผ๋ฏธํฐ ์ค์ ์ ๋ํ ์์ธํ ์ค๋ช ์ด ๋ถ์กฑํ์ต๋๋ค. ํนํ AGI ๋ฐ์ ์ ์ด๊ธฐ ๋จ๊ณ์์ ํจ์จ์ ์ธ ๋ชจ๋ธ ์ค์ผ์ผ๋ง ์ ๋ต์ ์๋ฆฝ์ด ์ค์ํ ๊ณผ์ ๋ก ๋๋๋์์ต๋๋ค. ์ด๋ฌํ ๋ฐฐ๊ฒฝ์์ DeepSeek LLM ์ฐ...
Join discussion
Feb 26, 2023 ยท 18 min read ยท TL;DR ์ด ์ฐ๊ตฌ๋ฅผ ์์ํ๊ฒ ๋ ๋ฐฐ๊ฒฝ๊ณผ ๋๊ธฐ๋ ๋ฌด์์ ๋๊น? ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ๋ฐ์ ์ ์ฃผ๋ก ๋น๊ณต๊ฐ ๋ฐ์ดํฐ์ ๊ณผ ๋ง๋ํ ์ปดํจํ ์์์ ๋ณด์ ํ ๋๊ธฐ์ ๋ค์ ์ํด ์ฃผ๋๋์ด ์์ต๋๋ค. ์ด๋ ํ๊ณ์ ์๊ท๋ชจ ์ฐ๊ตฌ ๊ธฐ๊ด๋ค์ LLM ์ฐ๊ตฌ ์ฐธ์ฌ๋ฅผ ์ ํํ๋ ์ค์ํ ์ฅ๋ฒฝ์ด ๋์ด์์ต๋๋ค. ๋ฉํ AI ์ฐ๊ตฌ์ง์ ์ด๋ฌํ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๊ณ ์, ๊ณต๊ฐ์ ์ผ๋ก ์ ๊ทผ ๊ฐ๋ฅํ ๋ฐ์ดํฐ๋ง์ ์ฌ์ฉํ์ฌ ์ต๊ณ ์์ค์ ์ฑ๋ฅ์ ๋ฌ์ฑํ ์ ์๋ ํจ์จ์ ์ธ ์ธ์ด ๋ชจ๋ธ์ ๊ฐ๋ฐํ๊ณ ์ ํ์ต๋๋ค. ํนํ...
BJonas commented
