Feb 16 Β· 10 min read Β· Every once in a while, you come across these concepts that are so tricky to grasp, they tickle the insides of your brain. Introducing RoPE, he gave me a hard time last week. Hi future-me, who forgot how RoPE works, this is for you. RoPE stands for Ro...
Join discussion
Jan 4, 2024 Β· 21 min read Β· TL;DR μ΄ μ°κ΅¬λ₯Ό μμνκ² λ λ°°κ²½κ³Ό λκΈ°λ 무μμ λκΉ? μ€νμμ€ λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLMs)μ λ°μ μ΄ κ°μνλλ©΄μ, λͺ¨λΈ μ€μΌμΌλ§μ λν λͺ νν μ΄ν΄μ νμμ±μ΄ λλλμμ΅λλ€. κΈ°μ‘΄ μ°κ΅¬λ€μ μ€μΌμΌλ§ λ²μΉμ λν΄ μλ‘ λ€λ₯Έ κ²°λ‘ μ μ μνμΌλ©°, νμ΄νΌνλΌλ―Έν° μ€μ μ λν μμΈν μ€λͺ μ΄ λΆμ‘±νμ΅λλ€. νΉν AGI λ°μ μ μ΄κΈ° λ¨κ³μμ ν¨μ¨μ μΈ λͺ¨λΈ μ€μΌμΌλ§ μ λ΅μ μλ¦½μ΄ μ€μν κ³Όμ λ‘ λλλμμ΅λλ€. μ΄λ¬ν λ°°κ²½μμ DeepSeek LLM μ°...
Join discussion
Feb 26, 2023 Β· 18 min read Β· TL;DR μ΄ μ°κ΅¬λ₯Ό μμνκ² λ λ°°κ²½κ³Ό λκΈ°λ 무μμ λκΉ? λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLM)μ λ°μ μ μ£Όλ‘ λΉκ³΅κ° λ°μ΄ν°μ κ³Ό λ§λν μ»΄ν¨ν μμμ 보μ ν λκΈ°μ λ€μ μν΄ μ£Όλλμ΄ μμ΅λλ€. μ΄λ νκ³μ μκ·λͺ¨ μ°κ΅¬ κΈ°κ΄λ€μ LLM μ°κ΅¬ μ°Έμ¬λ₯Ό μ ννλ μ€μν μ₯λ²½μ΄ λμ΄μμ΅λλ€. λ©ν AI μ°κ΅¬μ§μ μ΄λ¬ν νκ³λ₯Ό 극볡νκ³ μ, 곡κ°μ μΌλ‘ μ κ·Ό κ°λ₯ν λ°μ΄ν°λ§μ μ¬μ©νμ¬ μ΅κ³ μμ€μ μ±λ₯μ λ¬μ±ν μ μλ ν¨μ¨μ μΈ μΈμ΄ λͺ¨λΈμ κ°λ°νκ³ μ νμ΅λλ€. νΉν...
BJonas commented