SKSunghoon Kiminssuhoon.hashnode.dev·Jul 8, 2024 · 3 min read기존의 자연어 처리 기법자연어 처리를 위한 딥러닝 기술 이전, 텍스트 마이닝 분야에서 기초적으로 사용되던 기법에 대해 정리한다. Bag-Of-Words (단어 가방 모형) 단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도(frequency)에만 집중하는 텍스트 데이터의 수치화 표현 방법입니다. 단어를 벡터로 표현하기 위해서는 주어진 문장에 쓰인 단어들을 사전(Vocabulary) 형태로 저장하며, 이때 주의할 점은 단어들의 중복을 허용하지 않아야 한다는 점...00
SKSunghoon Kiminssuhoon.hashnode.dev·Jul 7, 2024 · 3 min read자연어 처리 활용 분야와 트렌드자연어 처리(NLP, Natural Language Processing)은 기본적으로 (1) 컴퓨터가 주어진 단어나 문장 그리고 보다 더 긴 문단이나 글을 이해하는 NLU(Natural Language Understading)과 (2) 이러한 자연어를 상황에 따라 적절히 생성할 수 있는 NLG(Natural Language Generation)이라 부르는 두 종류의 Task로 구성된다. 자연어 처리 분야별 학회 목록 NLP 분야는 CV 분야와...00
SKSunghoon Kiminssuhoon.hashnode.dev·Jun 19, 2024 · 4 min read최적화(Optimization) 기초본 강좌에서는 최적화(Optimization) 문제에서 나오는 여러가지 용어들에 대한 명확한 정의와 컨셉만을 집고 넘어간다. Generalization 인공지능에서 일반화(Generalization)란 학습된 모델이 unseen data에 대해 얼마나 잘 작동하는지를 의미한다. 즉, 일반화 성능(Generalization performence)은 학습 데이터에서의 성능과 테스트 데이터 사이에서의 성능이 얼마나 차이나는지를 말한다. Un...00
SKSunghoon Kiminssuhoon.hashnode.dev·Jun 18, 2024 · 2 min read베이즈 통계학 기초조건부 확률이란? 베이즈 통계학을 이해하기 위해서는 조건부 확률의 개념을 이해해야 한다. 조건부 확률 $P(A|B)$는 사건 B가 일어난 상황에서 사건 A가 발생할 확률을 의미한다. 조건부 확률을 계산하는 방법은 두 개의 사건 A와 B가 있을 때 두 사건의 교집합이 일어날 확률을 특정 사건으로 나눠주게 되면 계산할 수 있다. 이 수식을 다음과 같이 정리하면 베이즈 정리를 유도할 수가 있고, 조건부 확률을 이용해서 정보를 갱신하는 방법을 알 ...00
SKSunghoon Kiminssuhoon.hashnode.dev·Jun 17, 2024 · 4 min read통계학 기초모수가 뭐에요? 통계적 모델링은 적절한 가정위에서 확률분포를 추정(inference)하는 것이 목표이며, 기계학습과 통계학이 공통적으로 추구하는 목표이다. 실제로 사용할 수 있는 분포의 종류도 굉장히 다양하여 어떤 확률 분포를 사용해서 모델링하는 것도 중요한 선택이다. 그러나 유한한 개수의 데이터만 관찰해서 모집단의 분포를 정확하게 알아낸다는 것은 불가능하므로, 근사적으로 확률분포를 추정할 수 밖에 없다. 예측모형의 목적은 분포를 정...00
