comsa33.hashnode.dev한국어 검색 엔진: Langchain과 Faiss를 이용한 RAG 체인 구축서론 인공지능 기반의 검색 및 추천 시스템은 다양한 데이터 소스에서 유용한 정보를 신속하게 검색하고 제공하는 데 필수적입니다. 최근 프로젝트에서 Elasticsearch를 사용하여 벡터 임베딩을 색인화하고 검색하는 기존 방식에서 한국어 처리 성능의 한계와 높은 비용 문제를 경험했습니다. 이에 따라, 더 나은 성능과 비용 효율성을 제공하는 새로운 솔루션을 개발하기로 결정하였습니다. 이 글에서는 Elasticsearch 대신 langchain과 f...Jun 27, 2024·8 min read
comsa33.hashnode.dev도메인 최적화 파인튜닝: Ai 기반 Toeic 문제 생성 모델 개발1. 서론 프로젝트 배경 및 목적 이 프로젝트는 TOEIC 문제를 생성하는 AI 모델을 도메인 최적화 파인튜닝을 통해 개발하는 것입니다. 이 모델은 https://toeic4all.com 서비스에서 문제를 생성하는 데 사용됩니다. 사용한 기술 스택 Python PyTorch Hugging Face Transformers Unsloth Weights & Biases CUDA 12.1 2. 환경 설정 Unsloth 설치 방법 (CUD...Jun 1, 2024·8 min read
comsa33.hashnode.dev쿠버네티스에서 PostgreSQL 데이터베이스 미러링 및 주기적 백업 설정본문 1. 서론 프로젝트 개요 이번 프로젝트에서는 쿠버네티스 클러스터에서 PostgreSQL 데이터베이스를 미러링하고, 주기적으로 백업하는 방법을 설명합니다. 이를 통해 데이터의 신뢰성과 가용성을 높일 수 있습니다. 환경 설정 및 요구사항 쿠버네티스 클러스터 (노드 3대) PostgreSQL 14 백업 서버 (맥미니, Ubuntu Server 설치) Docker 및 Docker Compose 2. 준비 단계 쿠버네티스 클러스터 설정 ...Jun 1, 2024·4 min read
comsa33.hashnode.dev[해결] [microk8s] metallb tls 인증서 오류문제 온프레미스 클러스터 운영 중 로드밸런싱 기술을 도입하기 위해 metallb를 설치 ip address pool 설정을 적용하는 중 아래와 같은 에러 발생 apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: ruo-network-pool-1 namespace: metallb-system spec: addresses: - 192....Mar 14, 2024·5 min read
comsa33.hashnode.dev쿠버네티스: 로드 밸런서와 노드포트 이해하기쿠버네티스 환경에서 서비스에 외부 트래픽을 효과적으로 라우팅하는 것은 중요한 과제입니다. 이 글에서는 쿠버네티스의 두 가지 주요 서비스 유형인 로드 밸런서(LoadBalancer)와 노드포트(NodePort)에 대해 살펴보겠습니다. 노드포트(NodePort)란? 노드포트는 가장 기본적인 방법으로, 클러스터의 모든 노드에 동일한 포트를 열어 서비스에 접근할 수 있게 하는 방식입니다. 노드포트는 마치 집안에 있는 모든 문을 열어놓고, 집안에 있는 ...Feb 18, 2024·2 min read
