---
title: "Discussion on \"크롤링 파이프라인 개선기 - 코드 구조화\" | Hashnode"
description: "Discussion on \"크롤링 파이프라인 개선기 - 코드 구조화\". 크롤링 기반 서비스를 만들다 보면 크롤링 결과를 그대로 운영에 넣을 수 있는 경우는 사실 거의 없다. 보통 실제 운영까지 가기 위해서는 아래와 같은 형태의 전처리 파이프라인을 무수히 많이 거치게 된다.\n크롤링 → 데이터 정제(이미지 사이징, 중복 제거, ...) → 분류 → 기타 가공 → 검수 → 운영 배포\n\n초기에는 이런 과정을 함수 호출로만 연결해도 큰 문제가 없었다. 하지만 서비스가 오래되고, 비즈니스 로직이 추가되고, 예외 케이스가 늘어..."
url: "https://hashnode.com/posts/7ygs66gk66ebio2mjoydto2uhoudvoyducdqsjzshkdqulaglsdsvztrk5wg6rws7kgw7zmu/694a2c5b177a92bd0f6433c1"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [크롤링 파이프라인 개선기 - 코드 구조화](https://roach-wiki.com/7ygs66gk66ebio2mjoydto2uhoudvoyducdqsjzshkdqulaglsdsvztrk5wg6rws7kgw7zmu?utm_source=hashnode&utm_medium=feed)

크롤링 기반 서비스를 만들다 보면 크롤링 결과를 그대로 운영에 넣을 수 있는 경우는 사실 거의 없다. 보통 실제 운영까지 가기 위해서는 아래와 같은 형태의 전처리 파이프라인을 무수히 많이 거치게 된다. 크롤링 → 데이터 정제(이미지 사이징, 중복 제거, ...) → 분류 → 기타 가공 → 검수 → 운영 배포 초기에는 이런 과정을 함수 호출로만 연결해도 큰 문제가 없었다. 하지만 서비스가 오래되고, 비즈니스 로직이 추가되고, 예외 케이스가 늘어...

Dec 23, 2025 · 6 min read · roach-wiki.com  
Read the article

## Written by

[roach](https://hashnode.com/@dev-roach)

@dev-roach · Seoul, KR

  
[View profile](https://hashnode.com/@dev-roach)

software enginner

## Responses

Markdown supported · ⌘↵ to post

No responses yet.
