AARYAN BAJAJaaryan-bajaj-learnings.hashnode.dev·May 14, 2024Google Crawlers: Are They Spying on Your Website?🧑🏻💻Have you ever typed a question into Google and gotten exactly what you needed in a blink? It's almost creepy how well it works! But what if I told you there's a whole secret society of web explorers, silently scouring the internet 24/7 to make that...Discuss·20 likesGoogle crawlers
루오 이comsa33.hashnode.dev·Jan 24, 2024Selenium WebDriver 최적화서론: 웹 스크래핑은 데이터 수집에 필수적인 작업이지만, 성능과 안정성에 관한 문제가 종종 발생합니다. 최근 프로젝트에서도 이러한 문제를 경험했습니다. 특히, Selenium WebDriver를 사용할 때 좀비 프로세스 발생과 메모리 부족 문제가 빈번했습니다. 문제 발생: 좀비 프로세스 증가: 스크래퍼가 실행되면서 시간이 지날수록 프로세스 ID(PID)가 급격히 증가하고, 시스템 리소스 소비가 늘어났습니다. root 32358...Mamaz and 1 other are discussing this2 people are discussing thisDiscusszombie process
Dixongenesis.hashnode.dev·Nov 29, 2023Web Crawler System DesignHelloo! Another attempt at a detailed blog post on designing a web crawler, covering all key aspects structurally: Designing a Scalable Web Crawler A web crawler is a program that browses the web to index pages systematically. Web crawler is generall...DiscussSystem Design
