좋은 오후입니다, 운영자님

전체 수집 파이프라인의 상태와 품질 이슈를 한눈에 확인하세요.

오늘 수집 페이지

0

성공률

0

파싱 정확도

0

주의 필요

0

수집 처리량 · 최근 12시간

대기 0실행 0재시도 0완료 0

운영 알림

선택자 이상 감지쇼핑몰 A의 가격 필드 누락률이 18%입니다.

robots 정책 확인뉴스 B의 robots.txt가 변경되었습니다.

파서 게시 완료상품 카드 v12가 프로덕션에 반영되었습니다.

실행 중인 작업

작업명	대상	진행률	성공률	상태

크롤링 작업

사이트 단위, URL 목록, 사이트맵, 검색 결과 기반 작업을 통합 관리합니다.

	작업	수집 방식	스케줄	최근 실행	품질	상태

새 크롤링 작업 만들기

URL 입력부터 수집 범위, 데이터 필드, 실행 정책까지 단계별로 설정합니다.

시각적 데이터 선택기

페이지 요소를 클릭해 필드를 만들고 목록·상세 페이지 패턴을 자동 감지합니다.

파서 스튜디오

수집 데이터를 HTML 콘텐츠로 조립하고 링크, 임베드, 붙여넣기 형식으로 배포합니다.

실행·모니터링

큐, 워커, 요청, 브라우저 세션, 파싱 품질을 실시간 추적합니다.

활성 워커

0

초당 요청

0

P95 응답시간

0

차단율

0

파이프라인

URL Frontier대기 18,420

→

Policy Gaterobots · 속도 제한

→

FetcherHTTP / Browser

→

ExtractorCSS · XPath · AI

→

Normalizer정제 · 중복 제거

→

PublisherDB · HTML · Webhook

실시간 로그

오류 분포

데이터셋

원본 응답, 구조화 레코드, HTML 산출물과 변경 이력을 관리합니다.

데이터셋	레코드	스키마	최근 갱신	품질	배포

인프라·정책

프록시, 워커 풀, 자격증명, 접근 정책과 준법 통제를 설정합니다.

접근 정책

robots.txt 준수

도메인별 요청률 자동 제한

개인정보 탐지 시 격리

프록시 전략

기본 풀

지역

세션 유지

워커 오토스케일

최소 / 최대

확장 기준

감사·보안 체크

정책 데이터를 불러오는 중입니다.