MESH
MESHMESH
Web Intelligence
웹을 AI가 그대로 쓸 수 있는 데이터로 바꿉니다
페이지를 가져오는 것은 첫 단계일 뿐입니다. 본문만 남긴 Markdown, 정해 준 스키마대로 채운 JSON, 그 페이지가 무엇에 관한 것인지까지 붙여야 AI가 다시 손대지 않고 바로 씁니다. MESH는 그 마지막 단계까지를 맡습니다.
아직 열지 않은 라인입니다. 지금은 무엇을 만들고 있는지만 공개합니다. 가입·API Key 발급·요금제는 열리지 않았고, Credit 단가는 실제 원가를 재기 전이라 적지 않습니다.
출력 형태 예시
같은 페이지 하나에서
- Markdown본문만 · 제목 위계 유지
- Structured JSON지정 스키마 7필드
- Entity회사 1 · 제품 3 · 주제 2
- Page TypeProduct
- IntentCommercial
- Versionv3 · 이전 판과 2곳 다름
화면 구성 예시입니다. 실제 필드는 요청할 때 지정한 스키마를 따릅니다.
Why
스크레이퍼가 아닙니다
URL을 넣고 HTML을 받는 도구는 이미 많습니다. 문제는 그 HTML을 쓸 수 있게 만드는 일이 전부 사용자 몫으로 남는다는 것입니다.
일반적인 수집
URL → HTML → 저장
받은 뒤에 본문을 고르고, 광고를 지우고, 표를 다시 짜고, 무엇에 관한 페이지인지 판단하는 일이 남습니다. 이 뒷정리가 실제 작업 시간의 대부분입니다.
MESH
URL → 구조화된 지식
정제·구조화·엔티티·분류·버전까지 끝난 상태로 넘깁니다. 받은 쪽에서 다시 파싱 코드를 쓰지 않아도 되는 지점까지가 MESH의 범위입니다.
Pipeline
여섯 단계를 거칩니다
각 단계는 따로 돌아갑니다. 앞 단계에서 걸러낼 수 있는 것을 뒤로 넘기지 않는 것이 원칙입니다 — 규칙으로 끝낼 수 있는 일에 모델을 태우면 원가가 그대로 요금이 됩니다.
Discover
URL 하나 또는 검색어에서 시작합니다. sitemap과 내부 링크를 읽어 어떤 페이지가 있는지 먼저 목록으로 만듭니다.
Fetch · Render
정적 HTML로 끝나는 페이지와 JavaScript로 그려지는 페이지를 구분해 가져옵니다. robots 정책과 도메인별 요청량 제한을 지킵니다.
Clean
내비게이션·푸터·광고·중복 블록을 걷어내고 본문만 남깁니다. 여기서 걸러지지 않은 것은 뒤 단계 비용을 그대로 늘립니다.
Structure
제목 위계·표·목록·링크를 유지한 Markdown과, 지정한 스키마대로 채운 Structured JSON을 같이 냅니다.
Understand
회사·제품·인물·장소 같은 엔티티와, 페이지 유형·주제·의도를 붙입니다. 이 단계가 수집 도구와 갈리는 지점입니다.
Dataset
결과를 파일 더미가 아니라 버전이 있는 Dataset으로 둡니다. 같은 사이트를 다시 수집해도 이전 판을 덮어쓰지 않습니다.
Capabilities
어떤 요청을 받나요
Scrape
URL 하나를 받아 Clean HTML·Markdown·Text·JSON·메타데이터·링크·이미지를 냅니다. 렌더링 여부, 타임아웃, 출력 형식을 요청마다 정합니다.
Crawl
사이트 전체 또는 지정한 경로만 훑습니다. 깊이·최대 페이지·포함/제외 경로·서브도메인 허용·canonical 처리·중복 제거를 옵션으로 둡니다.
Map
실제로 수집하기 전에 구조부터 봅니다. 발견된 URL 목록과 페이지 유형 분류를 먼저 받고, 무엇을 수집할지 고른 뒤 시작합니다.
Search
검색어를 넣으면 URL 목록이 아니라 본문까지 붙은 결과를 냅니다. 검색과 수집을 따로 호출하지 않아도 됩니다.
Extract
원하는 필드를 스키마로 정의하면 그대로 채워 냅니다. selector에만 기대지 않아, 페이지 구조가 바뀌어도 같은 의미의 값을 찾습니다.
Monitor
대상과 주기를 등록해 두면 변경을 추적합니다. 추가·삭제·수정을 나누고, 무엇을 중요한 변경으로 볼지 목표를 지정합니다.
Intelligence
수집 위에 한 겹을 더 올립니다
이 계층이 PULSE 진단의 근거가 되는 자리이기도 합니다. 같은 데이터를 밖으로도 팔고 안에서도 씁니다.
Entity
페이지에서 회사·브랜드·제품·인물·조직·장소·서비스·주제를 뽑아냅니다. 같은 회사가 페이지마다 다른 이름으로 적혀 있는지도 여기서 드러납니다.
Semantic
홈·제품·서비스·블로그·문서·FAQ·가격·회사소개 같은 페이지 유형과, 정보형·상거래형·거래형 의도를 분류합니다.
Change
해시 비교로 끝내지 않습니다. 날짜만 바뀐 것과 가격이 바뀐 것을 같은 무게로 알리면 알림은 곧 무시됩니다. 무엇을 중요한 변경으로 볼지 먼저 정합니다.
Provenance
모든 값에 출처를 답니다. 어느 URL을 언제 수집한 어떤 버전에서 나왔는지 따라갈 수 없으면, 그 데이터로 내린 판단도 검증할 수 없습니다.
Usage
쓴 만큼으로 셉니다
구독에 포함된 사용량을 두고, 초과분은 추가로 구매하는 구조로 설계합니다. 사용량은 Credit이라는 하나의 단위로 셉니다 — 페이지 수, 검색 결과 수, 브라우저 사용 시간처럼 성격이 다른 작업을 한 화면에서 비교할 수 있어야 하기 때문입니다.
실행 전 예상 비용
대규모 수집은 시작하기 전에 예상 사용량을 먼저 보여 주고 확인을 받습니다.
한도와 자동 중지
일·월 한도, 한 번에 수집할 최대 페이지 수를 정해 둡니다. 실수로 넘길 수 없게 막는 쪽이 먼저입니다.
사용 내역
잔액 하나가 아니라 이동 내역으로 남깁니다. 언제 무엇에 얼마가 나갔는지 되짚을 수 있어야 합니다.
실패한 요청
우리 쪽 오류는 과금하지 않습니다. 대상 사이트가 4xx·5xx를 돌려준 경우의 기준은 문서로 먼저 공개합니다.
Credit 단가와 요금제 금액은 아직 적지 않습니다. 실제 원가를 재기 전에 숫자를 공개하면 그 숫자가 곧 약속이 됩니다.
Loop
PULSE·FORGE와 같은 데이터를 씁니다
MESH는 PULSE에 종속된 내부 기능이 아닙니다. 따로 팔 수 있는 라인이고, 동시에 PULSE·FORGE가 쓰는 수집 계층입니다. 두 방향 모두 성립해야 같은 인프라 위에서 진단과 데이터를 같이 갈 수 있습니다.
MESH → PULSE
진단이 URL 하나를 모델에 던져 점수를 받는 방식이 되지 않게 합니다. 수집한 페이지와 엔티티가 점수의 근거로 남고, 점수에서 원문까지 따라갈 수 있습니다.
MESH → FORGE
어떤 페이지에 무엇이 비어 있는지가 Recommend 단계의 입력이 됩니다. 반영 뒤에는 같은 수집 기준으로 다시 재서 실제로 달라졌는지 확인합니다.
독립 판매
MESH만 쓰는 고객은 PULSE를 계약하지 않습니다. 상담·요금·대시보드를 따로 두는 이유이고, 반대 방향도 같습니다.
Boundaries
하지 않는 것
- 로그인 뒤에 있는 화면을 권한 없이 수집하는 일
- robots 정책과 대상 사이트의 이용약관을 무시하는 수집
- 모든 페이지에 LLM을 태워 원가를 그대로 요금에 넘기는 방식
- 수집한 데이터가 최신이라는 보장 — 언제 수집한 판인지로만 말합니다
Start
어떤 데이터가 필요한지 먼저 알려주세요
아직 열지 않은 라인이라 지금은 가입 대신 상담으로 받습니다. 대상 사이트와 필요한 형태를 남겨 주시면 열릴 때 먼저 안내하고, 범위가 맞으면 그 전에 개별로 진행합니다.