b;u Research
MESHb;u MESH
수집이 아니라 구조화를 만들고 있습니다
웹페이지를 가져오는 도구는 이미 많습니다. 우리가 붙이는 것은 본문만 남긴 Markdown, 스키마에 맞는 JSON, 엔티티 표시입니다. PULSE와 FORGE가 이 데이터를 쓰게 될 것이고, 품질이 확인되기 전에는 외부 판매를 열지 않습니다. Credit 단가도 원가를 재기 전에는 적지 않습니다.
연구 허브로Why
진단 엔진이 매번 같은 페이지를 다시 읽지 않게
지금은 라인마다 페이지를 따로 가져옵니다. 본문 추출 품질이 갈리면 점수도 갈립니다. MESH는 그 공통 층을 한곳으로 모으려는 연구입니다. 잘되면 PULSE 재측정과 FORGE 반영이 같은 원문을 봅니다.
Pipeline
지금 쌓고 있는 순서
01
Discover
URL이나 검색어에서 페이지 목록을 만듭니다. sitemap과 내부 링크를 먼저 읽습니다.
02
Fetch
정적 HTML과 JavaScript로 그려지는 페이지를 구분해 가져옵니다. robots와 요청량 제한을 지킵니다.
03
Clean
내비게이션·푸터·광고를 걷어내고 본문만 남깁니다. 여기서 빠지면 뒤 단계 비용이 그대로 늘어납니다.
04
Structure
Markdown, 지정한 스키마의 JSON, 엔티티·페이지 유형을 붙입니다. 긁어 오는 것으로 끝내지 않습니다.
05
Serve
PULSE·FORGE가 같은 데이터를 쓰게 하고, 나중에는 API로도 내보냅니다. 지금은 내부 소비가 먼저입니다.
Not for sale
아직 신청받지 않습니다
품질 기준과 요청량 한도, 원가가 정해지기 전에 외부 사용량을 받으면 나중에 요금과 한도를 바꿔야 합니다. Product 메뉴의 MESH는 그 이유 때문에 연구 중 안내만 띄웁니다. 파이프라인이 내부 진단에서 버티면 그때 이 자리를 엽니다.