메뉴
HN
Hacker News • 23일 전

AI 검색, 3개 사이트의 21만 '최고 소프트웨어' 페이지를 출처로 인용

IMP
8/10
핵심 요약

연구진이 Perplexity 모델 두 종에 380개 소프트웨어 카테고리의 최고 제품을 질의한 결과, 인용된 URL의 59.8%가 Tranco 순위 10만 위 밖 도메인이었고 23.4%는 상위 100만 위 안에도 없는 도메인이었다. 2023년 12월 이후에 생긴 3개 사이트가 무려 21만 5천 개의 기계 생성 '베스트 <카테고리>' 페이지를 만들어 그라운딩(검색 근거)으로 활용되고 있으며, 특히 세 번째로 많이 인용된 guideflow.com은 리뷰 사이트가 아닌 한 업체의 마케팅 블로그였다. 이는 AI 검색 엔진의 검색·인용 레이어가 저품질 SEO 콘텐츠에 얼마나 취약한지 보여주는 사례다.

번역된 본문

세 개의 사이트가 AI를 위해 215,128개의 '최고 소프트웨어' 페이지를 만들었습니다. Perplexity는 이들을 인용합니다.

우리는 두 개의 웹 그라운딩(web-grounded) 모델에 380개 소프트웨어 카테고리의 최고 제품을 질의하고, 모델이 검색해 온 모든 URL을 기록했습니다. 돌아온 7,534개 인용 중 59.8%는 Tranco 상위 100만 사이트 목록에서 100,000위보다 낮은 순위의 도메인을 가리켰고, 23.4%는 상위 100만 위 안에 아예 없는 도메인을 가리켰습니다. 그라운딩에 사용된 사이트 중 두 곳은 홈페이지의 HTML 제목을 'Facts & Grounding Page'(사실과 그라운딩 페이지 — 그라운딩이란 이런 모델이 수행하는 검색 단계를 뜻합니다)로 붙여놨습니다. 이 두 사이트와 동일한 소유 하에 있는 것으로 보이는 세 번째 사이트까지 합쳐서, 세 도메인은 총 215,128개의 기계 생성 '베스트 <카테고리>' 페이지를 발행했으며, 세 도메인 모두 2023년 12월 이전에는 존재하지 않았습니다.

실험 방법

2026년 9월 2일, 우리는 'CRM 소프트웨어'부터 '박물관 컬렉션 관리 소프트웨어'까지 380개 구매 의도 카테고리를 OpenRouter를 통해 perplexity/sonar와 perplexity/sonar-pro에 질의했습니다. 카테고리당 모델당 하나의 프롬프트로 총 760회 호출했습니다. 각 호출은 JSON 형식의 상위 5개 순위 목록과 각 제품의 공식 홈페이지 도메인을 요청했습니다. 760회 모두 파싱 가능한 응답을 반환했고, 두 모델 모두 검색한 URL을 공개하기 때문에 이들을 선택했습니다. 카테고리는 결과를 보기 전에 작성되었으며 이후 수정되지 않았습니다.

그 결과 3,800개 추천 슬롯에 1,807개의 고유 제품이 등장했고, 2,055개 고유 도메인에 걸친 7,534개 인용이 수집되었습니다. 우리는 인용된 모든 도메인을 2026년 9월 1일자 Tranco 일일 목록과 Wayback Machine에서 조회했고, 모델이 제공한 1,502개 벤더 홈페이지를 모두 가져와 여전히 존재하는지 확인했습니다.

Google은 제외했습니다. OpenRouter에서 Gemini 모델을 그라운딩하는 것은 OpenRouter 자체의 웹 검색 플러그인을 경유하는 것이므로, 인용 결과가 Google의 검색이 아니라 해당 플러그인을 반영하게 됩니다. Perplexity만 측정했으며, 이 내용이 다른 검색 엔진에 대한 주장으로 해석되어서는 안 됩니다.

인용이 어디로 향하는가

인용 수 순위 없음(Tranco 100만 위 밖) 100,000위보다 낮은 순위
perplexity/sonar 3,767 23.4%
perplexity/sonar-pro 3,767 23.5%
합계 7,534 23.4%

순위에 있는 도메인을 가리키는 5,768개 인용의 Tranco 순위 중앙값은 71,611위입니다. 상위 집중은 특이할 것이 없습니다 — 가장 많이 인용된 10개 도메인이 인용의 17.3%를 차지합니다. 즉 유명 사이트들의 카르텔이 답을 공급한다는 이야기가 아닙니다. 문제는 나머지 4/5를 채우는 것입니다. 인용된 2,055개 도메인 중 751개(36.5%)는 상위 100만 위 안에 나타나지 않습니다. 이런 도메인은 더 최근에 만들어졌습니다. 순위 없는 인용 도메인의 Wayback 첫 캡처 중앙값은 2020년인 반면 순위 있는 도메인은 2011년이며, 아카이브된 순위 없는 도메인의 16.6%가 2025년 이후 첫 캡처된 반면 순위 있는 도메인은 1.6%에 불과합니다.

가장 많이 인용된 10개 도메인:

도메인 인용 수 비중 Tranco 순위
g2.com 291 3.86% 4,027
reddit.com 261 3.46% 105
guideflow.com 194 2.57% 177,039
gartner.com 158 2.10% 1,766
zapier.com 82 1.09% 2,919
wifitalents.com 71 0.94% 105,281
capterra.com 68 0.90% 6,387
linkedin.com 67 0.89% 18
worldmetrics.org 60 0.80% 104,737
gitnux.org 50 0.66% 42,759

비교를 들자면 Wikipedia는 7,534개 중 단 세 번 인용되었습니다.

세 번째로 큰 출처는 한 벤더의 마케팅 블로그입니다

guideflow.com은 인터랙티브 제품 데모를 판매합니다. 리뷰 사이트도, 디렉터리도, 출판사도 아니며, 우리가 질의한 어떤 카테고리에서도 경쟁하지 않습니다. 그럼에도 이 블로그는 380개 카테고리 중 96개 — 4분의 1 — 에 걸쳐 194회 인용되어 전체 3위, Gartner보다 앞섰습니다. 각 인용은 서로 다른 URL입니다. 카테고리당 하나씩 96개의 고유 guideflow.com 블로그 URL이며, 그중 6개는 게시물의 에스토니아어 로케일 버전입니다. 사이트맵에는 3,351개의 블로그 URL이 있으며 그중 2,176개가 고유 게시물입니다. '3D 렌더링 소프트웨어', 'IVR 소프트웨어', 'RFID 소프트웨어', '건축 설계 사무소 소프트웨어' 등의 그라운딩을 모두 제공했습니다.

여기에 기만은 없습니다. Guideflow는 수천 개 기업이 그러하듯 대규모 콘텐츠 마케팅 블로그를 운영할 뿐입니다. 이 측정은 검색 레이어가 무엇을 하는지에 관한 것입니다.

원문 보기
원문 보기 (영어)
We asked two web-grounded models for the best products in 380 software categories and kept every URL they retrieved. Of the 7,534 citations that came back, 59.8% point at domains ranked worse than #100,000 in the Tranco top-1M list and 23.4% at domains that are not in the top million at all. Two of the sites doing the grounding have given their homepage the HTML title &ldquo;Facts & Grounding Page&rdquo; — grounding being the retrieval step these models perform — and they and a third site under apparently common control have published 215,128 machine-generated best <category> pages between them; none of the three domains existed before December 2023. What we ran On 2 September 2026 we put 380 buyer-intent categories — from &ldquo;CRM software&rdquo; to &ldquo;museum collection management software&rdquo; — to perplexity/sonar and perplexity/sonar-pro through OpenRouter, one prompt per category per model, 760 calls in all. Each call asked for a ranked top five as JSON, with each product&rsquo;s official homepage domain. All 760 returned a parseable answer, and both models report the URLs they retrieved, which is why they were chosen. The categories were written before any results were seen and never revised. That produced 3,800 recommendation slots naming 1,807 distinct products, and 7,534 citations spanning 2,055 distinct domains. We then looked up every cited domain in the Tranco daily list for 2026-09-01 and in the Wayback Machine, and fetched every one of the 1,502 vendor homepages the models supplied to see whether it still exists. Google was left out. Grounding a Gemini model on OpenRouter means routing it through OpenRouter&rsquo;s own web-search plugin, so the citations would describe that plugin rather than Google&rsquo;s retrieval. Only Perplexity was measured, and nothing here should be read as a claim about any other engine. Where the citations land Citations Unranked (outside Tranco 1M) Ranked worse than #100k perplexity/sonar 3,767 23.4% 59.8% perplexity/sonar-pro 3,767 23.5% 59.9% Pooled 7,534 23.4% 59.8% The median Tranco rank of the 5,768 citations that point at a ranked domain is 71,611. Concentration at the top is unremarkable — the ten most-cited domains take 17.3% of citations — so the story is not that a cartel of famous sites supplies the answers. It is what fills the other four-fifths: 751 of the 2,055 cited domains, 36.5% of them, do not appear in the top million. Those domains are also newer. The median first Wayback capture is 2020 for the unranked cited domains against 2011 for the ranked ones, and 16.6% of the archived unranked domains were first captured in 2025 or later, against 1.6% of the archived ranked ones. The ten most-cited domains: Domain Citations Share Tranco rank g2.com 291 3.86% 4,027 reddit.com 261 3.46% 105 guideflow.com 194 2.57% 177,039 gartner.com 158 2.10% 1,766 zapier.com 82 1.09% 2,919 wifitalents.com 71 0.94% 105,281 capterra.com 68 0.90% 6,387 linkedin.com 67 0.89% 18 worldmetrics.org 60 0.80% 104,737 gitnux.org 50 0.66% 42,759 Wikipedia, for comparison, was cited three times in 7,534. The third-largest source is one vendor&rsquo;s marketing blog guideflow.com sells interactive product demos. It is not a review site, a directory or a publisher, and it competes in none of the categories we asked about. Its blog was nonetheless cited 194 times across 96 of our 380 categories — a quarter of them — placing it third overall and ahead of Gartner. Each citation is a different URL: 96 distinct guideflow.com blog URLs, one per category, six of them the Estonian-locale copy of a post. Its sitemap lists 3,351 blog URLs, 2,176 of them distinct posts. It supplied the grounding for &ldquo;3D rendering software&rdquo;, &ldquo;IVR software&rdquo;, &ldquo;RFID software&rdquo; and &ldquo;architecture practice software&rdquo; alike. Nothing here is deceptive. Guideflow publishes a large content-marketing blog, as thousands of companies do. The measurement is about what the retrieval layer does with it: a vendor&rsquo;s own listicles about markets it does not operate in became the third-largest evidence base for a question about which product to buy. Facts and grounding pages Three other sites in the top ten and just below it are wifitalents.com (71 citations, 27 categories), worldmetrics.org (60, 22) and gitnux.org (50, 23). Together they account for 181 citations, 2.4% of the total, and appear in 41 of the 380 categories. They appear to be one operation. All three were registered through NameCheap between December 2023 and May 2024, all three delegate DNS to the same pair of Cloudflare nameservers, pam.ns.cloudflare.com and sean.ns.cloudflare.com , and all three run the same page template with the same navigation — Services, Market Data, Software Advice, Editorial Process, Company. Each also keeps a blog of exactly six posts, and all eighteen are about the other brands in the set: two posts each on the other two, and two on a fourth brand, zipdo.co , which sits on the same nameserver pair and gives its own homepage the same &ldquo;Facts & Grounding Page&rdquo; title. Sharing a nameserver pair is strong circumstantial evidence of a common Cloudflare account rather than proof of ownership, but the template, the taxonomy and the blogs match item for item. Their scale is the point. Their sitemaps list 103,578, 107,083 and 105,541 URLs, of which 70,731, 71,684 and 72,713 are /best/<something>-software/ pages: 215,128 generated buying guides across three brands , against six blog posts each (the seventh /blog/ URL in each sitemap is the blog index). There are not 215,128 software categories. The self-description is what makes them unusual. Fetched on 2 September 2026, worldmetrics.org and gitnux.org both return an HTML title of the form <Brand> — Facts & Grounding Page , and an identical meta description apart from the brand name: Verified facts about Gitnux: an independent market research company publishing industry statistics, custom research, and software Best Lists. Company, legal, methodology, and compliance details in one machine-readable record. Grounding is not a term buyers use. It is the name of the step in which a retrieval system fetches documents to condition an answer on. A machine-readable record of verified facts about oneself is not a service to a human reader either. These pages are addressed, in their titles and descriptions, to the software that reads them. That reading is being purchased in the ordinary way as well. worldmetrics.org advertises custom market research &ldquo;from €5,000&rdquo;, ready-made reports &ldquo;from €499&rdquo; and vendor selection &ldquo;from €2,500&rdquo;, above the same taxonomy of generated Best Lists that the models retrieve. One template, three verdicts We fetched the same category page from all three brands: &ldquo;project estimation software&rdquo;. Each page states its ranking in JSON-LD, so it can be read without interpretation. Each ranks ten tools; the top five are shown. Site 1 2 3 4 5 worldmetrics.org Float Scoro Teamwork.com Procore Wrike wifitalents.com Float Scoro Teamwork.com Buildertrend Apropo gitnux.org Saviom Mosaic Buildertrend Float Teamwork.com Gitnux&rsquo;s winner does not appear in Worldmetrics&rsquo; five at all. Each page carries three named staff — Worldmetrics credits Kathryn Blake, Alexander Schmidt and Victoria Marsh; Gitnux credits Diana Reeves, Helena Kowalczyk and Olivia Thornton; WifiTalents credits Ryan Gallagher, Isabella Rossi and Natasha Ivanova — nine distinct people for one question. Each page announces an editorial process; Gitnux labels its result &ldquo;AI-verified · Expert reviewed&rdquo;. All three carry an unrendered template variable in the byline line, reading &ldquo;Within the next 26 days&rdquo; on two of them and &ldquo;Within the next 40 days&rdquo; on the third. Where the recommendations point The 1,502 vendor homepages the models supplied are mostly fine. We checked each twice, once directly and once through a rotating p