"저질 AI 콘텐츠 피하려 직접 만들었다"…개인형 검색엔진 '말린' 눈길

이용자가 직접 도메인 골라 웹 수집·색인...AI 슬롭 걸러내는 오픈소스 검색 실험

인공지능(AI)이 생성한 저품질 콘텐츠 이른바 'AI 슬롭(Slop)'이 범람하는 가운데 개인이 원하는 독립 웹만 직접 수집해 검색하는 AI 검색엔진이 등장했다.

14일 실크타이드의 개발자 알렉스 몰리-핀치는 오픈소스 AI 프로젝트인 개인 맞춤형 검색엔진 '말린(Marlin)'을 공개했다.

말린은 포트폴리오, 소규모 예술 프로젝트, 1인 개발 소프트웨어, 진(zine) 등 개인 창작자 중심 웹을 직접 수집해 검색할 수 있도록 설계된 오픈소스 프로젝트다. 대형 검색엔진처럼 인터넷 전반을 광범위하게 다루기보다 사용자가 중요하게 여기는 웹을 별도로 모아 인덱스로 구축하는 방식이다.

개인형 AI 검색 프로젝트 '말린'(이미지=깃허브)

이 프로젝트는 검색엔진 구조를 최대한 단순화한 것이 특징이다. 홈페이지 단위로 페이지를 수집한 뒤 소형 언어모델이 각 사이트를 읽고 사이트명, 짧은 설명, 카테고리, 태그를 생성한다. 전체 HTML을 대규모로 저장하거나 복잡한 재수집 체계를 두지 않고도 검색 가능한 데이터베이스를 구축할 수 있도록 설계됐다.

내부 구조는 4개 구성요소로 이뤄졌다. 도메인을 수집하고 페이지를 가져오는 '수집기', 소형 오픈AI 호환 모델을 호출해 내용을 요약·분류하는 '작업기', 목적에 맞지 않는 페이지 유입을 막는 '관리기', 실제 검색과 진행 현황 확인을 담당하는 API 및 웹 UI다. 구조는 단순하지만, 검색용 인덱스를 구축하고 관리하는 데 필요한 핵심 기능은 갖췄다는 평가다.

알렉스 몰리 핀치 개발자는 약 56만개 홈페이지를 색인하는 데 클라우드 그래픽처리장치(GPU) 비용 약 10달러를 투입했다고 설명했다. 저장 공간도 1기가바이트(GB) 미만 수준이라고 밝혔다.

다만 초기 결과는 기대와 달랐다. 말린이 처음 수집한 페이지 상당수는 개발자가 원했던 독립 창작자 중심 웹이 아니라 기업 사이트와 문서 페이지였던 것으로 전해졌다. 첫 결과물의 90% 이상이 기업 웹사이트와 문서였다는 점에서 단순 크롤링만으로는 원하는 검색 품질을 확보하기 어렵다는 한계도 드러났다.

이에 따라 알렉스 몰리-핀치는 차단 방식 대신 가중치 기반 우선순위 시스템을 도입했다. 원하는 유형의 사이트는 크롤링 큐 상단에 배치하고, 그렇지 않은 사이트는 뒤로 미루는 방식이다. 이를 통해 검색엔진의 성격은 단순한 수집량이 아니라 무엇을 우선적으로 모을 것인지에 따라 달라질 수 있다는 점이 부각됐다.

그는 프로젝트의 가장 큰 과제로 분류 체계 정리를 꼽았다. AI에 카테고리와 태그 생성을 자유롭게 맡기자 카테고리 수가 과도하게 늘어나고 유사한 태그가 반복 생성되는 문제가 나타났기 때문이다. 이에 따라 AI가 분류 초안을 만들더라도 장기적으로는 사람이 별도 기준을 두고 이를 통합·관리해야 일관된 체계를 유지할 수 있다는 설명이다.

관련 업계에서는 말린이 구글과 같은 범용 검색엔진을 대체할 수준의 서비스라기보다, 개인 또는 소규모 커뮤니티를 위한 맞춤형 검색 인프라의 가능성을 보여준 사례로 보고 있다. 특히 생성형 AI가 검색 인터페이스를 바꾸는 데 그치지 않고 검색 대상의 수집과 분류 방식까지 변화시키고 있다는 점에서 주목도가 높다.는 평이다.

알렉스 몰리-핀치 개발자는 "말린은 이용자가 직접 웹 수집 방향을 정하고 원하는 정보만 골라 보기 위한 도구"라며 "최근 온라인상에서 빠르게 늘고 있는 'AI 스롭'성 콘텐츠를 그대로 받아들이기보다 자신이 보고 싶은 내용만 검색하고 싶었다"며 개발 이유를 밝혔다.