스크린파이프(YC S26): 화면 기록으로 AI 에이전트 강화하기
사용자의 PC 화면과 오디오를 로컬에 24시간 기록하여 AI 에이전트에게 '검색 가능한 기억'을 제공하는 오픈소스 도구입니다. 이를 통해 반복 작업을 자동화하고 업무 프로세스(SOP)를 쉽게 문서화할 수 있습니다. AI가 사용자의 업무 맥락을 완벽하게 이해하고 진정한 자율성을 가질 수 있도록 돕는 핵심 솔루션입니다.
사용자의 PC 화면과 오디오를 로컬에 24시간 기록하여 AI 에이전트에게 '검색 가능한 기억'을 제공하는 오픈소스 도구입니다. 이를 통해 반복 작업을 자동화하고 업무 프로세스(SOP)를 쉽게 문서화할 수 있습니다. AI가 사용자의 업무 맥락을 완벽하게 이해하고 진정한 자율성을 가질 수 있도록 돕는 핵심 솔루션입니다.
최근 검색 증강 생성(RAG), AI 에이전트, 워크플로우 구축을 시각적이고 코딩 없이 진행할 수 있는 노코드/로우코드 도구들이 속속 등장하고 있습니다. 본 글은 실무자들이 검증된 라이선스와 저장소, 그리고 각 플랫폼에 최적화된 활용 사례를 바탕으로 적합한 도구를 선택할 수 있도록 10개의 오픈소스 플랫폼을 소개합니다. 이는 개발 역량에 구애받지 않고 AI 애플리케이션을 신속하게 개발하고자 하는 산업계의 요구를 반영한 중요한 자료입니다.
구글 클라우드가 벡터 데이터베이스나 임베딩 없이도 LLM이 메모리를 지속적으로 통합·관리할 수 있는 '상시 구동 메모리 에이전트(Always-On Memory Agent)'를 공개했습니다. 이 참조 구현은 ADK와 Gemini 3.1 Flash-Lite를 기반으로 작동하며, 오케스트레이터가 하위 에이전트들을 통해 24시간 내내 SQLite에 구조화된 메모리를 읽고 쓰도록 조율합니다. 이는 기존의 복잡한 RAG 파이프라인을 대체할 수 있는 획기적인 접근법으로, AI 에이전트의 메모리 관리 패러다임을 단순화한다는 점에서 매우 중요합니다.
최근 조사에 따르면 기업의 다수가 AI 에이전트가 자신감 있게 틀린 답변을 내놓는 '컨텍스트 격차(Context gap)' 문제를 겪고 있습니다. 정보 검색 문제가 아니라 비즈니스 데이터에 대한 신뢰 문제이며, 이를 해결하기 위해 '거버넌스 의미론적 계층(governed semantic layer)'을 구축하는 기업이 늘고 있어 주목됩니다.
라마인덱스(LlamaIndex)는 Index v2 기반의 문서 지식 베이스를 에이전트가 파일 시스템처럼 탐색할 수 있도록 돕는 참고용 앱인 'legal-kb'를 공개했습니다. 이 앱은 하이브리드 의미 검색(retrieve), 파일 찾기(find), 읽기(read), 패턴 검색(grep) 기능을 도구로 제공하여 AI가 복잡한 문서를 정밀하게 분석하고 출처를 시각적으로 추적할 수 있게 해줍니다. TanStack Start 및 AI SDK 6 등 최신 기술 스택이 활용된 이 오픈소스는 지식 관리 및 법률 정보 검색 시스템 구축에 중요한 참고 자료가 될 수 있습니다.
본 튜토리얼은 구글 코랩 환경에서 '랩-애니씽(RAG-Anything)' 워크플로우를 활용해 텍스트, 표, 수식, 이미지를 아우르는 멀티모달 RAG(검색 증강 생성) 시스템을 구축하는 과정을 다룹니다. 오픈AI API를 연동하고 합성 PDF 리포트를 생성하여 데이터를 파이프라인에 주입한 뒤, 로컬·글로벌·하이브리드 등 다양한 검색 모드를 테스트합니다. 단순 텍스트를 넘어 복합적인 문서 데이터를 처리해야 하는 실무자들에게 매우 유용한 기술 가이드입니다.
헤이스택(Haystack)은 상용화 수준의 AI 에이전트와 RAG(검색 증강 생성), 컨텍스트 엔지니어링을 구축하기 위한 강력한 오픈소스 프레임워크입니다. 프로토타입을 빠르게 실제 서비스 환경으로 전개할 수 있도록 돕고, 주요 AI 모델 및 벡터 데이터베이스와의 자유로운 연동을 지원하며 기업 규모의 확장성을 제공한다는 점에서 실무자들에게 매우 유용합니다.
미스트랄 AI가 단순 텍스트 추출을 넘어 바운딩 박스, 타입 분류, 단어별 신뢰도 점수를 제공하는 구조화된 문서 출력이 가능한 'OCR 4'를 공개했습니다. 이 모델은 170개 언어를 지원하며 단일 자체 호스팅 컨테이너로 구동되어, RAG 및 에이전트 파이프라인에 즉시 인용 가능한 출처 정보를 원활하게 공급할 수 있다는 점에서 실무자들에게 매우 유용합니다.
저자는 가사 관련 챗봇의 검색 정확도(RAG)를 높이기 위해 6억 개(0.6B)의 매개변수를 가진 초소형 로컬 LLM인 Qwen 3:0.6B를 파인튜닝하여 질문을 카테고리별로 분류하는 실험을 진행했습니다. 미세조정 전 원본 모델의 정답률은 10%에 불과했으나, Unsloth 프레임워크와 약 850개의 데이터를 활용해 학습을 진행하여 신뢰할 수 있는 분류기를 구축할 수 있었음을 보여줍니다.
본 튜토리얼은 크롤링 프레임워크인 '크롤리(Crawlee) for Python'을 활용하여 웹 데이터 수집부터 AI 모델용 데이터 생성까지의 전 과정을 다룹니다. BeautifulSoup, Parsel, Playwright 등 다양한 크롤러를 사용해 데이터를 추출하고 정규화한 뒤, 링크 그래프를 구축하여 RAG(Retrieval-Augmented Generation)에 최적화된 형태로 내보내는 실무 워크플로우를 소개합니다. AI 구축에 필요한 양질의 학습 및 참조 데이터를 안정적으로 파이프라인화하려는 개발자에게 매우 유용한 기술 가이드입니다.
바이엘(Bayer)과 소프트웨어 컨설팅 기업 Thoughtworks가 협업하여 수십 년간 축적된 의약품 안전성 연구 보고서를 통합하는 에이전트 AI 플랫폼 'PRINCE'를 구축한 사례입니다. 이 시스템은 단순한 키워드 검색을 넘어, 컨텍스트 엔지니어링과 하네스 엔지니어링을 통해 복잡한 연구 질문에 답하고 규제 문서를 초안하는 수준의 지능형 연구 보조자 역할을 수행합니다. 데이터 접근성과 연구 효율성을 획기적으로 높이면서도 투명성과 규정 준수를 통해 신뢰성을 확보한 실제 산업용 AI 구축의 핵심 전략을 보여줍니다.
AI 에이전트가 이전 대화를 기억하지 못하는 한계를 극복하기 위해 일래스틱서치(Elasticsearch) 기반의 영구 기억 아키텍처를 제안합니다. 인지과학에 기반한 3가지 기억 유형(에피소드, 의미, 절차)을 분리하여 저장하고, 하이브리드 검색과 RRF, 재정렬(reranker) 기법을 적용해 0.89라는 높은 회상율(Recall)을 달성했습니다. 컨텍스트 창의 비용과 망각 현식을 해결할 수 있는 실질적인 장기 기억 시스템 구현 가이드입니다.
현재 다수의 AI 에이전트 메모리 라이브러리들이 인지과학의 용어를 차용해 쓰고 있지만, 실제 엔지니어링 구현은 그 의미를 제대로 반영하지 못하고 있습니다. 이 글은 에이전트의 기억 시스템이 대화에서 정보를 추출하는 '추출기', 데이터를 저장하고 모순을 처리하는 '저장소', 필요한 정보를 검색하는 '검색기'라는 세 가지 핵심 구성 요소로 이루어져 있음을 설명합니다. 개발자들은 이 세 가지 구조의 동작 방식과 설계 선택(정보 압축, 모순 처리 등)을 이해함으로써 어떤 메모리 라이브러리든 평가하고 활용할 수 있습니다.
텐센트가 AI 에이전트를 위한 완전한 로컬 기반 메모리 시스템인 'TencentDB Agent Memory'를 MIT 라이선스로 오픈소스화했습니다. 이 시스템은 심볼릭 단기 메모리와 4계층(L0~L3) 장기 메모리 피라미드를 결합하여 토큰 사용량을 61.38% 줄이고 작업 성공률을 크게 향상시켰습니다. 기본적으로 로컬 환경에서 작동하여 외부 클라우드 종속성 없이 AI 에이전트의 기억력과 효율성을 높일 수 있다는 점이 가장 큰 의의입니다.
Turbovec는 구글 리서치의 TurboQuant 알고리즘을 도입하여 16배 압축과 코드북 학습 불필요(Zero codebook training)의 강점을 제공하는 새로운 벡터 인덱스입니다. Rust로 구현되어 고성능을 자랑하며 Python 바인딩을 제공해 RAG 파이프라인 구축에 최적화되어 있습니다.
RAG와 에이전트 AI 환경에서 필수적인 인프라로 자리 잡은 벡터 데이터베이스를 주요 9개 제품을 대상으로 비교 분석한 글입니다. 각 시스템의 아키텍처, 가격 정책, 확장성 한계 등 실무적인 기준을 제시하여 기술 선택을 돕습니다. AI 검색 및 생산성 향상을 위한 백엔드 인프라 구축 담당자들에게 중요한 인사이트를 제공합니다.
구글 딥마인드가 제미나이(Gemini) API의 파일 검색(File Search) 도구에 멀티모달 데이터 처리, 커스텀 메타데이터, 페이지 수준의 출처 인용 기능 등 세 가지 주요 업데이트를 도입했습니다. 이를 통해 개발자들은 텍스트와 이미지를 동시에 이해하는 정확하고 투명한 RAG(검색 증강 생성) 시스템을 구축할 수 있게 되었습니다. 이번 업데이트는 대규모 비정형 데이터를 다루는 실무자들에게 검색 정확도와 결과의 신뢰성을 획기적으로 높여준다는 점에서 중요합니다.
전 구글 딥마인드와 메타 엔지니어들이 설립한 스타트업 '서브쿼드래틱(Subquadratic)'이 기존 대비 처리 비용을 1,000분의 1 수준으로 줄이는 새로운 AI 아키텍처를 발표했습니다. 이 모델은 데이터가 늘어나도 연산량이 비례해서 증가하는 선형 스케일링(Linear scaling)을 채택해 최대 1,200만 토큰의 컨텍스트 윈도우를 처리할 수 있다고 주장합니다. 비즈니스 측면에서 이 기술이 검증된다면 RAG(검색 증강 생성) 파이프라인이 불필요해질 수 있으나, 독립적인 동료 평가나 성능 저하 검증이 부족하다는 산업계의 비판적 시각도 존재합니다.
에빙하우스의 망각 곡선을 적용해 AI 에이전트의 문맥을 생물학적 기억처럼 관리하는 오픈소스 로컬 MCP 서버가 공개되었습니다. 단순히 정보를 영구 저장하는 기존 RAG의 한계를 극복하고 그래프 레이어를 결합하여 벤치마크에서 52%의 높은 회상률과 84%의 토큰 절감 효과를 입증했습니다. 장기 프로젝트를 수행하는 AI 에이전트에게 '무엇을 잊을지' 결정하는 것이 '무엇을 기억할지'만큼 중요하다는 점을 강력히 시사합니다.
Hacker News에 'Stash'라는 오픈소스 AI 메모리 레이어 프로젝트가 소개되었습니다. 이 도구는 PostgreSQL과 pgvector 기반으로 작동하며, 어떤 AI 에이전트든 사용자와의 대화 맥락과 선호도를 영구적으로 기억할 수 있게 해줍니다. 기존의 단순한 문서 검색(RAG)과 달리, 폴더처럼 체계적으로 메모리를 관리하고 에피소드를 패턴과 지혜로 발전시키는 '두 번째 뇌' 역할을 합니다.
이 글은 매번 검색어를 조회할 때마다 처음부터 답을 찾는 기존 RAG 방식의 한계를 지적하며, LLM이 원문을 바탕으로 지속 가능하고 상호 연결된 개인 위키를 점진적으로 구축 및 유지 관리하는 새로운 패턴을 제안합니다. LLM이 단순한 문서 검색을 넘어 요약, 교차 참조, 정보 갱신 등의 편집 작업을 자동으로 수행하여, 사용자가 옵시디언(Obsidian) 같은 도구와 함께 지식을 체계적으로 축적할 수 있게 해줍니다.