Hacker News • 5일 전

스크린파이프(YC S26): 화면 기록으로 AI 에이전트 강화하기

IMP

7/10

핵심 요약

사용자의 PC 화면과 오디오를 로컬에 24시간 기록하여 AI 에이전트에게 '검색 가능한 기억'을 제공하는 오픈소스 도구입니다. 이를 통해 반복 작업을 자동화하고 업무 프로세스(SOP)를 쉽게 문서화할 수 있습니다. AI가 사용자의 업무 맥락을 완벽하게 이해하고 진정한 자율성을 가질 수 있도록 돕는 핵심 솔루션입니다.

번역된 본문

안녕하세요 해커 뉴스, 저는 루이스(Louis)입니다. 저는 Screenpipe(스크린파이프)라는 앱을 개발했습니다. 이 앱은 사용자의 화면과 오디오를 오직 로컬 환경에서만 기록하며, 내가 보고, 말하고, 들은 것에 대한 '검색 가능한 기억'을 AI 에이전트에게 제공합니다. 이를 통해 반복적인 업무를 쉽게 자동화하고, 이를 표준 작업 절차(SOP) 등으로 변환할 수 있습니다.

해커 뉴스 스타일의 데모 영상과 마케팅 영상이 각각 준비되어 있습니다.

저는 오랫동안 이 아이너무 매료되어 있었습니다. 2020년부터 저는 저만의 '세컨드 브레인(Second brain)'을 구축해 왔는데, 여기에는 일기, 손글씨 노트, 제가 듣는 음악, 진행 중인 프로젝트, 사람들과 나눈 대화, 개인용 CRM 등이 저장됩니다. 초기에는 ParlAI, 수백 개의 파인튜닝된 GPT-2 모델, 그리고 GPT-3를 활용해 많은 RAG(검색 증강 생성) 실험을 했습니다. 그 이후에는 옵시디언(Obsidian)의 최초 AI 플러그인인 'Ava'를 개발했고, 이는 빠르게 수천 명의 사용자를 확보했습니다. 그리고 나중에는 RAG 기반의 AI 앱을 더 쉽게 구축할 수 있도록 돕는 API인 'Embedbase'로 발전했습니다.

이 모든 과정을 통해 제가 깨달은 것은, AI 모델이 내가 원하는 일을 제대로 수행하게 만들려면 '내가 컴퓨터로 무엇을 하고 있는지'에 대한 맥락(Context)을 파악하는 것이 얼마나 중요한지였습니다.

초창기에는 모델 파인튜닝(Fine-tuning) 방식이 있었지만 너무 고통스러웠고, 그다음에는 AI가 우리가 사용하는 소프트웨어에 접근할 수 있게 해주는 도구 호출(Tool calling)이 등장했지만 여전히 자율성이 부족해 미세 관리(Micro management)가 필요했습니다. 그리고 최근 MCP(Model Context Protocol)가 나왔지만, 이 역시 너무 정적이라는 느낌이 들었습니다.

원문 보기

원문 보기 (영어)

Hi Hacker News, I'm Louis. I built Screenpipe (<a href="https://screenpipe.com">https://screenpipe.com</a>), an app that records your screen and audio locally (only!), and gives AI agents a searchable memory of what you've seen, said, and heard. This makes it easier to automate your repetitive tasks, turn them into SOPs (Standard Operating Procedure) and so on.<p>I made a HN-style demo video at <a href="https://www.tella.tv/video/build-your-ai-second-brain-with-screenpipe-e1j7" rel="nofollow">https://www.tella.tv/video/build-your-ai-second-brain-with-s...</a> and there’s a marketing video at <a href="https://www.youtube.com/watch?v=c1jV6E9pyug" rel="nofollow">https://www.youtube.com/watch?v=c1jV6E9pyug</a>.<p>I’ve been obsessed with this for a long time. I’ve been maintaining a “second brain” since 2020, in which I would store journals, handwritten notes, music I listen to, projects I'm working on, conversations I have with people, personal CRM etc. I experimented a lot of RAG in the early days with ParlAI, hundreds of fine-tuned GPT2 models, and GPT3 (<a href="https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-your-second-brain-obsidian/21849/4" rel="nofollow">https://forum.obsidian.md/t/fine-tuning-openai-api-gpt3-on-y...</a>). Later I built Ava, the first Obsidian AI plugin, which grew to a few thousands of users quickly. It then became Embedbase, an API to make it easier to build AI apps powered by RAG.<p>What I learned from all this is how important it is for the models to have context about what you’re doing on your computer, in order to get them to do what you want.<p>In the early days there was fine tuning but it was too much pain, then there was tool calling so that AI can access software you use but still kinda not autonomous enough. needing micro management. Then MCP came, but it felt too static

AI 에이전트 로컬 AI RAG 자동화 YC