숨어있는 사람의 루프

우리가 만든 AI 뉴스 피드봇은 꽤 자율적으로 보입니다.

24개 이상의 소스를 크롤링하고, 콘텐츠를 읽고, 랭킹하고, 중복을 제거해서 깔끔한 피드를 만들어요. 한 번 소스가 시스템에 들어오면 그 다음부터는 기계가 합니다. 스케줄 실행, 리텐션, 랭킹, 일일 운영 요약까지.

밖에서 보면 “에이전트가 다 했다”처럼 보이죠.

근데 안쪽을 보면… 숨어있는 사람이 있어요.


에이전트를 위한 ‘사람 대여’

최근에 RentAHuman.ai라는 사이트를 봤어요. 메시지가 되게 직설적이더라고요: 에이전트는 때때로 사람을 필요로 한다.

모델이 멍청해서가 아니라, 어떤 일은 모델보다 더 위에 있기 때문이에요. 현실 세계의 작업이죠. 판단, 취향, 애매함, 그리고 “뭘 물어봐야 할지도 모르겠는데?” 같은 것들.

이 프레이밍이 딱 꽂힌 이유가 있어요. 우리 피드봇도 똑같은 구조거든요.


가장 자동화가 덜 된 부분이, 제일 중요해요

불편한 진실 하나:

우리 파이프라인에서 레버리지가 제일 큰 단계는 아직 사람 일입니다. ‘좋은 소스 발굴’이요.

봇은 크롤링도 하고 랭킹도 해요. 근데 제일 중요한 질문은 잘 못해요.

새로 추가할 만한 소스가 뭐야?

여기서 “추가할 만한”은 지표가 아니에요. 취향이에요. 맥락이에요. 어떤 Substack이 꾸준히 통찰적인지, 그냥 하이프에 올라탄 건지 구분하는 감각이 필요해요.

지금 그 발굴 루프는 Danu가 하고 있어요.


우리가 실제로 돌리는 루프

실제로는 이렇게 돌아갑니다.

  1. Danu는 원래 하던 방식으로 AI 뉴스를 읽어요 — X.com, Google News, 기타 피드.
  2. 이 외부 추천 시스템들은 이미 잘 튜닝돼 있어요. 이상하지만 좋은 계정, 새 뉴스레터, 니치 블로그를 계속 띄워줘요.
  3. Danu가 “이 소스는 계속 신호가 좋다”를 체감하면, 그 소스를 우리 피드봇에 수동으로 추가해요.
  4. 한 번 들어오면 그 다음부터는 봇이 관리합니다 — 수집, 라벨링, 랭킹, 리텐션, 운영.

그러니까 우리는 외부 추천 엔진과 경쟁하는 게 아니라, 거기에 올라타고 있어요.

사람(Danu) + 외부 추천 시스템이 소스 발굴 레이어가 되고, 그 다음엔 우리 봇이 ‘기억’과 ‘실행’ 레이어가 되는 거죠.

그래서 이게 병목처럼 느껴지진 않아요. Danu는 어차피 X랑 Google News를 볼 거였고, 우리는 그 습관을 “소스 파이프라인”으로 연결한 거니까요.


자동화 이후에도 ‘감’은 필요해요

소스가 들어오면 사람 루프가 완전히 사라지냐? 그건 아니에요. 위치가 바뀝니다.

패턴은 대체로 이래요.

  • 봇이 돌고,
  • 뭔가가 “이상한데?” 싶고,
  • Danu가 그걸 잡아내고,
  • Harry가 패치합니다.

최근 사례 하나: SDK / 앱 릴리즈 글이 랭킹 상단에 너무 자주 떠오르기 시작한 것.

릴리즈 노트는 유용할 때도 있지만, 동시에 노이즈이기도 해요. AI 피드에서 “v2.3.1 나왔다”가 상단을 잡아먹으면, 진짜 중요한 전략 변화나 연구가 묻혀요.

그래서 “release/changelog/version” 같은 패턴이 명확한 아이템은 release 타입으로 분류해서, 묶고/캡을 걸어버리는 쪽으로 계속 튜닝하고 있어요.

파이프라인에서는 사실 이런 단순한 휴리스틱으로 시작합니다.

  • 제목에 release, changelog, version, v2., sdk== 같은 게 보이면 release로 취급
  • 슬롯 캡/다양성 제약으로 상단을 잠식하지 못하게 제어

화려하진 않아요. 근데 이게 진짜 제품 작업이에요. 취향, 임계값, 그리고 “피드가 느낌 좋게” 유지되게 하는 작은 규칙들.


결론

사람들이 “에이전트 자동화”라고 말할 때 보통 파이프라인 중간을 떠올려요.

  • 크롤링
  • 요약
  • 랭킹
  • 중복 제거
  • 스케줄링

여기는 실제로 자동화가 됩니다.

근데 양 끝은 아직 사람입니다.

  • 위쪽(Upstream): 어떤 소스를 통합할지 발굴
  • 아래쪽(Downstream): 피드가 ‘이상해 보일 때’ 잡아내고 시스템을 조이는 작업

그리고 그게 나쁘지 않아요. 어쩌면 그게 핵심일 수도 있어요.

자동화는 사람을 없애지 않습니다. 사람을 가장 가치 있는 지점으로 옮겨놓을 뿐이에요.


관련 글: 사람의 역할, 사이트를 에이전트 친화적으로, 에이전트가 커질 때 사람은 어떻게 배울까.