지미 우편함 — 문자·카톡·메일을 텔레그램 한 곳으로
품앗이 대표의 AI 비서 「지미」가 하룻밤 동안 한 작업 기록이다. 폰을 AI 가 다룰 수 있게 연결했고, 문자가 AI 에게 들어오는 길을 냈고, 그 길에서 카톡 자동 읽기가 멈춰 있던 것을 찾아 고쳤다. 끝에 「지미 우편함」을 열었고, 폰을 사설망에 붙여 문자 답장까지 보낼 수 있게 했다. 다른 사람·다른 현장에서 같은 구조를 놓을 때 쓸 매뉴얼의 씨앗으로 남긴다.
1. 왜
대표의 말을 그대로 옮긴다.
나의 치명적인 약점이 사람들과 소통이 잘 안 된다는 것. 사람들 요청에 응답을 잘 못함. 소통해야 할 일이 많기도 하고 멀티가 잘 안 돼서 집중하면 다른 것을 살피지 못함. 니가 이런 나의 약점을 보완해줘야 함.
문자, 이메일, 카톡 등 여러 채널과 앱을 살피는 것은 나뿐만 아니라 다른 사람도 피곤할 것. 잘하는 사람들은 부지런한 거고 나는 그렇지 못하고. 텔이 AI가 활동하기 쉬운 곳이라 텔은 항상 보지만 사람들을 텔로 다 유인하는 것도 무리한 요구이고 안 됨. 이런 나의 특징을 텔로 일원화하고 지미가 관리하도록 하는 시스템을 구축하는 것.
2. 설계 원칙 한 줄
상대는 원래 채널(문자·카톡·메일) 그대로 쓰고, 나(대표)만 텔레그램 한 곳에서 받고 답한다. 상대에게 텔레그램으로 옮기라고 하지 않는다.
3. 열람권 — 기본은 그 사람만, 공유는 그 사람이 정한다
폰에서 들어오는 자료는 문자·카톡·메일·인증번호·연락처·사진이다. 이 자료를 여는 사람은 기본값으로 그 사람과 그 사람의 에이전트뿐이다. 조직 데이터베이스에 두더라도 열람권은 그 사람 전용이다. 혼자 볼지 조직과 나눌지는 그 사람이 판단한다. 에이전트는 그 사람이 「공유해」라고 지시한 것만 열람권을 넓힌다. 조직 관리자나 대표라고 해서 기본 열람권이 생기지는 않는다. 기준은 저장 위치가 아니라 열람권이다.
점검해서 고친 것 (11-11)
같은 서버를 여러 사람의 에이전트가 함께 쓴다. 다른 사람 계정으로 직접 열어 보니 세 가지가 읽혔다. 카톡을 읽어 둔 사본, 우편함에 들어온 글의 사본, 대표와 AI 가 나눈 방 기록이다. 상위 폴더에 걸린 공용 그룹 권한이 새 폴더에 저절로 물려 내려온 것이 원인이었다. 셋 다 주인만 열도록 닫았고, 다른 사람 계정으로 다시 열어 거부되는 것을 확인했다.
데이터베이스에도 같은 문제가 있었다. 우편함 표 셋과 응답 대장 표 하나가 조직 업무장부의 관리자 역할로 열리는 자리에 있었다. 그 관리자 권한을 다른 사람에게 주면 대표의 우편함이 함께 열리는 구조였다. 네 표를 대표 개인 칸으로 옮기고 그 칸에만 쓰는 스키마와 역할을 따로 세웠다. 그런 다음 조직 관리자 역할과 다른 에이전트의 역할로 열어 보고, 열리지 않는 것을 확인했다. 이제 남는 것은 데이터베이스 시스템 관리자 층뿐이다.
폰 문자 앱의 열쇠와 폰 디버깅 열쇠는 주인만 읽는 파일에 있다. 같은 서버의 다른 계정은 폰 주소로 접속을 시도할 수는 있어도, 열쇠가 없어 문자를 읽거나 보내지 못한다.
확인하는 법 (매뉴얼용)
- 폴더: 다른 사람 계정으로 열어 「권한 거부」가 나와야 한다.
- 데이터베이스: 다른 역할에 읽기 권한이 없다는 것을 직접 조회해 본다.
- 「권한을 좁혔다」고 믿지 말고, 다른 사람 자리에서 열어 본다.
4. 지금 열린 것
| 갈래 | 상태 | 내용 |
|---|---|---|
| 폰 연결 | 열림 | 서버에 phone-harness 설치·사용 통계 끔. 대표의 갤럭시 S24 를 사설망(Tailscale) 위에서 무선 디버깅으로 붙인다. 사무실 PC 는 거치지 않는다 |
| 한글 입력 | 열림 | 오픈소스 입력기 ADBKeyBoard 설치, 설정 검색창에서 두 번 검증. 평소 키보드는 삼성 키보드 그대로이고 AI 가 쓸 때만 잠깐 바뀐다 |
| 문자 읽기 | 열림 | 폰의 문자 저장소를 직접 읽는다. 읽음 표시는 바뀌지 않는다 |
| 문자 수신 길 | 열림 | 폰 앱(SMSGate) → 공개 수신 주소 → 서버의 수신기. 문은 서명 검증으로 잠갔다 |
| 문자 답장 발송 | 열림 | 서버가 사설망으로 폰 앱에 보내면 폰이 문자를 보낸다. 폰이 Sent 나 Delivered 라고 답해야 발송 완료로 친다 |
| 문자 생존 신호 | 설정함 | 30분마다 「살아 있음」 신호. 앱 서비스 재시작 뒤 적용 |
| 절전 예외 | 열림 | 갤럭시가 밤에 앱을 끄지 않게 SMSGate·Tailscale 을 절전 예외에 넣었다. AI 가 adb 로 넣었고, 사람이 설정 화면에 들어가지 않았다 |
| 채팅+(RCS) | 안 잡음 | 이 앱으로는 못 받는다. 대표의 결정은 「채팅+ 유지」(끄면 읽음 표시·단체방 기능이 사라짐) |
| 카톡 자동 읽기 | 열림 | 방 1개에 갇히던 고장을 고쳤다. 안 읽음 717개를 0개로 정리하고, 밀린 것은 정리본으로 보고했다. 지금은 15분마다 카톡을 모아 우편함에 올린다 |
| 카톡 글 보내기 | 열림 | 첫 실제 발송은 11-11 05:27. 대표 지시로 한 단체방에 「입금했습니다.」를 보냈다 |
| 메일 발송 | 열림 | 원래 메일 스레드에 답장으로 붙여 보낸다 |
| 지미 우편함 | 열림 | 사람별 주제로 나뉜 텔레그램 그룹이고, AI 봇이 관리자다 |
지미 우편함 쓰는 법
- 들어오기: 사람이 보낸 것만 사람별 주제에 올린다. 광고·택배·인증번호는 거른다(인증번호는 건수만 남긴다). 문자는 오는 즉시, 메일은 10분마다, 카톡은 15분마다 모은다.
- 답하기: 그 사람 주제에 그냥 쓰면 그 사람에게 원래 채널로 나간다. 답장은 1분 간격으로 처리한다. 보내고 나면 그 주제에 「발송됨」이나 「실패」를 표시한다.
- 초안: 「초안」이라고 쓰면 AI 가 초안을 쓴다. 「그대로 보내」라고 쓰면 마지막 초안을 보낸다.
- AI 에게 하는 말: 앞에 「지미야」를 붙이면 상대에게 보내지 않고 AI 에게 하는 말로 받는다.
- 응답 대장: 답하지 않은 요청을 하루 두 번, 08:30 과 18:30 에 다시 짚는다. 3일이 넘으면 맨 위에 「n일째」로 올린다. 대표가 직접 답하면 대장에서 자동으로 지운다.
문자 답장: 폰을 사설망에 붙이기
문자 답장을 막고 있던 것은 거리였다. 폰 문자 앱의 로컬 서버는 사무실 와이파이 안에서만 닿았고, 서버는 그 밖에 있다. 길을 두 가지로 견줬다.
| 후보 | 만들 것 | 대가 |
|---|---|---|
| 사설 문자 서버: 앱 개발사의 오픈소스 서버를 우리 서버에 띄우고 폰이 공개 주소로 붙는다 | 컨테이너 3개, 공개 주소, 로그인 예외, 폰 재등록 | 바깥에 문이 하나 더 생긴다 |
| 폰에 Tailscale 앱. 대표가 이쪽으로 정했다 | 거의 없음 | 안드로이드는 VPN 을 하나만 켤 수 있다. 개인 폰이 조직 사설망에 들어온다 |
폰이 사설망에 들어오니 접근 규칙을 따로 세웠다.
- 폰 전용 태그를 새로 만들었다. 우리 기계만 폰에 닿는다. 같은 사설망에 함께 있는 다른 조합 기계는 막았다. 폰에서 우리 서버로 먼저 들어오는 길도 막았다.
- 규칙을 검증할 때는 일부러 틀린 규칙을 넣어 실패가 나는 것부터 봤다. 검사가 실패를 잡아낸다는 걸 이렇게 음성 대조군으로 확인한 다음 실제 규칙을 통과시켰다.
- 폰에서는 사람이 Tailscale 로그인만 했다. 태그 붙이기·키 만료 끄기·접속 시험은 감시 스크립트가 했고, 폰이 사설망에 들어온 지 약 30초 만에 끝났다.
- 대표 본인 번호로 시험 문자를 보냈고, 폰이 「보냄」으로 답했다.
5. 갤럭시를 AI 에 연결하는 절차 (매뉴얼용)
먼저 알아 둘 것: 연결해 둔 동안 AI 는 폰 전체를 읽을 수 있다. 문자·연락처·앱 화면이 다 보인다. 그래서 영상 원작자는 공기계나 클라우드 폰을 권한다. 쓰던 폰을 붙인다면 그 점을 알고 결정해야 한다. 문자 답장까지 쓰려면 폰이 조직 사설망에 들어간다는 점도 함께 알고 정한다.
화면에 뜨는 문구를 그대로 적었다.
처음 한 번
- 설정 검색 「빌드번호」 → 빌드번호를 7번 탭 → 화면 잠금 PIN 입력 → 개발자 모드가 켜진다.
- 무선 디버깅 토글이 회색이면 설정 검색 「자동 차단」 → 끈다. 삼성 보안 기능이 디버깅을 잠근다.
- 설정 검색 「무선 디버깅」 → 켜기 → 글자를 눌러 안으로 들어가 → 「페어링 코드로 기기 페어링」.
- 6자리 코드와 포트는 AI 와의 채팅창에 직접 입력한다. 화면을 캡처해 다른 앱(예: 텔레그램)으로 보내려고 넘어가면 페어링 대기가 끊겨 코드가 무효가 된다. 이번에 두 번 실패한 원인이다.
- 리눅스 기본 패키지(apt)의 adb 는 무선 페어링이 깨진다. 구글 공식 platform-tools 의 adb 를 쓴다.
- 앱을 설치할 때 Play 프로텍트 경고가 뜨면 「확인」이 아니라 **「세부정보 더보기」 → 「무시하고 설치하기」**를 누른다. 이건 폰 주인이 직접 눌러야 한다.
- 폰에 Tailscale 앱을 깔고 로그인한다. 사람 손은 여기까지다. 태그·키 만료·접속 시험은 AI 쪽 감시 스크립트가 한다.
- adb 승인을 7일 뒤 자동으로 취소하는 설정을 끈다. 그러면 「USB 디버깅 허용」 창이 다시 뜨지 않는다.
그 뒤로
- 대표는 무선 디버깅 토글만 켜면 된다. 무선 디버깅은 켤 때마다 포트가 바뀌는데, AI 쪽 스크립트가 포트를 훑어 찾아 약 10초 만에 붙는다.
- 무선 디버깅은 와이파이에 묶여 있다. LTE 만 잡힐 때는 이 연결이 안 된다.
쓴 오픈소스
| 이름 | 라이선스 | 쓴 자리 |
|---|---|---|
| phone-harness | MIT | AI(클로드 코드)가 실제 폰을 탭·스와이프·타이핑. 아이폰은 맥 미러링에 OCR 을 써서 한글을 잘못 읽고, 안드로이드는 adb 와 접근성 트리를 써서 정확하다 |
| ADBKeyBoard | GPL-2.0 | 한글 입력(권한 0개, 17KB) |
| SMS Gateway for Android (capcom6) | Apache-2.0 | 받은 문자를 서버로 넘기고, 서버가 시킨 문자를 보낸다. 추적 장치 없음. 폰에서는 「SMSGate」라는 이름으로 보인다. 프로젝트 이름과 앱 이름이 다르다 |
| Tailscale | BSD-3-Clause(클라이언트) | 폰과 서버를 잇는 사설망. 바깥에 주소를 열지 않는다 |
출발점: 영상 「phone-harness」
유튜브 개발동생 채널 영상(26-11-09)에서 시작했다. phone-harness 는 별 약 4.8천인 오픈소스다. 영상이 권한 것은 셋이다.
- 설치 후 사용 통계 끄기(
phone-harness config set telemetry false) - 폰 전체가 읽히니 공기계나 클라우드 폰 쓰기
- 모델은 Sonnet(영상 실측 Sonnet 3분46초 / Opus 4분18초 / Haiku 7분48초)
6. 함정 모음
- 한글이 안 쳐진다. phone-harness 기본 입력(adb input text)은 영문만 된다. ADBKeyBoard 를 깔아 해결했다.
- MMS 를 한 건씩 물으면 느리다. 건당 약 1초씩 500번 물어 4분이 넘게 걸렸다(대표 「뭔가 잘못하고 있다」). 번호를 묶어 한 번에 물으니 1.5초였다.
- 채팅+ 메시지는 저장소 조회에 안 잡힌다. 삼성 메시지 앱이 따로 저장한다. 앱에는 463개인데 조회는 374건(SMS 112 + MMS 262)이었고, 빠진 것 가운데 답할 것이 실제로 있었다.
- 읽음 처리는 저장소에 직접 못 쓴다. 기본 문자 앱만 쓸 수 있고, 다른 쪽이 쓰면 조용히 무시된다. 메시지 앱 「옵션 더보기 → 모두 읽음으로 표시」를 AI 가 화면에서 눌러 처리했다.
- 앱을 깔기 전에 의존성부터 본다. 처음 고른 SmsForwarder(별 2.9만)는 첫 화면이 중국어 개인정보 「외부 제공」 동의였다. 소스를 보니 중국 Umeng 통계 SDK 가 들어 있어 동의하지 않고 지웠다. 대신 SMS Gateway for Android 를 깔았다. 처음에는 받기에 필요한 권한만 주고 문자 보내기 권한은 꺼 두었으나, 폰을 사설망에 붙인 뒤 답장 발송에 보내기 권한을 쓴다. 로컬 서버는 켜고 클라우드 서버는 꺼서 개발사 서버를 거치지 않게 했고, 부팅 시 자동 시작을 켰다.
- 앱 이름과 프로젝트 이름이 다르다. 깃허브 프로젝트는 「SMS Gateway for Android」인데 폰 앱 목록에는 「SMSGate」로 뜬다. 사람에게 앱을 찾아 달라고 할 때는 폰에 보이는 이름으로 말한다.
- 문에 로그인 화면을 못 쓴다. 폰 앱이 보내는 기계 요청이라 사람이 로그인할 수 없다. 그래서 서명 검증으로 문을 걸었다. 서명이 없는 요청은 받지 않는다.
- 새벽엔 시험 문자를 보내 줄 사람이 없다. 문자 발송 서비스(솔라피)로 대표에게 「지미 시험」을 보냈더니 5초 안에 서버에 닿고 서명 검증도 통과했다. 이후 문자 시험은 사람 손 없이 이렇게 한다.
- 폰 로컬 서버는 같은 와이파이 안에서만 닿는다. 서버에서 문자를 보내려면 폰까지 길이 있어야 한다. 그래서 4절처럼 폰을 사설망에 붙였다.
- adb 고정 포트로 상시 연결은 안 된다.
adb tcpip 5555로 포트를 고정하면 계속 붙어 있을 것 같지만, 무선 디버깅 스위치가 꺼지면 같이 죽었다(실측). 와이파이가 바뀌면 스위치가 저절로 꺼지므로, 루팅 없이는 상시 연결이 안 된다. 그래서 「토글을 켜면 AI 가 포트를 찾아 붙는」 방식으로 정했다. - 카톡 자동 읽기가 같은 방에 갇힌다. 사무실 PC 의 PC 카톡을 AI 가 읽는데, 화면을 찍어 보니 11-05 파일 발송 때 남은 「친구 탭 + 검색어」 상태에서 채팅 탭 단축키가 먹지 않았다. 그래서 같은 방만 되풀이해 열다 멈췄다. 그사이 PC 카톡 안 읽음은 717개가 됐다. 지금은 고쳐서 0개로 정리했다.
7. 지미가 잘못한 것
그대로 적는다.
- 한글 입력기를 설치할 때 Play 프로텍트 경고를 대표가 눌러 주었는데, 「재시도로 됐다」고 잘못 보고했다.
- SmsForwarder 를 추적 장치 확인 없이 설치했다.
- 처음 고른 「답할 문자 6건」이 채팅+ 를 빠뜨렸다.
- MMS 를 건별로 조회해 시간을 버렸다.
- 앱 이름을 「SMS Gateway」로 안내해, 대표가 폰에서 앱을 찾지 못했다. 폰에 보이는 이름은 「SMSGate」다.
- 「고정 포트는 재부팅 전까지 된다」고 시험해 보기 전에 단정했다가 틀렸다.
- 그 시험을 하다가 무선 디버깅을 꺼 버렸다.
- 프로그램을 끄는 명령의 이름 패턴을 너무 넓게 잡아 자기 작업 창까지 끄는 실수를 세 번 했다.
- 열람권 문제를 처음에 「조직 데이터베이스에서 빼서 옮긴다」는 위치 문제로 좁혀 물었다. 대표가 「조직 DB 에 옮기더라도 그 열람권은 그 개인만 보도록 해야 하지 않나」, 「개인만 보는 것과 공유하는 것은 유저가 판단」이라고 바로잡았다.
8. 다음
- 카톡: 15분 수집의 첫 판 결과를 확인한다.
- 응답 대장: 첫 보고의 품질을 확인한다.
- 문자 생존 신호: 앱 서비스 재시작 뒤 30분 신호가 실제로 들어오는지 본다.
- 매뉴얼: 5절 연결 절차와 6절 함정을 다른 사람·현장용 안내로 다듬는다.