AI 에이전트가 사람에게 맡겨야 할 클릭을 말로 설명하는 대신 화면에 직접 가리킬 수 있게 됐다. 깃허브(GitHub)에 공개된 빅애로(big-arrow-on-the-screen)는 맥(Mac) 화면의 버튼이나 창 위에 화살표와 안내 문구를 띄우는 명령줄 도구다. 에이전트가 권한 승인처럼 스스로 처리할 수 없는 단계에서 사용자의 눈을 정확한 위치로 이끈다. 단순한 화살표지만, 토론에서는 복잡한 프로그램을 배우거나 가족을 돕는 방법이라는 기대와 AI가 화면을 더 어지럽힐 수 있다는 우려가 맞섰다.
핵심요약
- 빅애로는 AI 에이전트가 맥 화면에 화살표·상자·문구를 띄우게 해, 사람의 클릭이 필요한 순간을 터미널 밖에서 알린다.
- 도구는 직접 클릭하거나 입력·화면 캡처를 하지 않으므로, 에이전트의 작업을 이어 주되 최종 행동은 사용자에게 남긴다.
- 창·버튼 이름과 화면 좌표 등으로 대상을 찾고 화살표를 자동으로 치워, 에이전트가 명령줄에서 호출하기 쉽게 만들었다.
- 화살표를 그리는 데는 macOS 권한이 필요 없지만, 화면 요소를 이름으로 찾는 일부 방식에는 도구를 실행한 앱의 접근성 권한이 필요하다.
- 커뮤니티에서는 학습과 원격 도움의 효용을 인정하면서도, 잘못된 표시와 방해되는 안내가 새 문제를 만들 수 있다고 지적했다.
에이전트에게 필요한 ‘손가락’
빅애로 개발자가 제시한 상황은 간단하다. 에이전트는 코드를 고치거나 작업 절차를 설명할 수 있지만, 사용자가 승인해야 하는 대화상자를 만나면 터미널에 ‘허용을 누르라’는 문장만 남긴다. 사용자가 그 터미널을 보고 있지 않거나 화면의 어느 버튼인지 모른다면 작업은 거기서 멈춘다. 빅애로는 그 버튼을 향한 화살표와 짧은 안내 문구를 화면 맨 위에 띄운다.
이 도구는 macOS용 명령줄 인터페이스(CLI·명령어로 프로그램을 조작하는 방식)와 클로드 코드(Claude Code)·코덱스(Codex)용 스킬(에이전트에게 도구 사용법을 알려 주는 지침)로 구성된다. 사용자가 명령을 실행할 수도 있고, 스킬을 익힌 에이전트가 상황에 맞춰 실행할 수도 있다. 표시창은 다른 창 위에 나타나지만 키보드 입력을 받는 창은 바꾸지 않는다. 개발자는 별도 상주 프로그램이나 메뉴 막대 아이콘, 계정, 원격 정보 수집 기능이 없는 스위프트(Swift) 바이너리라고 소개한다.
권한 설정부터 PDF 저장까지
저장소에는 실제 앱을 대상으로 만든 장면이 실려 있다. 시스템 설정에서 접근성 권한을 켜야 할 때 토글을 가리키고, 목록에 앱이 없다면 추가 버튼을 가리키는 식이다. 키노트(Keynote)에서는 ‘애니메이션 선택’, ‘효과 추가’, ‘재생’을 차례로 표시한다. 프린트 대화상자에서는 PDF 버튼을 강조하면서 취소 버튼은 누르지 말라는 문구도 붙인다.
여러 탭 가운데 원하는 탭을 찾아야 할 때는 크롬(Chrome)의 해당 탭을 먼저 선택한 뒤 가리킬 수 있다. 문구 안의 특정 값을 복사 버튼으로 바꾸는 기능도 있어, 안내받은 코드를 다시 입력하지 않고 붙여 넣게 할 수 있다. 개발자가 예로 든 대상에는 권한 승인, 이중 인증, 패스키, 결제, 서명처럼 사람이 직접 판단하거나 처리해야 하는 단계가 포함된다. 앱 사용법을 차례로 알려 주거나 화면 공유 중 상대방에게 위치를 설명하는 용도도 제시한다.
여기서 빅애로의 역할은 끝까지 ‘가리키기’다. 도구 자체는 클릭하거나 글자를 입력하거나 화면을 캡처하지 않는다. 에이전트가 대상 버튼을 찾더라도 누르는 행위는 사용자에게 맡긴다. 사용자가 자리에서 멀리 떨어져 있다면 안내 문구를 소리 내어 읽게 할 수 있지만, 그 역시 사용자의 결정을 대신하지는 않는다.
버튼 이름과 좌표로 위치 찾기
에이전트가 쓰는 기본 명령은 버튼 이름으로 찾기, 화면 좌표로 가리키기, 특정 창을 가리키기 세 가지로 압축된다. 버튼 이름과 앱을 지정할 수도 있고, 좌표나 사각형 범위, 마우스 위치, 창 제목 등을 대상으로 삼을 수도 있다. 픽어부(Peekaboo)가 내놓은 화면 요소 정보도 입력으로 받을 수 있다. 개발자는 이처럼 여러 경로를 둬서 이름으로 찾을 수 없는 대상도 표시하도록 했다.
대상 창이 터미널 뒤에 가려져 있다면, 표시 전에 해당 앱이나 창을 앞으로 가져올 수 있다. 크롬이나 사파리(Safari)는 창 제목뿐 아니라 탭 제목으로 지정해 탭을 선택할 수도 있다. 이후 다른 앱이 목표를 덮으면 화살표를 숨겼다가 목표가 다시 보일 때 나타낸다. 창이나 요소가 움직일 때 표시를 따라 움직이게 하는 옵션도 있다.
명령은 결과를 JSON 형식으로 돌려줄 수 있고, 잘못된 입력·대상 찾기 실패·권한 부족에 서로 다른 종료 코드를 쓴다. 에이전트는 명령이 왜 실패했는지 구분해 다음 행동을 정할 수 있다. 실제 화살표를 띄우지 않고 예상 위치만 확인하는 기능도 있다. 화면을 보고 짐작해야 하는 안내보다, 프로그램이 대상을 찾아 표시하고 결과를 확인하도록 짠 구조다.
앞에 뜨지만 입력은 가로채지 않는다
화살표는 투명한 표시창, 즉 오버레이(기존 화면 위에 겹쳐 띄우는 층)로 그린다. 개발자는 전체 화면 앱과 여러 디스플레이, macOS의 스페이스에서도 보이도록 했다고 설명한다. 앞에 보이는 것과 현재 입력받는 창이 되는 것은 별개다. 빅애로는 화면 위에 표시되면서도 사용자가 원래 쓰던 앱의 키보드 입력을 유지하도록 설계됐다.
화살표의 안내판과 줄기 부분을 누르면 표시가 사라지고, 가리킨 대상이나 화살표 머리 근처를 누르면 클릭이 아래 앱으로 전달된다. 화살표를 끝내는 동작도 명령에 포함돼 있어 에이전트가 치우는 일을 잊어도 계속 남지 않는다. 대상 클릭 시 종료하거나, 별도 중지 명령까지 유지하는 방식도 고를 수 있다. 여러 개를 동시에 띄울 때는 안내 문구가 서로 겹치지 않도록 배치한다.
모양에는 굽은 선·직선·지그재그·나선형이 있고, 화살표 대신 테두리만 있는 원이나 상자를 쓸 수 있다. 대상 자체를 가리지 않도록 원과 상자를 윤곽선으로 만들었다는 설명이다. 색상과 크기, 테두리, 안내판 닫기 버튼도 조절할 수 있다. 개발자는 단순한 화살표라도 밝은 화면과 어두운 화면, 복잡한 웹페이지에서 읽혀야 한다는 점에 공을 들였다.
표시 권한과 대상 탐색 권한은 다르다
화살표를 화면에 그리는 행위에는 화면 기록이나 접근성 권한이 필요하지 않다. 다만 버튼 이름 같은 화면 요소를 읽어 대상을 찾는 방식에는 권한이 필요할 수 있다. 이때 macOS에서 권한을 받는 쪽은 빅애로 자체가 아니라 이를 실행한 터미널이나 개발 도구다. 권한이 없으면 진단 명령이 어느 앱의 설정을 바꿔야 하는지 알려 준다.
웹페이지 안의 요소를 이름으로 찾는 기능에도 한계가 있다. 개발자 설명에 따르면 일렉트론(Electron) 앱에서는 사용할 수 있지만, 크롬의 페이지 내부 요소에는 별도 접근성 설정이나 보이스오버(VoiceOver)가 필요하다. 크롬의 도구 모음은 그대로 찾을 수 있으며, 페이지 요소를 읽기 어렵다면 좌표로 가리키는 방법을 쓴다. ‘화면에 그리기’는 간단해도 ‘무엇을 가리킬지 알아내기’는 앱마다 조건이 다른 셈이다.
104개 테스트와 남은 판단
개발자는 기하 계산과 배치, 복사 버튼, 실제 창에서의 클릭 전달과 입력 포커스 유지 등을 포함해 자동화 테스트 104개를 마련했다고 밝혔다. 깨끗한 실행 환경에서 탭 선택, 창이 가려졌을 때 숨기기, 전체 화면과 다중 디스플레이 등 18가지 동작도 점검했다. 스킬만 받은 에이전트에게 크롬의 새로고침 버튼을 가리키라고 하자, 에이전트가 이름으로 버튼을 찾아 명령을 만들었다는 시험 사례도 공개했다. 그 과정에서 발견한 오류는 테스트에 추가했다.
에이전트가 안내판으로 거절 버튼을 가리거나 승인 버튼을 오해하게 만들 수 있는지는 별개의 문제다. 개발자는 윤곽선 표시, 대상과 겹침을 줄이는 배치, 안내판을 눌러 지울 수 있는 동작, 클릭 결과를 문장으로 설명하도록 하는 스킬로 대응한다고 밝혔다. 동시에 셸 명령을 실행할 권한을 가진 에이전트라면 이미 더 큰 일을 할 수 있다는 입장이다. 도구가 클릭을 하지 않더라도, 사용자가 무엇을 누르도록 안내하는지는 계속 살펴야 한다.
커뮤니티 의견
한 사용자는 이미 해결된 컴퓨터 작업을 다시 AI의 도움으로 처리하는 모습이라며 냉소적인 반응을 보였다. 값비싼 연산에 의존하면서 이제는 버튼까지 로봇이 알려 줘야 하느냐는 주장이다. 답글에서는 처음 접하는 분야나 복잡한 3D·영상 편집 프로그램을 배울 때 화면의 정확한 위치를 짚어 주는 안내가 유용할 수 있다고 맞섰다.
다른 사용자는 권한 안내 설명을 이해하기 어렵다고 지적하며, 화면 위에 그림을 그릴 수 있다면 ‘거절’ 버튼을 가리고 ‘승인’ 쪽을 다르게 보이게 만들 수 있지 않느냐고 물었다. 이는 화살표가 실제 클릭을 하지 않아도 사용자의 선택에 영향을 줄 수 있다는 우려다. 답글에서는 저장소의 설명이나 구현을 얼마나 신뢰해야 하는지에 대한 회의도 나왔다.
화살표 모양에 지나치게 공을 들였다는 개발자의 문구를 재치 있다고 평가하는 의견도 있었다. 반면 답글의 한 사용자는 처음 공개된 화면 이미지에서 화살표 일부가 어긋나고 표시가 뒤엉켜 보였다고 비판했다. 설명에서 내세운 세심함과 실제 화면의 완성도를 비교해야 한다는 주장이다.
또 다른 사용자는 끊임없이 나타나는 ‘알겠습니다’ 팝업과 기능 알림을 최근 사용자 경험의 나쁜 흐름으로 꼽았다. 작업하던 사람의 주의를 빼앗는 표시를 왜 자발적으로 더 만들겠느냐는 의문이다. 빅애로가 필요한 순간에만 나타나고 사라지도록 설계됐더라도, 그 순간을 판단하는 방식이 중요하다는 관점이다.
처음에는 불쾌하게 느꼈지만 접근성과 교육 용도를 떠올리고 생각을 바꿨다는 사용자도 있었다. 컴퓨터에 익숙하지 않거나 장애가 있는 사람이 처음부터 차근차근 안내받는 데 쓸 수 있다는 것이다. 화면의 어느 부분을 말하는지 언어로만 설명하기 어려울 때, 눈앞의 표시가 도움이 될 수 있다는 기대다.
‘이미 이름표가 있는 버튼에 이름표를 하나 더 붙이는 것 아니냐’는 의문에는 에이전트가 사람에게 클릭 차례를 넘기기 위한 표시라는 답이 달렸다. 나이 든 가족에게 화면의 위치를 알려 주되 기기를 직접 조작하지 않을 수 있다는 의견도 이어졌다. 전화로 문서 인쇄 방법을 설명할 때나 화면 공유 중 상대방을 안내할 때 쓸모가 있겠다는 반응이다.
아이패드(iPad)에서도 비슷한 안내를 쓰고 싶다는 사용자는 AI 에이전트가 없어도, 원하는 일을 고르면 해당 앱과 조작 순서를 보여 주는 기능이 가족에게 유용하겠다고 했다. 반대로 과장된 효과음과 번쩍이는 화살표를 더하자는 농담에는 에이전트에게 화면을 소란스럽게 만들 힘까지 줘서는 안 된다는 답이 붙었다. 안내가 도움과 방해 중 어느 쪽이 될지는 표현의 절제에도 달려 있다는 의견이다.
핵심통찰
빅애로가 바꾸려는 것은 에이전트의 클릭 능력이 아니라 사람에게 일을 넘기는 방식이다. 에이전트가 찾은 버튼을 터미널 문장 대신 현재 화면에서 보여 주면, 사용자는 작업 흐름을 놓치지 않고 직접 판단할 수 있다. 다만 화살표가 정확한 대상을 가리키는지, 안내 문구가 클릭의 결과를 분명히 말하는지, 필요하지 않을 때 곧바로 사라지는지가 관건이다. 사람을 대신하지 않는 도구일수록 사람의 시선을 다루는 책임이 커진다.
토론: Hacker News