Computer Use로 화면을 보며 앱 조작하기

~16 min · cowork, computer-use, screen, visual

Level 0🌱 입문자

0 XP0/70 lessons0/11 achievements

0/120 XP to next level120 XP to go0% complete

API가 없는 앱은 화면을 보며 직접 조작해

Computer Use를 켜면 Cowork가 화면을 캡처하고 버튼과 입력란을 찾아 클릭, 입력, 스크롤할 수 있어. API나 MCP 연결이 없는 데스크톱 앱, 경비 양식, 오래된 관리 도구처럼 사람이 화면으로 해야 하는 일을 맡길 때 써.

동작은 화면 확인→요소 찾기→행동 계획→실행→새 화면 확인의 반복이야. 매번 결과를 다시 보고 다음 행동을 정하므로 좌표만 외워 누르는 스크립트보다 회복력이 있지만, 구조화 API를 호출하는 것보다 느리고 실패 지점도 많아.

따라서 MCP가 있으면 먼저 MCP를 쓰고 Computer Use는 마지막 대안으로 남겨. macOS 화면 기록 권한도 필요한 앱에만 열고, 보내기·삭제·최종 제출처럼 되돌리기 어려운 행동 앞에서는 반드시 멈춰 확인하게 해.

Code

같은 작업을 실행하는 두 가지 경로·text

Goal:  "Send a summary of today's analysis to #product-team on Slack"

Path A — MCP (preferred):
  1. Cowork uses Slack MCP → posts message via API
  2. Reliable, fast, auditable

Path B — Computer Use (fallback if no Slack MCP):
  1. Open Slack via Computer Use
  2. Screenshot, find #product-team in sidebar
  3. Click channel, click input box
  4. Type message, click send
  5. Screenshot to verify the message appears
  Slower, more failure modes, but works when API doesn't

양식 채우기 — 실제 Computer Use 작업·text

Goal:  "Fill out the expense report in Concur for my Jan trip.
        Details in /inbox/trip-expenses-jan.md, cost center CC-4521."

Cowork's plan:
  1. Read /inbox/trip-expenses-jan.md
  2. Open browser, navigate to Concur URL
  3. Screenshot, identify form fields
  4. Fill each field: date, amount, category, description, CC
  5. Screenshot to verify entries
  6. PAUSE before final submit: "Ready to submit. Confirm?"
  7. On confirm: click Submit, screenshot the success state

External links

Exercise

MCP로 처리할 수 없는 실제 데스크톱 작업을 하나 골라. 양식 작성, 설정 대화상자 조작, 작은 자체 앱 작업 등이 좋아. Cowork의 Computer Use로 실행하면서 스크린샷과 동작이 오가는 과정을 지켜봐. 어떤 실패를 만났고 Cowork가 어떻게 회복했는지도 적어.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousMCP 연결로 데이터를 가져오고 결과를 돌려보내기 Next →Cowork, Operator, 사용자 정의 GPT 비교하기

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.