Computer Use — 시각적으로 앱 조작

~16 min · cowork, computer-use, screen, visual

Level 0🌱 입문자

0 XP0/70 lessons0/11 achievements

0/120 XP to next level120 XP to go0% complete

API 가 없을 때 UI 운전

Computer Use 가 Cowork 한테 screenshot 찍고, UI 분석하고, click, type, scroll — 인간처럼 Mac 의 어떤 앱이든 시각적으로 조작 시켜줘. MCP connector 없을 때의 fallback: 경비 양식 채우기, API 없는 desktop 앱 navigate, 두 GUI 사이 copy.

아키텍처: screenshot → element 식별 → action plan → 실행 → 다시 screenshot 으로 확인. 모든 action 후 Cowork 가 새 화면 state 보고 다음 move 결정. 그 피드백 루프가 blind scripting 보다 reliable 하게 만들고; API 백킹 도구보다 느린 이유이기도.

Best practice: MCP 먼저, Computer Use 두 번째. Slack 에 MCP 있으면 그거 써. Computer Use 는 다른 옵션 없는 앱용. Anthropic 자체 가이던스: screen-recording 권한 좁게 scope (필요한 앱만), 작업 동안만 Computer Use enable.

Code

Same job, two execution paths·text

Goal:  "Send a summary of today's analysis to #product-team on Slack"

Path A — MCP (preferred):
  1. Cowork uses Slack MCP → posts message via API
  2. Reliable, fast, auditable

Path B — Computer Use (fallback if no Slack MCP):
  1. Open Slack via Computer Use
  2. Screenshot, find #product-team in sidebar
  3. Click channel, click input box
  4. Type message, click send
  5. Screenshot to verify the message appears
  Slower, more failure modes, but works when API doesn't

Form-filling — a real Computer Use task·text

Goal:  "Fill out the expense report in Concur for my Jan trip.
        Details in /inbox/trip-expenses-jan.md, cost center CC-4521."

Cowork's plan:
  1. Read /inbox/trip-expenses-jan.md
  2. Open browser, navigate to Concur URL
  3. Screenshot, identify form fields
  4. Fill each field: date, amount, category, description, CC
  5. Screenshot to verify entries
  6. PAUSE before final submit: "Ready to submit. Confirm?"
  7. On confirm: click Submit, screenshot the success state

External links

Exercise

MCP 가 커버 안 하는 진짜 desktop 작업 잡아 (양식, config 다이얼로그, 작은 native 앱). Cowork 의 Computer Use 로 돌려. screenshot/action 루프 봐. 부딪힌 failure mode 와 Cowork 가 어떻게 회복했는지 적어.

Progress

Progress is local-only — sign in to sync across devices.

← PreviousMCP Connector — 데이터 pull, 결과 push back Next →Cowork vs Operator vs Custom GPTs

이 페이지에서 버그를 발견하셨거나 피드백이 있으세요?문제 신고

🔔 답글 알림 (로그인 필요)

로그인 — 댓글을 남기려면 로그인해 주세요.

아직 댓글이 없어요. 첫 댓글을 남겨보세요.