클로드코드로 거의 모든 코딩 업무를 해왔다. 확실하고, 편리하고, 클로드코드는 매우 똑똑한 프로그래머의 역할을 내 지시마다 너무도 잘 수행해 주었다. 나는 아직도 클로드코드가 사람처럼 대화하며 내 의도를 파악하고 그에 훌륭히 응답하며 부합하는 그 원리와 구조를 마냥 신기해하고만 있기도 하다.

대화를 거듭할수록 묘하게 발전하는 부분이 있다는 느낌이 든다. 이제는 농담을 건네면 농담으로 받아치기도 한다. 언젠가는 대화 중에 꽤 오래 전에 진행했던 작업 이야기를 먼저 꺼내와서 깜짝 놀란 적도 있었다. 물론 나중에 알고 보니 프로젝트 파일에 기록된 내용을 읽어서 언급한 것이었지만, 그 순간만큼은 정말로 기억하는 존재와 대화하는 것 같은 착각이 들었다.

클로드코드를 이용하여 업무용 웹앱을 더 이상 손댈 필요 없을 정도로 마무리하여 잘 쓰고 있었는데, 클로드가 잘 못하는 게 딱 하나 있었다. 그림 그리는 것.

이미지 생성에 있어서는 미드저니 같은 전문 생성 AI보다도 때로는 챗GPT가 더 뛰어나다는 인상을 받고 있었다. 그러던 중 OpenAI에서 클로드코드와 같은 CLI 코딩 도구로 코덱스를 제공하고 있다는 것을 알게 되었다. 마침 챗GPT도 유료로 구독 중이고 해서, 코덱스를 설치하고 사용해 보았다.

새까만 터미널 화면에 커서만 깜빡이는 구조. 나중에 알고 보니 CLI 기반 코딩 도구는 자연스럽게 터미널의 모양새를 취할 수밖에 없는 구조라, 어느 쪽이 어느 쪽을 카피했고 하는 것과는 전혀 무관한 이야기였다.

그러나 역시 이미지 생성 결과를 반영하여 UI 개선 작업을 하는 데 있어서는 클로드코드와 코덱스가 큰 차이를 보였다. 챗GPT에서 생성한 이미지를 코덱스에게 바로 던져주고 “이미지대로 구현해봐” 하면, 그 작업이 훌륭히 수행되었다. 기존의 구형 소프트웨어 같은 모습에서, 요즘 분위기에 맞는 세련된 UI로. 내 마음에 쏙 드는 결과가 나왔다.

그렇게 코덱스가 만들어 놓은 UI를 클로드코드한테 고치라고 하면, 그건 또 잘 고친다는 ㅡ,.ㅡ;;

사용하면서 흥미로운 사실을 하나 발견했다. AI도 사람처럼 자신이 만든 코드에서는 오류를 잘 찾지 못한다는 것. 클로드는 자기가 작성한 코드의 오류를 잘 못 찾고, 코덱스는 자기가 만든 오류는 또 잘 못 찾는다.

이 사실을 알게 된 이후, 필요한 경우에는 클로드가 작성하게 하고 코덱스에게 가져가서 검증하고, 또는 그 반대로 하고 하는 방식을 취했었다. 그러다 문득 궁금증이 생겼다.

알아보니 방법이 있었다. Multi-Agent Workflow. 우리말로는 ‘다중 AI 협업 시스템’ 또는 ‘AI 협업 파이프라인’ 정도로 부를 수 있겠다.

핵심은 이렇다. 클로드와 코덱스가 실행되는 터미널에서 하나의 Python 파일을 만들고, 예컨대 Orchestrator.py, 그 안에 클로드와 코덱스 각각의 위치와 역할을 지정해 놓는 것이다. 쉽게 말하면 옛날 도스 시절의 bat 파일 같은 개념인데, 단순 순차 실행에 그치는 bat 파일과 달리, 조율자(Orchestrator) 파일은 클로드와 코덱스 각각에게 지시를 하고 결과를 받으며 양방향으로 소통할 수 있다.

실제로 돌려보니 이런 식으로 흘러갔다. 클로드가 설계 초안을 내놓으면, 코덱스가 검토하여 “이건 고치고, 저건 추가하고, 이건 권고 사항”이라는 검토 의견서를 클로드에게 보낸다. 클로드는 그것을 반영하여 재설계안을 내놓고, 코덱스가 최종 점검을 마치면 클로드가 로컬 파일을 수정하고 서버에 배포한다. 코덱스가 테스트와 오류 검증까지 마무리하면 끝. 이 모든 순차 작업이 처음부터 끝까지 지들끼리 소통하면서 한 번에 이루어졌다.

그런데 써보니 특징이 있었다. 최대한 안전하고 보수적인 작업이 된다는 것. 설계자가 설계한 것을 감리자가 가지치기를 많이 하니, 수정 후 오류 최소화에 초점이 맞추어지게 되고, 각각의 AI를 혼자 돌렸을 때보다 변화의 폭이 훨씬 좁아진다.

이것은 장점이자 동시에 단점이다. 그래서 얻게 된 깨달음이 하나 있다. 작업의 성격에 따라 역할을 다르게 지정해야 한다. 과감한 작업이 필요할 때는 감리자가 아닌 조언자 역할에 그치도록, 안전한 작업이 필요할 때는 방관자가 아닌 확실한 관리 감독을 수행하도록. 이것은 마치 현실에서 업무별로 책임자를 정하고 업무 범위와 책임의 한계를 정해주는 것과 완전히 같다.

아마도 AI의 당초 설계자가 사람이다 보니, 사람 기준으로 생각할 수밖에 없고, 그러다 보니 실제 생활에서 운영하는 방식을 많이 차용하게 된 결과론적 작품이 아닐까 싶다.

그래서 금번에 또 하나의 결론을 얻었다. 토큰 소비가 엄청난 다중 AI 작업은 정밀함과 안전성이 필요할 때 사용하고, 사용자 경험 위주의 과감한 개선이 필요한 부분에는 각각의 AI를 개별로 활용하는 것이 낫다.