ChatGPT 1년, 공부 기록과 다음 계획

 

이번 주가 지나면 ChatGPT가 공개된 지 딱 1년이 됩니다.
작년 이맘때 처음 접속해서 "오, 이게 되네?" 하고 신기해하던 기억이 아직 생생한데요.
벌써 1년이라니 시간이 참 빠르다는 생각이 듭니다.

그래서 이번 글은 새로운 기술 소식을 정리하기보다는 제가 지난 1년 동안 무엇을 공부했고, 그게 일하는 방식에 어떤 변화를 줬는지 돌아보는 기록으로 남겨보려고 합니다.
거창한 성과가 있는 건 아니고, 예약 시스템 기획을 하면서 틈틈이 공부한 흔적을 모아보는 정도예요.

 

돌이켜보면 공부는 대략 네 단계로 이어졌습니다.

처음은 그냥 써보는 것이었습니다.
질문을 던지고, 글을 다듬게 하고, 아이디어를 뽑게 하면서 "어떤 일에 잘 맞고 어떤 일에 안 맞는지" 감을 잡는 시기였어요.
이때 가장 크게 배운 건 그럴듯하게 틀린 답을 자신 있게 말한다는 점이었습니다.
날짜나 고유명사처럼 사실 확인이 필요한 부분은 반드시 따로 확인해야 한다는 습관이 이때 생겼습니다.

두 번째는 프롬프트였습니다.
같은 질문이라도 역할을 정해주고, 예시를 한두 개 보여주고, 출력 형식을 지정하면 결과가 훨씬 안정적이라는 걸 체감했습니다.
예약 문의에 대한 답변 초안을 쓰게 할 때 "정중하지만 짧게, 세 문장 이내로" 같은 제약을 붙이는 것만으로도 쓸 만한 초안이 나왔어요.

세 번째는 API였습니다.
올해 봄에 API가 열린 뒤에는 화면에서 대화하던 것을 직접 호출해보는 단계로 넘어갔습니다.
역할(system, user, assistant)이 나뉜다는 점, 토큰으로 계산된다는 점을 알고 나니 "이 기능을 서비스에 붙이면 대략 이런 비용 감각이겠구나" 하는 어림이 가능해졌습니다.
코드를 잘 짜는 건 아니지만, 짧은 예제를 따라 해보는 것만으로도 개발자와 나누는 대화가 달라졌어요.

네 번째는 임베딩과 RAG였습니다.
모델이 모르는 내 문서를 어떻게 활용할지가 궁금해서 문서를 잘게 나누고, 숫자 벡터로 바꾸고, 비슷한 것을 찾아서 답변에 붙이는 흐름을 공부했습니다.
예약 서비스의 FAQ나 정책 안내에 적용하면 어떨까 하는 상상을 하면서 개념 위주로 정리해뒀습니다.

가장 최근에는 이미지를 이해하는 모델 소식을 읽으며 활용 아이디어를 메모했고, 이번 달에는 개발자 행사에서 나온 소식들을 따라가며 "앞으로 서비스에 붙이는 방식이 더 쉬워지겠구나" 하는 인상을 받았습니다.
다만 새로 나온 기능의 세부 사항은 바뀔 수 있어서 단정하지는 않으려고 합니다.

 

공부가 쌓이면서 눈에 띄게 바뀐 점이 몇 가지 있습니다.

먼저 초안을 만드는 속도가 달라졌습니다.
예를 들어 "예약 취소 규정" 같은 정책 문구를 쓸 때, 예전에는 빈 문서에서 시작했다면 지금은 대략적인 틀을 먼저 뽑아본 다음 제가 고치는 식으로 진행합니다.
처음부터 끝까지 맡기지는 않고, 어디가 비어 있는지 찾는 용도로 쓰는 경우가 많습니다.

다음은 예외 케이스를 찾는 일입니다.
"휴무일에 예약된 건이 있는데 휴무 설정을 바꾸면 어떻게 되지?" 같은 상황을 물어보면 제가 놓친 경우를 몇 개 더 제시해줄 때가 있어요.
물론 전부 쓸모 있지는 않지만, 체크리스트를 풍성하게 만드는 데는 도움이 됩니다.

또 하나는 말하는 방식의 변화입니다.
제가 쓴 요구사항이 모호하면 모델도 모호하게 답한다는 걸 보면서, 사람이 읽는 기획 문서도 더 명확하게 써야겠다는 자극을 받았습니다.
"적당히", "빠르게", "필요 시" 같은 표현을 줄이고 숫자와 조건으로 적는 연습이 되고 있어요.

반대로 아직 안 바뀐 점도 있습니다.
어떤 문제를 풀 것인지 정하고, 운영하시는 분의 하루를 상상하고, 우선순위를 정하는 일은 여전히 제가 직접 해야 합니다.
도구가 빨라질수록 오히려 "무엇을 만들 것인가"가 더 중요해지는 느낌이에요.

 

공부가 매끄럽기만 했던 건 아닙니다.

한동안은 새로운 소식을 따라가는 데 너무 많은 시간을 썼습니다.
매주 새로운 모델과 도구가 나오니까 다 보려고 하다가 정작 정리는 못 하는 날이 이어졌어요.
그래서 올해 중반부터는 "읽은 것 중 하나는 반드시 내 말로 한 문단 적어두기"라는 작은 규칙을 만들었습니다.

또 하나는 사실을 확인하지 않고 믿었던 순간입니다.
모델이 알려준 설명을 그대로 메모했다가 나중에 공식 문서와 다르다는 걸 알고 고친 적이 있습니다.
이후로는 숫자, 날짜, 기능 이름이 나오면 공식 안내를 한 번 더 열어보는 편입니다.

마지막으로는 "해봤다"와 "안다"를 혼동한 것입니다.
예제를 따라 해서 돌아가면 이해한 줄 알았는데, 조금만 바꿔보면 막히는 경우가 많았어요.
그래서 따라 하기 다음 단계로, 작은 상황을 가정해서 스스로 문제를 바꿔 풀어보는 방식을 섞고 있습니다.

 

다음 1년 동안 공부하려는 주제는 크게 두 가지입니다.

첫째는 에이전트입니다.
모델이 대화만 하는 게 아니라 외부 기능을 호출해서 일을 이어서 해내는 구조가 요즘 많이 언급되고 있습니다.
예약 서비스로 치면 "빈 시간을 조회하고, 조건에 맞는 슬롯을 제안하고, 확정 전에 사용자에게 확인받는" 흐름을 어디까지 맡기고 어디부터 사람이 잡아야 하는지 생각해보고 싶어요.
읽기와 쓰기를 어떻게 구분할지, 실패했을 때 어떻게 되돌릴지 같은 설계 문제가 흥미롭습니다.

둘째는 평가입니다.
지금까지는 "이 정도면 괜찮네" 하는 감으로 결과를 판단해왔는데, 서비스에 붙이려면 기준이 있어야 한다는 걸 느꼈어요.
예를 들어 예약 문의 답변 초안 20개를 가정하고, 정확성과 말투와 안전성을 항목별로 채점해보는 작은 실험부터 해볼 생각입니다.
무엇을 좋은 답이라고 볼지 정하는 것 자체가 기획의 일이라고 생각해서, 개발 지식이 부족해도 제가 할 수 있는 영역이라고 보고 있습니다.

그 밖에 예약 도메인 쪽 공부도 계속 병행할 예정입니다.
AI 공부가 재미있다고 해서 본업에 가까운 기획 공부를 소홀히 하면 오히려 쓸모가 줄어든다고 생각해요.

 

1년 전의 저는 ChatGPT를 "신기한 장난감"으로 봤던 것 같습니다.
지금은 "잘 쓰면 일의 앞뒤를 정리해주고, 잘못 쓰면 그럴듯한 오류를 만드는 도구" 정도로 이해하고 있습니다.

여전히 모르는 게 훨씬 많습니다.
특히 서비스에 넣었을 때의 품질 관리, 비용, 사용자 신뢰 같은 문제는 공부해도 공부해도 끝이 없네요.

다음 1년에는 "읽은 것"보다 "작게라도 해본 것"을 더 많이 기록하는 게 목표입니다.
그때 다시 이 글을 열어보면서, 지금의 생각이 얼마나 달라졌는지 비교해보면 좋겠습니다.