🧨포텐데이 X 클로바 스튜디오🍀 첫 번째 기술 밋업



알 사람은 다 아는 포텐데이 빅이벤트!🎉

생성형 AI 활용해 우리 팀만의 서비스를 만드는, 네이버 클라우드 플랫폼과의 콜라보 [🧨포텐데이X클로바 스튜디오🍀].

사이드 프로젝트에서 생성형 AI를 활용한다니, 좋아 보이긴 하는데 무엇을 경험할 수 있는지 구체적으로 그려지진 않죠?

그래서 이미 경험한 동료들의 후기를 생생하게 들을 수 있는 시간을 가졌습니다.🤓

포텐데이X클로바 스튜디오 기술 밋업 : 생성형 AI deep-dive

지금부터 FAQ 챗봇, 캐릭터 챗봇 등 생성형 AI로 서비스 만들기 위해 동료들이 직접 겪은 고군분투 이야기를 전해드릴게요.🦦



1. 나야, 포텐데이 FAQ 챗봇. 생성형 AI를 곁들인

"클로바 스튜디오 하나로 3차 시도까지, 포텐데이 FAQ 챗봇을 만들기 위한 여정"

기술 밋업의 시작은 포텐데이의 개발자께서 열어주었어요.

2년 동안 포텐데이를 운영하며 깨달은 것은 참여자들의 질문에 중복이 많고 그 카테고리가 정해져있다는 거예요.

그래서 포텐데이는 더 빠르고 정확한 답을 효율적으로 제공할 수 있도록 챗봇을 만들고자 했습니다.

그리고 총 세 번의 시도 끝에 우리 챗봇에 가장 적합한 구현 방법을 찾아냈어요.

1. 1차 시도 : 클로바 스튜디오 + 튜닝

2. 2차 시도 : 클로바 스튜디오 : RAG

3. 3차 시도 : 클로바 챗봇

우리 개발자가 직접 경험하며 얻은 팁을 위 장표에 넣었으니, FAQ 챗봇에 관심있던 분이라면 참고해 보세요.😎

▶️발표 영상 직접 보기



2. 캐릭터 챗봇은 어떻게 학습시킬까?

"챗봇 개발자의 HyperCLOVA X 통한 캐릭터 챗봇 학습 방법"



HyperCLOVA X를 그 누구보다 이리 저리 뜯어봤을 이번 발표자!😂

우리 개발자가 공유한 캐릭터 챗봇을 만드는 순서는 다음과 같아요.

1. 모델 선정하기

2. 학습 전략 세우기

3. 데이터셋 구축하기

4. 모델 학습하기

이와 더불어, 우리 개발자 분은 챗봇 학습에 적용하기 좋은 다양한 학습 방법을 설명해 주었어요.

1. 하이퍼 파라미터 정리

   • Repetition Penalty는 2~7.5 사이가 가장 좋으며, Temperature가 0.2 이하면 사고형 T 답을, 0.75 이상은 감성형 F 답을 만들어 낸다고 해요.

2. 데이터 셋 구축 자동화 프로그램

   • 랭체인으로 조금 더 빠르게 가능

3. 랭체인 Batch 함수 사용 시 주의할 점

   • 요청 사이에 지연 시간을 두고, max_concurrency 값 설정

현업 챗봇 개발자의 발표라 그런지, 실무에 도움될 만한 생생한 정보가 많이 공유된 것 같습니다.👍🏻

▶️발표 영상 직접 보기



3. 인사이드아웃을 실제로 구현해 본다면?

"👵🏻내 일기에 대한 과거 감정과 한 마디까지 전해주는 추억 할머니, 우리 서비스에서 어떻게 구현할 수 있을까."





다음 발표는, 인사이드아웃의 추억 할머니를 서비스로 구현한 개발자입니다.

INSIDERGRAM은 감정이들의 감정이 겻들여진 일기 앱이에요.

우리 서비스의 큰 틀은 오늘 일기와 비슷한 감정을 느낀 과거 일기를 연결하는 것인데요, 우리 팀은 이를 위해 Vector DB를 활용했어요.

Embedding Model을 통해 일기들을 Vector 화 한다면, 비슷한 분위기와 감정을 가진 일기끼리 DB 안에서 가까운 공간에 배치될 것이고, 이를 추억 회상의 의미로 연결하는 거예요.

우리 팀은 클로바 스튜디오 Text Emdedding Model을 사용했어요. 한국어에 특히 강하며, 1024차원의 Vector까지 지원하기 때문에 그 정확도가 타 서비스에 비해 월등히 높거든요. 🤩

이렇게 오늘 쓴 일기와 가장 거리가 가까운 Vector를 추출해 과거 일기를 보여주고, 더불어 클로바 스튜디오의 LLM을 통해 추억 할머니의 한 마디 기능까지 구현했답니다.



▶️발표 영상 직접 보기



4. 인간의 마음을 구현하다, 6명의 AI페르소나

"딱 10일 안에 6명의 AI 페르소나 구현하기"



브레인스토밍 기법을 응용한 AI 에이전트, 말모말모.

우리 서비스의 눈에 띄는 점은 AI 에이전트가 6명이나 된다는 거예요. 물론 각각 상황과 성격이 뚜렷하게 차이나요.

여기서 궁금한 점!

딱 10일 사이드 프로젝트, 포텐데이에서 우리 팀은 어떻게 6명의 AI 에이전트에 각각의 페르소나를 적용했을까요?

최대한 인간의 관점을 정확히 구현하기 위해 우리 팀은 아래와 같은 방법을 사용했어요.

1. ‘인간다움’에 대한 명확한 정의

2. 키워드 중심의 명령, 대화보단 명확한 지시가 익숙한 우리들. 이러한 유저를 위해 우리 팀은 에이전트를 확실하게 ‘의인화’했어요. 한국어에 강한 HyperClova X의 특성을 제대로 살린 거죠!

3. 직업, 주변환경 등 환경적 관점 반영

4. ‘판교’에서 오래 일한 ‘개발자’와 같이 각 에이전트 별로 명확한 직업과 성향 등을 대입했어요. 그 결과 추가 학습 없이도 각 에이전트 별로 뚜렷한 성격 차이를 보였다고 해요.

5. 사고하는 과정을 구체적으로 지시

덕분에 개성과 성격 뚜렷한 6명의 AI 에이전트가 딱 10일만에 완벽하게 탄생할 수 있었답니다.🎩

▶️발표 영상 직접 보기





5. 주니어 엔지니어의 프로덕트 개발경험기

“토종 한국어 모델, 소버린 AI를 위한 특화 모델이라는 점이 특히 매력적이었어요.”



위 말모말모 팀의 개발자가 또 다른 개발 경험기를 공유해 주었어요. 6명의 AI 에이전트에게 뚜렷한 성격을 학습하기 위한 과정, 이런 기법들을 다양하게 활용했어요.

<파인튜닝(튜닝 API), RAG(Agent), 페르소나 설정 (퓨샷러닝, Chani of thoutht), 튜닝, Custom LLM, 랭체인 이식을 통한 Class 단위 코드 구현>

더불어, 400개 이상의 합성 데이터, 단계 별 Epochs와 Loss를 조절해 각 에이전트틀에게서 원하는 답변이 나올 때까지 튜닝에 튜닝에 튜닝을 겁듭했어요.

이 경험을 통해 우리 개발자는 “오픈소스 LLM과 비슷하게 QLoRA튜닝으로 파인튜닝이 되기 때문에 정보주입을 하고 싶다면, 여러 쌍의 데이터를 만들어 튜닝해보세요.”라는 팁까지 공유해 주었답니다.



▶️발표 영상 직접 보기

6. 흑백상담사

"어쩌다 한 번의 좋은 답이 아닌, 항상 좋은 퀄리티의 답을 찾기 위한 여정"





마지막 발표는 [포텐데이X클로바 스튜디오]에 총 2번 참여한 기획자께서 맡아주었어요.

우리 팀은 가상 면접 시뮬레이션 서비스 ‘티키타카’와 입시 상담 서비스 ‘스카이 브릿지’를 만들었는데요.

이번 발표는 티키타카의 취업 상담사 ‘티키’와 스카이브릿지의 입시 상담사 ‘구르미’를 비교하며 서비스에 따라 프롬프트를 최적화하는 과정에 대한 이야기였습니다.

1. 티키

   1. 문제 : 초반 설계 당시 이력서와 채용공고 의도를 전혀 이해하지 못한 채 프롬프팅됨

   2. 해결 방안 : 클로바 OCR을 통해 두 자료를 텍스트화

   3. 문제 : 너무 많은 내용으로 토큰 초과

   4. 최종 해결 방안 : 원샷이나 퓨샷 러닝 대신 문항 형식을 변환 → 프롬프트에 토큰 수를 줄이고 질문의 퀄리티 향상

2. 구르미

   1. 다양한 조건의 사용자를 위해 맞춤 학습 계획 필요한데🤔 → 사용자가 직접 조건을 입력하면 몰입감을 줄 수 있을 것 같다!

   2. 해결 방안

   3. 프롬프트 내 스트링 변수 중괄호를 통해 변수 지정

   4. 변수가 변해도 전체 시스템에는 영향을 주지 않도록 구성

   5. 제이슨 형태 출력을 위해 규칙을 지시하고, 출력 예시를 여러 번 학습

마지막으로 두 번의 포텐데이를 통해 얻은 팁을 공유해 주었는데요.

“프롬프팅을 무조건 세심하게 하기 보다는 상황에 따라 과감하게 조절하는 것도 필요해요. 어쩔 때는 단어 하나만 변경하는 것이, 또 다른 때에는 프롬포트 자체를 뜯어고치는 것이 효과가 더 좋았을 때도 있었어요.”

▶️발표 영상 직접 보기



새로운 경험을 통해 성장한 것에 그치지 않고, 그 경험을 동료들에게 아낌없이 나누는 우리 IT 동료들의 이야기!

이번 기술 밋업을 통해 자세히 들을 수 있어서 참 좋았습니다.😄

그럼 다음 기술 밋업에서 만나요.🙌🏻