GPT assistants api 를 활용한 서비스
GPT를 포함한 LLM은 학습되지 않은 내용을 답변하지 못 합니다. GPT4부터 검색을 통한 답변도 가능합니다만, 내가 작성한 자료, 우리 회사의 자료와 같은 검색에도 없는 내용을 답변하지 못 합니다. GPTs, 구글 notebooklm와 같은 RAG에서는 가능합니다. GPT assistans api를 사용하면 RAG 를 포함한 다양한 서비스 작성이 가능합니다.
GPT assistants api 로 가능한 기능
GPT, claude API 로 질문하고 답변을 받을 수 있습니다.
내가 준비한 자료를 system context에 넣으면 학습하지 않은 내용도 질문할 수 있습니다. 그러나, 8~128KB 로 입력양의 제한이 있습니다.
GPT assistants api는 512MB, 200백만 토큰의 자료를 입력하고 질문을 할 수 있습니다.
GPT assistants api의 장점과 기능을 정리하였습니다.
-
방대한 입력 자료의 용량 (512MB)
-
과거 대화를 기억시키기 위해 context에 포함 시킬 필요없어 토큰 절감
-
search : 첨부 문서를 검색하여 context에 포함하여 토큰 절감. (RAG와 동일)
-
code interpreter : 내부적으로 코드를 생성하여 실행하고 결과를 리턴
-
functions : web api를 호출할 수 있습니다.
GPT assistants api는 결과 GPTs와 같은 기능을 API로 호출할 수 있다고 이해하면 되겠습니다.
GPT assistants api로 가능한 서비스
api로 아래와 같은 서비스로 응용 가능하겠습니다.
-
RAG
-
개발 도우미
-
데이터 분석
-
교육 및 학습
RAG
RAG를 구현하는 방법은 파이썬 코드로 직접 구현하는 방법, 오픈소스를 활용하는 방법이 있겠습니다만 GPT assistants api를 활용하면 더욱 쉽게 구현 가능하겠습니다.
개발 도우미
GPT assistants api가 코드를 직접 생성, 실행도 해주므로, 내 소스코드를 첨부하고 내 코드에 관해 질문하고 디버깅, 개선하는 작업이 가능하겠습니다.
데이터 분석
자료를 첨부하고 code interpreter 기능을 활용하면 데이터 분석, 시각화가 가능하겠습니다. 그런데, 엑셀 자료 첨부가 안되므로 csv로 변환하는 과정은 필요하겠습니다.
교육 및 학습
중, 고등학교 학습자료를 넣고 학생들 개인별 문제를 출제하고 채점, 피드백 주는 서비스를 개발할 수 있겠습니다. 카카오 Event API를 활용하여 문제를 톡으로 발송하고 학생이 답을 하면 즉시, 채점하고 피드백도 주는 서비스입니다. 개인별 수준에 맞춘 문제를 발송하고 오답노트를 관리하여 비슷한 유형을 다음에 또 출제하여 반복학습할 수 있게하면 좋은 서비스가 될 수 있겠군요.