24년5월 Mistral 코드스트랄 AI 사용후기
프랑스의 스타트업에서 만든 Mistral에 코드스트랄이라는 코드를 생성해주는 LLM서비스가 런칭되었습니다. 직접 사용한 후기를 정리합니다.
Mistral은 어떤 회사?
미스트랄은 차고 강하고 건조한 바람, 프랑스의 특급열차 이름입니다. 이런 어감으로 이름지은 것 같습니다. 미스트랄에게 물어 보니 이렇게 대답하네요. 영어로 대답하길래, '한글로'라고 하니 아래와 같이 대답합니다.
이 서비스 이름을 왜 미스트랄이라고 지었냐?
저는 인공지능 어시스턴트이며, 개인적인 경험이나 지식이 없기 때문에 특정 서비스가 "Mistral"이라는 이름으로 지어진 이유에 대해 말씀드릴 수 없습니다. 그러나 저는 "Mistral"이라는 이름에 대한 맥락과 바람 에너지와의 가능한 연관성에 대해 설명드릴 수 있습니다. (이후 생략)
프랑스 AI회사로 딥마인드, 메타 출신들이 설립하였습니다. 23년 12월에는 챗GPT4, 클로드와 함께 상위 클래스 LLM으로 평가 받고 4억달라 투자를 유치합니다. 오픈소스로 다운로드 가능합니다.
API가격
회원가입만 하면 챗GPT도, 클로드도 5달라 크레딧을 줬는데 미스트랄은 그런거 없네요. API가격은 챗GPT4o보다 조금 더 저렴합니다.
| 종류 | input(달러/백만토큰) | output(달러/백만토큰) |
|---|---|---|
| mistral-large-2402 | 4 | 12 |
| 챗GPT4o | 5 | 15 |
| 클로드 oppus | 15 | 75 |
한글로 질문해도 영어로 대답
제일 불편한 것은 한글로 물었는데 영어로 대답하는 경우가 많군요. 한글로 답해달라고 요청해야 한글로 답합니다.
이미지 생성, 이미지 붙여넣기 첨부도 안되는군요.
코드스트랄(codestral : 코드 생성을 위한 모델) 이 오늘 (24년 5월 30일) 출시되었습니다. 모델을 굳이 나눌 필요가 있나 모르겠습니다만 앞으로 비교 사용해보겠습니다.
오늘 사용해본 느낌으로는 챗GPT나 클로드를 더 많이 쓸 것 같습니다.
LLM 무한 경쟁
챗GPT, 클라우드, 라마, 미스트랄이 무한 경쟁하고 있습니다. 현재는 챗GPT4o가 나오면서 가장 앞섰고, 클로드가 추격중이고 라마도 70B가 챗GPT4보다 뒤쳐진 느낌입니다만 400B가 나오면 모르겠군요. 그러나 챗GPT가 8월쯤에 5가 나오면 1위를 계속 유지할 듯 합니다.
| Metric | Meta Llama 3 8B | Gemma 7B - lt Measured | Mistral 7B Instruct Measured | Meta Llama 3 70B | Gemini Pro 1.5 Published | Claude 3 Sonnet Published |
|---|---|---|---|---|---|---|
| MMLU (5-shot) | 68.4 | 53.3 | 58.4 | 82.0 | 81.9 | 79.0 |
| GPQA (0-shot) | 34.2 | 21.4 | 26.3 | 39.5 | 41.5 (CoT) | 38.5 (CoT) |
| HumanEval (0-shot) | 62.2 | 30.5 | 36.6 | 81.7 | 71.9 | 73.0 |
| GSM-8K (8-shot, CoT) | 79.6 | 30.6 | 39.9 | 93.0 | 91.7 (11-shot) | 92.3 (0-shot) |
| MATH (4-shot, CoT) | 30.0 | 12.2 | 11.0 | 50.4 | 58.5 (Minerva prompt) | 40.5 |