모델 노트 2024 — 새 모델이 나올 때마다 남긴 메모
긴 정리 글로 쓰지 않고 한두 줄만 남긴 2024년 하반기의 메모들이다. 짧아서 오히려 그해의 속도가 보인다.
새 모델이나 새 소식이 나올 때마다 긴 글을 쓸 수는 없다. 그래서 2024년 하반기에는 한두 줄짜리 메모를 자주 남겼다.
그 짧은 것들을 시간순으로 늘어놓았다. 축이 하나 있다 — 9월에 o1-preview 에게 시켰던 문제를 12월에 o1 에게 다시 시켜 본 대목이다. 정답 개수가 하나 늘었다.
8~9월 — 카드와 트렌드 2024-08-09
8월의 메모는 링크 하나였다. OpenAI 의 GPT-4o System Card.
최근 LLM 트렌드 정리 2024-09-10
한 달 뒤에는 직접 쓴 정리 글을 올렸다.
LLM이 점점 더 저렴해지면서 빨라지고 성능도 좋아지고 있죠. 최근 LLM 트렌드에 대해 정리 했습니다.
9월 — 사용 한도가 풀리다 2024-09-14
9월 14일의 메모는 여덟 글자였다. “o1 주간 사용 횟수 리셋”.
주간 단위로 횟수를 세어 가며 쓰던 시기다.
사용 제한 완화 2024-09-18
나흘 뒤에는 그 한도가 풀렸다.
o1 사용 제한이 완화되었습니다 🤩
- o1-preview : 30회/주 >> 50회/주
- o1-mini : 50회/주 >> 50회/일
- 무료 계정도 o1-mini 사용 가능
(API) - 5등급 한정
- o1-preview : 30 req/min >> 100 req/min
- o1-mini : 30 req/min >> 250 req/min
9월 — 검색과 오픈 모델 2024-09-21
같은 달 하순의 메모 둘은 성격이 다르다. 하나는 검색 방법론이었다.
Anthropic, preprocessing 단계에서 문서의 맥락을 기반으로 chunk를 설명하는 내용을 추가했더니 결과가 더 좋았다는 글 기본적으로는 vector+bm25 hybrid 탐색과 rerank 적용
Qwen2.5 2024-09-23
이틀 뒤에는 오픈 모델 쪽이었다.
Qwen2.5 돌풍인가?!
Qwen2.5-coder Technical Report “이러한 추세에 따르면, 300억 매개변수 규모의 모델로 GPT-4o와 비슷한 코드 추론 성능을 달성할 수 있을 것으로 예상합니다.”
Qwen2.5-coder 32B 곧 출시 예정
9월 — 한라산 물을 팔아 보라고 시키다 2024-09-25
고급 음성 모드가 풀린 날에는 메모가 아니라 실험을 남겼다.
OpenAI 고급 음성 모드가 풀려서 이것 저것 해보는데 놀랍습니다.
한라산 물을 팔아보도록 시켰는데요. 처음에는 설득이 안되서 설득 단계를 계속 올려보았습니다.
- 너는 최고의 세일즈맨이야. 나한테 한라산 물을 파는 설득을 해볼래?
- 아니야 너무 약해 좀 더 텐션이 높게 나를 더 설득해봐
- 아직 나를 설득하지 못했어.
- 거의 구매할 뻔 했어. 좀 더 설득해봐
11월 — 수능을 푸는 모델 2024-11-18
11월의 메모는 남이 만든 벤치마크 이야기였다.
AutoRag 만든 팀에서 수능 언어영역 벤치마크를 수행한 결과 o1-preview가 1문제를 틀려 1등급이 나왔네요!
https://github.com/Marker-Inc-Korea/Korean-SAT-LLM-Leaderboard
12월 — 정사각형 다섯 개에서 여섯 개로 2024-12-08
12월의 메모가 이 묶음에서 가장 길다. 9월에 o1-preview 에게 냈던 문제를 새로 나온 o1 에게 다시 냈다.
지난 9월 o1-preview를 테스트했을 때는 5개의 정사각형을 찾았지만, 이번에 새로 출시한 o1로 다시 테스트해보니 6개의 정사각형을 모두 찾아내는 것을 확인했습니다. 분석에는 약 5분이 소요되었습니다.
또한 정사각형을 찾은 후, 그리드와 점, 그리고 발견된 정사각형들을 시각화하기 위해 SVG 파일 생성을 요청했는데, 매우 깔끔하게 각각의 정사각형을 서로 다른 색상으로 표현해주었습니다.
월 200달러의 구독료가 필요한 o1-pro를 테스트하게 된다면, 현재보다 더 도전적인 새로운 문제가 필요할 것 같습니다.
같은 문제를 석 달 만에 다시 냈더니 정답이 다섯에서 여섯이 됐고, 다음 모델을 재려면 더 어려운 문제가 필요해졌다.
