
안녕하세요. Teus입니다.지난번 포스팅을 통해서, GPT의 구조가 대략적으로 어떻게 생겼고 해당하는 구조를 통해서 다음단어 예측기(Decoder Only Transformer)가 대략적으로 어떻게 동작하는지 확인했습니다. 이번 포스팅에서는 해당하는 다음단어 예측기를 통해서 어떻게 GPT가 Chat이 가능한지 알아봅니다.1. 다음단어 예측기의 한계GPT는 문장이 주어졌을 때, 앞에있던 단어들을 가지고 다음에 올 단어을 예측합니다. 이러한 문장의 경우 대부분 위키피디아 등에 존재하는 문서 형태이기 때문에 인터넷의 수많은 문서를 학습한 상태의 LLM에게(이를 pre-trained상태라고 합니다) 오늘 날씨는 어때? 라고 물어본다면이처럼 정상적이지 못한 다음단어만 예측을 하면서, LLM이 예상치 못한 결과만을..

안녕하세요. Teus입니다. 이번에 포스팅에서는 GPT라는게 어떻게 구성이 되어있고 현재 많이 쓰이는 ChatGPT의 동작을 LLAMA모델을 통해서 대략적으로 알아봅니다.0. 다음단어 예측기전체적인 문맥을 만드는 일은 굉장히 어렵지만 현재 단어를 보고, 다음에 올 단어를 예측해보는일은 어느정도 가능한 일 입니다. 예를 들어 볼까요? life is short위 문장만 주어질 경우 다음 단어가 무엇이 나와야 할지 맞추기 어렵지만 life is short, you need 까지 주어지면, 앞에있는 단어들을 통해서 해당하는 문장의 다음 단어가 python일것이라고 대략적으로 예상해 볼 수 있습니다.(물론 🍺도 맞지만요!) 이처럼 문장이 주어지고, 그 문장 다음에 어떤 단어가 나올지를 맞추는게 GPT의 알파이자..
- Total
- Today
- Yesterday
- Sort알고리즘
- react
- 셀프모청
- 사칙연산
- AVX
- ChatGPT
- ai
- prime number
- 자료구조
- 병렬처리
- SIMD
- GPT
- Python
- 프로그래머스
- 동적계획법
- Greedy알고리즘
- 알고리즘
- hash
- 청첩장
- 코딩테스트
- 모바일청첩장
- 이분탐색
- LLM
- stack
- Search알고리즘
- git
- 완전탐색 알고리즘
- 분할정복
- GDC
- javascript
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |