'2025/04/16 글 목록

안녕하세요. Teus입니다.지난번 포스팅을 통해서, GPT의 구조가 대략적으로 어떻게 생겼고 해당하는 구조를 통해서 다음단어 예측기(Decoder Only Transformer)가 대략적으로 어떻게 동작하는지 확인했습니다. 이번 포스팅에서는 해당하는 다음단어 예측기를 통해서 어떻게 GPT가 Chat이 가능한지 알아봅니다.1. 다음단어 예측기의 한계GPT는 문장이 주어졌을 때, 앞에있던 단어들을 가지고 다음에 올 단어을 예측합니다. 이러한 문장의 경우 대부분 위키피디아 등에 존재하는 문서 형태이기 때문에 인터넷의 수많은 문서를 학습한 상태의 LLM에게(이를 pre-trained상태라고 합니다) 오늘 날씨는 어때? 라고 물어본다면이처럼 정상적이지 못한 다음단어만 예측을 하면서, LLM이 예상치 못한 결과만을..