ITeus

안녕하세요. Teus입니다.지난번 포스팅을 통해서, GPT의 구조가 대략적으로 어떻게 생겼고 해당하는 구조를 통해서 다음단어 예측기(Decoder Only Transformer)가 대략적으로 어떻게 동작하는지 확인했습니다. 이번 포스팅에서는 해당하는 다음단어 예측기를 통해서 어떻게 GPT가 Chat이 가능한지 알아봅니다.1. 다음단어 예측기의 한계GPT는 문장이 주어졌을 때, 앞에있던 단어들을 가지고 다음에 올 단어을 예측합니다. 이러한 문장의 경우 대부분 위키피디아 등에 존재하는 문서 형태이기 때문에 인터넷의 수많은 문서를 학습한 상태의 LLM에게(이를 pre-trained상태라고 합니다) 오늘 날씨는 어때? 라고 물어본다면이처럼 정상적이지 못한 다음단어만 예측을 하면서, LLM이 예상치 못한 결과만을..

안녕하세요. Teus입니다. 이번에 포스팅에서는 GPT라는게 어떻게 구성이 되어있고 현재 많이 쓰이는 ChatGPT의 동작을 LLAMA모델을 통해서 대략적으로 알아봅니다.0. 다음단어 예측기전체적인 문맥을 만드는 일은 굉장히 어렵지만 현재 단어를 보고, 다음에 올 단어를 예측해보는일은 어느정도 가능한 일 입니다. 예를 들어 볼까요? life is short위 문장만 주어질 경우 다음 단어가 무엇이 나와야 할지 맞추기 어렵지만 life is short, you need 까지 주어지면, 앞에있는 단어들을 통해서 해당하는 문장의 다음 단어가 python일것이라고 대략적으로 예상해 볼 수 있습니다.(물론 🍺도 맞지만요!) 이처럼 문장이 주어지고, 그 문장 다음에 어떤 단어가 나올지를 맞추는게 GPT의 알파이자..

안녕하세요. Teus입니다, 오랜만에 인사드립니다. 이번 포스팅에서 살펴볼 내용은 Pandas이후에 Python에서 Data처리용으로 곽광받고 있는 패키지인 Polars에 대해서 다룹니다.1. PolarsPolars를 Pandas와 비슷하게 2차원 형태의 Sheet형 데이터 처리에 특화된 라이브러리 입니다. 특징으로는Pola-rs. Rust기반으로 작성되어, 빠른 속도로 동작을 보장해 줍니다.SIMD를 지원하여 Vectorized 동작을 통해서 빠른 데이터 처리 보장.Multicore를 전부 활용할 수 있는 BackendLazy Execution을 통한 최적화된 IO실험적인 모드로 GPU Support(beta)등의 특징을 볼 수 있습니다.2. 분산처리 라이브러리와 비교.pola-rs이전에도 Pandas..