ITeus

안녕하세요. teus입니다. 이번 포스팅은, opencode 등의 LLM에서 설정할 수 있는 thinking_token_budget 에 대해서 다룹니다.0. Effortopencode나 claude code의 설정에 보면, 모델의 reasoningEffort를 수정 할 수 있습니다.https://opencode.ai/docs/models/#configure-models 모델LLM 공급자 및 모델 구성.opencode.ai 문제는 위와같이 reasoningEffort라고 지정되어있는 변수의 경우 직접적으로 어느정도의 reasoning을 진행할 지를 우리가 알 수는 없고 enable_thinking 활성화 여부와 system prompt의 일부분에 영향을 끼친다고 이야기 했습니다. https://teus-k..

안녕하세요. teus입니다. 이번 포스팅은, claude code에서 설정할 수 있는 reasoning effort가 과연 효과가 있는지 소스코드 레벨에서 점검해봅니다.0. Effortclaude code를 보면, 위처럼 effort를 설정할 수 있습니다. 원래 claude 모델을 쓸 때는 위와같은 설정을 쓰는게 가정하고 학습이 되었겠지만 사내에서는 claude 모델이 아니라, vLLM기반의 OSS모델을 사용 중 입니다. 그러면 과연 해당 기능이 제대로 동작할 수 있을까요?GLM 5.2 모델 기준 flow(정리본)Claude Code /effort high │ ▼POST /v1/messagesoutput_config.effort = "high" │ ▼An..

안녕하세요. Teus입니다. 이번 포스팅은 streamlit으로 만드는 llm service의 병목을 최소화할수 있게 최적화 하는 방법에 대해서 다룹니다.1. Steramlit의 한계streamlit은 tornado라고 하는 프래임워크 기반으로 만들어져 있습니다. 그래서 tornado의 특징에 대해서 살펴보면단일Thread위에서 동작함async를 지원하나, streamlit의 경우 async를 직접 사용할 필요가 없음단일Thread상에서 자체적인 eventloop를 사용해 유저별 session을 관리함....뭔소린지 잘 모르겠는데Human readable 하게 써보면무거운 작업(CPU로 계산하는작업 like RAG, Tool Call)을 하면 다른 사용자가 Service를 이용하는데 제한을 받는다.입니다..

안녕하세요. Teus입니다. 이번 포스팅은 Langchian을 가지고 streamlit과 결합해서 streaming response를 편리하게 처리하는 방법에 대해서 다룹니다.1. LangChain과 streamlit안타깝게도 두 라이브러리간의 접점은 따로 없습니다 둘이 서로 알면서 모르는 사이랄까요?LangChain : LLM Model을 편하게 쓸 수 있게 도와줌Streamlit : OpenAI API표준방식으로 사용할경우 편리하게 사용할 수가 있음.그래서, 위 상황을 보면 사실 LangChain을 사용하는 것 보다는 OpenAI API를 사용하는게 더 편할수도 있습니다. 하지만 우리 수업은 LangChain/LangGraph기준으로 진행되었기 때문에 LangChain을 가지고 streaming re..

안녕하세요. Teus입니다. 이번 포스팅은 준비된 LLM모델을 가지고 서비스를 만들기 유용한 streamlit에 대해서 간단히 알아봅니다.1. StreamlitStreamlit • A faster way to build and share data apps Streamlit • A faster way to build and share data appsStreamlit is an open-source Python framework for data scientists and AI/ML engineers to deliver interactive data apps – in only a few lines of code.streamlit.iostreamlit은 짧은 코드로 web개발이 가능하게 해주는 Python의 ..

안녕하세요. Teus입니다. 이번 포스팅은 파인튜닝이 완료된 모델을 어떻게 사용할지에 대해서 생각해봅니다.0. 파인튜닝이 완료된 모델의 상태[ 'qwen-tooluse-finetuned', 'checkpoint-1', 'checkpoint-2', 'checkpoint-3', 'adapter_config.json', 'adapter_model.safetensors', 'added_tokens.json', 'chat_template.jinja', 'merges.txt', 'README.md', 'special_tokens_map.json', 'tokenizer_config.json', 'tokenizer.json', 'training..