LLM은 어떻게 문장을 만들고, 어떻게 배우는가 — 『밑바닥부터 만들면서 배우는 LLM』 1장

·
Study/AI
LLM 학습 기록 · 1장『밑바닥부터 만들면서 배우는 LLM』 1장 — 대규모 언어 모델 이해하기책에서 구현할 GPT는 지금까지 주어진 텍스트를 바탕으로 다음 토큰의 확률을 계산하고, 선택한 토큰을 뒤에 추가하는 과정을 반복해 문장을 만듭니다. 토큰은 모델이 텍스트를 처리하는 단위입니다. 학습할 때는 실제 텍스트의 다음 토큰과 모델의 예측을 비교하면서 모델 내부의 수치를 조정합니다. 문장을 생성하는 과정과 문장을 생성할 수 있도록 학습하는 과정은 구분해서 이해해야 합니다.1장에서 먼저 정리할 질문은 “다음 토큰을 예측하는 모델이 어떻게 문장을 생성하며, 사전 훈련과 미세 튜닝은 어떤 관계인가?”입니다. 전체 흐름을 먼저 보고, 같은 배송 안내 문장을 예로 들어 학습과 추론을 연결하겠습니다.길벗의 공개 미..