DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning Intro MoE 아키텍처 기반의 Deepseek-R1-zero 모델은 Supervised Fine-Tuning 없이 Reinforcement Learning만으로 Deepseek-R1-zero 모델을...

Transformer NLP 4주차 내용과 추가적인 Attention에 대한 논문(Attention is all you need)와 기존에 알고 있었던 Transformer 모델의 정리입니다. 코드는 따로 정리하지 않고 개념적인 내용만을 포함하고 있습니다. Deep Learning을 배웠다면, 충분히 이해할 수 있는 내용과 챕터로 구성했습니다. I...

Let’s build GPT: from scratch, in code, spelled out. URL https://www.youtube.com/watch?v=kCc8FmEb1nY https://github.com/karpathy/nanoGPT intro: ChatGPT , Transformers , nanoGPT,Shakespeare Chat...

But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning URL https://www.youtube.com/watch?v=wjZofJX0v4M https://www.youtube.com/watch?v=eMlx5fFNoYc Predict, sample , repeat ...

심화 RNN / LSTM Model RNN (Recurrent Neural Network) 등장배경 RNN은 피드포워드 신경망 (FeedForward Neural Network,FNN)에서 시계열 데이터의 성질(패턴,순서)을 충분히 학습할 수 없기 때문에 등장하게 되었습니다. FNN 피드 포워드 신경망은 우리가 알고 있는 가장 기본적인 형태의...

The spelled-out intro to language modeling: building makemore Link youtube: https://www.youtube.com/watch?v=PaCmpygFfXo ` github: https://github.com/karpathy/makemore https://github.co...

Hugging face Tutorial NLP 정리 https://huggingface.co/learn/nlp-course/ko/chapter1/1 (tutorial URL) Chapter1. Transformer Models Natural Language Processing NLP란? NLP(Natural Language Processing...

LLM (Large Langudage Model) Youtube Link https://www.youtube.com/watch?v=zjkBMFhNj_g (Intro to LLM) LLM Inference 대형 언어 모델은 기본적으로 두 개의 파일로 구성됩니다. 하나는 매개변수 파일이고, 다른 하나는 이 매개변수를 실행하는 코드 파일입니다. ...

Chapter6 비지도 학습 비지도 학습은 타깃이 없을 때 사용하는 머신러닝 알고리즘이다. 군집 알고리즘 # 데이터 로드 import numpy as np import matplotlib.pyplot as plt fruits = np.load('fruits_300.npy) print(fruits.shape) >>&gt...

Chapter5. 트리 알고리즘 5.1 결정 트리 결정 트리는 예/아니오에 대한 질문을 이어나가면서 정답을 찾아 학습하는 알고리즘임. 비교적 예측 과정을 이해하기 쉽고 성능이 뛰어남. # 데이터 준비 import pandas as pd wine = pd.read_csv('https://bit.ly/wine_csv_data') data = wine[[...