본문 바로가기

전체 글11

DL(ML 포함) 강의 맛집 리스트 먼저 재밌는거인류가 이해한 AI는 여기까지 입니다 | 알렉스넷https://www.youtube.com/watch?v=33swNPZAJ1o&list=PLjG9hjVkYUb-OdDj7qu99MK0vJVfHX3Wb&index=16&t=319s&pp=iAQBsAgC 네이버 D2 AI: ML Theory https://www.youtube.com/watch?v=soZXAH3leeQ&list=PLsFtzQAC8dDetav3jSCKB_MXwvUn7yfJS MIT(MIT 6.7960 Deep Learning, Fall 2024)https://youtube.com/playlist?list=PLUl4u3cNGP63URZnh5iqBzDTDYPUTQT-8&si=z0F_fpxxxAwjqe_F이준석(국회의원 아님)머.. 2026. 2. 12.
Text-to-LoRA: Instant Transformer Adaption (ICML’ 25) Text-to-LoRA: Instant Transformer Adaption (ICML’ 25)Keywords: LoRA, Hypernetwork, LLMs2026.01.12Notion Page(서식 안깨짐, 이걸로 보세요):Text-to-LoRA: Instant Transformer Adaption (ICML’ 25)BackgroundLoRA: Low-Rank Adaptation거대 언어 모델(LLM)의 효율적인 미세 조정을 위한 파라미터 효율적 학습(PEFT) 기법LoRA(Low-Rank Adaptation)는 사전 학습된 모델의 전체 매개변수를 업데이트하는 기존의 미세 조정(Full Fine-tuning) 방식 대신, 저순위(Low-rank) 가중치 업데이트 행렬을 학습하는 대표적인 매개변수 효율적.. 2026. 1. 12.
Taxonomy of Continual Learning Papers name:Yang, Q., Wang, L., Wicker, J., & Dobbie, G. (2025). Continual learning: A systematic literature review. Neural Networks, 195, 108226. https://doi.org/10.1016/j.neunet.2025.108226CL을 공부하면서 처음 느꼈던 생각은 뭐가 뭔지 모르겠다는 것이었다.. 박사 과정 연구를 하다 보면 이런 복잡한 학술적 분류를 직관적인 Mental Model로 변환해서 머릿속에 집어넣어두는게 중요하다고 생각하기에, 나름대로 Survey 논문을 하나 정하여 Continual Learning의 Taxonomy를 정리해보려 한다. 논문의 제목은 “Continual lear.. 2026. 1. 8.
로짓(logit), 시그모이드(sigmoid)에 대하여 Probability$Class_1$과 $Class_2$를 Binary classification 모델이 있다고 가정하자.만약 하나의 데이터 포인트 $x$가 주어졌을 때, $x$가 $Class_1$으로 분류될 확률을 $y$라고 보면, 같은 데이터가 $Class_2$로 분류될 확률은 $1-y$다.$$P(Class_1 |x) = y$$$$P(Class_2 |x) = 1-y$$다시 말해 $x$가 주어졌을 때, 결과값 $y$가 0.5보다 크면 $x$는 $Class_1$이고, 0.5보다 작으면 $x$는 $Class_2$일 것이라고 볼 수 있다. 이를 간략하게 표현한 것이 Odds 라는 용어.OddsOdds(승산)는 확률의 다른 표현법으로 실패 비율 대비 성공 비율을 이야기 함.다시 말해, 성공 확률이 실패 확률에.. 2026. 1. 6.

티스토리툴바