DevNetSecOps Lifecycle

  • 홈

Generative AI 2

[Axolotl] Parameter-Efficient Fine-Tune (PEFT) 방법 정리

1. 기반 환경 구성CUDA Toolkit, CUDNN, WSL 설치 2. 개발 환경 구성(https://docs.axolotl.ai/docs/installation.html 참고)wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.shsource miniconda3/bin/activateconda create -n axo python=3.11 -yconda activate axopip install torch torchvision torchaudiopip install -U packaging setuptools wheel ninja pip install --n..

Generative AI 2025.05.11

[llama.cpp] 로컬에서 GGUF 형식 LLM 모델 실행하기

추론만 가능한 형태의 파일이다. 추론에 필요한 메타데이터와 가중치 데이터가 들어있다. 1. llama.cpp 깃허브 저장소에서 필요한 바이너리 내려받기https://github.com/ggml-org/llama.cpp/releases본인은 엔비디아 GPU를 사용중이라 "llama-b5345-bin-win-cuda12.4-x64.zip" 파일을 내려받았다. 2. GGUF 파일 구하기허깅페이스에서 원하는 GGUF 형식의 모델 파일을 구한다. Bllossom이라는 모델은 LLaMA에 한국어 코퍼스로 잔뜩 full fine tuning한 모델이라고 한다. 아래 링크는 LLaMA 3.2를 베이스로 하는 Bllossom 3B의 양자화 모델이다. 크기가 2GB 정도라서 거의 아무데서나 실행할 수 있을 것 같다.htt..

Generative AI 2025.05.11
이전
1
다음
더보기
프로필사진

DevNetSecOps Lifecycle

Be a tree.

  • 분류 전체보기
    • IT System Management
      • Network
      • System
      • Database
      • Security
    • Enterprise IT Solutions
      • Microsoft
      • VMware
      • Cisco Systems
      • Linux
      • Docker
      • Tenable
    • Software Engineering
      • DBMS
      • Java & JSP
      • Spring Boot
      • Django
      • React
      • Android
    • Computer Science
      • Algorithms
      • Database Systems
    • Generative AI
    • Certifications
    • Extracurricular
    • Tech Product Review
    • Daily Life
    • Recruitment
      • Job Analysis

최근댓글

최근글과 인기글

  • 최근글
  • 인기글

Tag

vmware, 방화벽, 소프트웨어공학, 자격증, TOPCIT, 데이터베이스, PowerShell, 컴퓨터과학, kotlin, Horizon, CISCO, vpn, VDI, IT직무, java, jsp, 네트워크, 인증서, 채용, 정보보안기사,

방문자수Total

  • Today :
  • Yesterday :

티스토리툴바