메타에서 공개한 라마2(LLama2) 로컬 컴퓨터에서 테스트 후기
라마2(LLama2)란?
Llama2는 메타에서 출시한 놀라운 AI 모델로, 그 기능과 잠재적인 응용 프로그램으로 인해 주목을 받고 있습니다.
메타의 대규모 언어 모델의 2세대인 Llama2는 이전 모델 및 기타 오픈 소스 모델에 비해 눈에 띄는 성능 이점으로 인해 AI 커뮤니티에서 큰 파장을 일으키고 있습니다.
로컬에서 라마2 테스트를 위한 환경 구축
로컬 컴퓨터에서 라마2를 테스트하기 위하여 text-generation-webui를 사용하였습니다.
text-generation-webui 설치 방법
1.해당 링크를 클릭하여 본인에게 맞는 운영체제를 선택하여 압축을 해제합니다.
2.저는 윈도우 환경에서 테스트하기 위하여 oobabooga-windows.zip을 다운받았습니다.
3.해제된 파일 중에서 start_windows.bat 를 더블클릭하여 실행합니다.
-파일을 다운받는 상황이 진행되기 때문에 기다리면 됩니다.
4.파일 다운이 끝나면 아래와 GPU 선택화면이 나옵니다. 저는 RTX3080사용 중이라 A를 입력했습니다.
5.추가적으로 파일 다운과 설치가 진행되고 검은 창이 닫힌다면 다시 실행하면됩니다.
6.화면에 Running on local URL: http://127.0.0.1/7860 이라고 출력되면 성공한 것입니다.
7.이제 사용 중인 브라우저 주소창에 http://127.0.0.1:7860라고 입력하면 다음과 같은 화면이 출력됩니다.
라마2 모델 다운 받는 방법
1.메타 공식 사이트를 통해 신청 후 메일로 받는 방법. 주소 : https://ai.meta.com/llama/
-메인에서 Download the Model 클릭하고 기본 정보 입력하면 입력한 메일로 3시간 정도 후에 다운로드 주소를 받을 수 있습니다.
2.huggingface의 다음 주소를 통해 받는 방법. 주소 : https://huggingface.co/TheBloke
라마2 모델 설치 방법
본 포스팅에서는 huggingface을 통해 모델을 설치하는 방법으로 진행하려고 합니다.
1.위에서 접속한 http://127.0.0.1:7860 페이지에서 메뉴 중 Model을 클릭합니다.
2.다음과 같은 화면이 나오는데 Download custom model or LoRA라는 섹션에 huggingface 경로를 입력 후 Download 버튼을 클릭하면 됩니다.
3.다운로드가 끝나면 모델 페이지 좌측 상단에 모델 리스트에 추가됩니다.
4.이제 모델을 선택하고 기본적인 설정을 변경합니다. 개인마다 설정값이 다를 수 있기 때문에 본 포스팅에서 설정한 값은 참조만 하시면 되겠습니다.
-Model loader를 GPTQ-for-LLaMa로 변경
-wbits값은 4 선택
-groupsize값은 128 선택
-model_type은 llama선택
5.테스트를 chatgpt와 같이 채팅형으로 진행을 위해서 Session페이지에서 Mode를 chat으로 선택 후 Apply and restart클릭
6.이제 Text generation페이지에서 라마2를 테스트 할 수 있습니다.
라마2 13B 테스트 후기
몇 가지 질문을 해봤는데 생각보다 괜찮았습니다. 70B는 CHATGPT와 비슷한 성능을 낼 수 있다고 하는데 로컬에서 테스트 할 경우 사양이 부족하면 MODEL선택 조차 안되기 때문에 테스트를 해볼 수도 없습니다.
13B만하더라도 GPU 램이 10기가 정도는 있어야 돌아가는 것 같습니다.
다음은 몇가지 질문을 13B에서 테스트해본 결과값입니다.
prompt : 한국 우유 브랜드 종류
13B라 그런지 CHATGPT와 비교해서는 많이 아쉬운 결과값이긴합니다.
prompt : Do you know about Crime City 3 among Korean movies?
CHATGPT와 마찬가지로 최신 정보에 대해서는 알지 못했습니다.
여행에 관하여 채팅형식으로 대화를 이어나갔습니다.
CHATGPT와 같이 대화형으로도 답변을 이어가는데 문제는 없었습니다.
