심화세션 - NLP.week1

Sep 10, 2024 » AI

1주차

llama 2 70b 모델

메타가 공개해놔서 모델 쉽게 가져올 수 있음
두 개의 파일이 전부
- 매개변수 파일
  - 700억개의 파라미터
  - 총 140기가바이트
  - 이해하기 편하게 c언어로 표현
- 실행파일
파라미터를 얻기 위해 모델 트레이닝 필요
인터넷 압축 (일종의 zip 파일)
인터넷에서 데이터 엄청 긁어오고 gpu가 들어간 컴퓨터에 때려넣고 모델 트레이닝
메타가 베이스모델을 내놔서 파인튜닝만 하면 됨

LLM

손실압축
다음에 오는 단어를 예측하는 뉴럴 네트워크
순서
1. 프리트레이닝
  - 많은 양의 품질 낮은 인터넷 문서를 학습데이터로
  - 많은 gpu 클러스터 필요
  - 베이스 모델 생성
2. 파인튜닝
  - 사람이 직접 매뉴얼하게 레이블링해서 만든 문서를 훈련 데이터셋으로 (질높은 대화형 QnA)
  - 얼라인먼트
  - 도움이 되는 답변을 주는 양식으로 포매팅
  - 가이드 만들고 사람 고용 후 문서 만들게 시키고 고품질의 대화형 문서대로 학습
  - 어시스턴트 모델 생성
  - 평가하고 오류 수정, 파인튜닝 반복
3. 비교 라벨
  - 질문에 대한 답변이 얼마나 괜찮은지 비교
  - 사람피드백으로 강화하는 훈련 = RLHF
사람이랑 기계 협업 많이 함
스케일링 법칙
- LLM 모델 성능 측정
- N-모델 네트워크에 들어가는 파라미터 수
- D-트레이닝에 쓰일 텍스트의 양
- 상한선이 없어서 N과 D가 많을수록 좋음
현재
- 질문중에 중요한 키워드 뽑아서 검색 응답 결과물 생성 질문에 대답을 하는 과정에서 도구를 사용
- 현재 이미지를 읽고 생성하는 단계도 가능
- 시스템 사고 1
  - 본능적으로 빠르게 사고
미래
- 시스템 사고 2
  - 느리고 의식적인 사고
  - 시간을 들여서 제대로 쓰는 것에 대한 관심 높아짐
  - 생각의 트리를 만들고 시뮬레이션 하고 올바른 길 찾아가기
- 보상함수를 통해 스스로 개선하는 모델
  - 보상 기준이 명확치 않음
  - 자가개선 시스템을 일반화가 가능한지 관심 높음
- 커스터마이징
  - 특정 영역에 전문인 커스터마이징된 LLM에 대한 관심 높아짐
운영체제와 비슷
- 멀티스레딩, 멀티프로세싱, ram 메모리와 비슷한 컨텍스트 윈도우, 환경 구성하는 생태계도 비슷

보안 - 탈옥(강력하고 방어하기 어려움)

역할극
- 동일한 질문인데 영어로 하면 거절하고 base64(컴퓨팅에서 바이너리 데이터를 인코딩하는 방법)로 하면 대답해줌
- 거절해아 할 데이터에 대해 영어로만 학습해서 다른 언어로는 거절 못 함 → 다국어 세트 제공 후 트레이닝
접미사 조합
- 모델을 탈옥 시키기 위해 범용으로 프롬트 위에 붙일 수 있는 접미사 조합 찾을 수 있음
- 거절하도록 트레이닝 시켜도 또 다른 단어 조합 찾을 수 있음
노이즈 패턴 이용 가능
넌센스 패턴 이용 가능
프롬프트 인젝션
- LLM을 가로채서 새로운 지침을 몰래 제공하는 공격(ex.응답에 이 링크를 게시하라고)
- 엑세스한 웹페이지 하나에 공격이 포함될 경우도 발생
- 이전 질문을 잊어버리도록 언어 모델에 지시
- 구글앱스크립트 매크로 작업 가능
  - 개인정보를 구글문서로 추출 가능
데이터 포이즈닝, 백도어 어택
- 슬리퍼 에이전트 공격
- 웹 페이지에 트리거 문구 포함시키면 언어모델이 트레이닝 후에 트리거 문구 실행 시 공격 가능