ChatGPT를 정의해 봐 (생성형 AI 전반적인 설명)

ChatGPT는 2022년 11월 30일 나왔다. 

 

Chat 대화형

Generative 생성형

Pre-trained 사전학습된 (5조개의 문서를 학습함, 파운데이션 모델)

Transformer 트랜스포머 모델을 씀 

 

ChatGPT는 트랜스포머 모델을 쓴 대화형 생성형 인공지능, 거대 언어 모델로, 거대한 언어 데이터를 사전학습한 파운데이션 모델이라는 뜻 

 

파운데이션 모델이란, 모든 일을 다 잘 알아서 모든 게 기반이 될 수 있는 AI다라고 해서, 이런 종류의 AI를 '파운데이션 모델'이라고 부른다. 

 

트랜스포머 모델이란, 5조 개의 문서를 읽고 그 안에 있는 모든 잠재되어 있는 패턴들을 찾아 낸다. 

그리고 단어들 간의 관계를 맵핑한다. 지도를 만든다. 

거리와 방향을 같이 갖고 있는 2차원 데이터인 벡터 데이터를 만든다. 

여기서 벡터 DB는 수백 차원, 수천 차원에 걸쳐서 값을 갖는다. 

단어들 간의 관계를 수백 차원에 걸쳐서 맵핑을 한다. 

이 단어와 이 단어가 어떤 관계다, 어떤 맥락에서 관계를 갖는다, 각각의 맥락에서 이 단어는 이 단어와 어느 정도 관계가 있고 저런 맥락에서는 저 단어와 어느 정도 관계가 있고 ... 이런걸 다 지도로 만든다. 

그렇게 해서 어떤 질문이 주어졌을 떄 가장 그럴법한, 가장 확률이 높은 단어를 예측을 해서 만들어내는 게 트랜스포머라는 모델이다. 

 

ChatGPT는 트랜스포머라는 모델을 쓴 대화형 거대 언어 모델이다. 

 

ChatGPT가 이전의 AI와 다른 점은, 가장 크게 다른 것은 '규모'이다. 

지금의 거대 언어 모델들은 예외없이 규모의 법칙을 따른다. 

'로우 업 스케일'이라고 하는데, 컴퓨팅 파워를 많이 집어넣을수록 학습 데이터를 많이 집어넣을수록 매개변수를 크게 잡을수록 일관되게 성능이 좋아진다.

 

메타(구. 페이스북)에서 만든 '라마 3.1'이라는 거대 언어 모델은 ChatGPT보다 50배 더 많은 학습 데이터를 사용했고, 아직 끝을 보지 못했다고 말한다. 

 

1. 압도적인 규모, 5조개의 문서 학습도 처음이고 

2. A100이라는 비싼 GPU를 만 대를 쓴 것도 처음이고 

3. 그걸 100일 동안 돌린 것도 처음이고 

 

그러다 갑자기 좋아지는 것을 발견, 여기서 느닷없이 나타나는 능력이라는 걸 발견한다. 

학습 연산량이 10의 22승을 넘어가는 순간 전에 보이지 않았던 능력들을 보이기 시작한다. 

느닷없이 갑자기 그래프가 툭 튄다, 왜 그런지는 모른다. 

그래서 이걸 느닷없이 나타나는 능력, Emergent Ability라고 부른다. 

 

"ChatGPT가 그 전에 AI들과 뭐가 달라요?"라고 물으면, 규모의 법칙이 있다는 걸 깨닫고 알게 된 다음에 본격적으로 어마어마한 규모로 학습을 시켰다는 것이 이전의 AI와 결정적으로 다르다. 

 

AI의 세 가지 특징

1. 설명할 수 없다 : 왜 그렇게 잘 작동하는지 모른다 

2. 규모의 법칙에 따라 느닷없이 나타나는 능력을 보여준다 : Emergency, 창발성이라고도 번역함 

3. 규모의 법칙을 따른다 

 

현대 AI를 발명이라고 부르기보다 '발견'이라고 부르는 게 맞다라고 이야기하는 과학자도 있다. 이유를 모르기 때문이다. 

 

초기 ChatGPT는 미국 변호사 시험을 하위 10%로 통과함 

그 다음에 나온 GPT-4는 상위 10%로 통과함 

GPT-4o(omni)는 Voice-To-Voice로 멀티모달, 사람의 음성을 바로 음성으로 처리함

o1 추론을 잘하기 시작함, 범용은 아니고 수학, 의학처럼 깊이 있는 추론이 필요한 분야를 굉장히 잘함, 의사 시험을 최상위 1%로 통과할 수 있을 정도로 추론이 뛰어남 

 

ChatGPT의 한계 

5조개의 문서를 들여다보고 그 안에 들어있는 모든 잠재된 패턴을 다 찾고 단어들간의 관계를 다 맵핑하고 그렇게 해서 확률적으로 가장 그럴법한 단어들을 생성해서 그 단어들을 이어나가서 문장을 만든다. 확률적으로 가장 그럴법한 말을 표현하도록 학습한다.

학습 과정에서 한 번도 True/False를 표하도록 배운 적이 없다는 뜻이다. 

그러니 결과가 참인 말만 하는 게 아니다. 

확률적으로 가장 그럴법한 말을 하기 때문에, 거짓말을 할 때도 굉장히 그럴 법하게 한다.

이런 의도하지 않은 거짓말을 Hllucination(환각, 멀쩡한 거짓말, 태연한 거짓말)이라고 한다. 

잠재된 패턴이 있을 때는 굉장히 훌륭히 작동을 하지만, 명백한 사실이 있을때 혹은 1+1=2처럼 하나의 답이 있을 때는 일을 잘하지 못한다. 

 

'안드레 카파시' - "할루시네이션은 버그가 아니다. 할루시네이션은 피쳐(Feature, 특징)다"

 

창의적인 답을 하기 위해서는 상상을 해야 한다.

상상없이 창의적인 답이 나올 수 없다. 

 

'안드레 카파시' - "AI에서 상상력을 다 빼면 검색엔진이 돌 것이다", "검색엔진에 상상력을 보태면 AI가 될 것이다" 

 

그걸 Temperature(온도)라고 부른다. 

그럴법한 단어들을 나열할 때 가장 확률이 높은 단어들부터 순서를 매길 수 있고 항상 최상위에 있는 단어만 답으로 토해내면 답이 항상 똑같다. 근데 이 템퍼리처를 조절해서 그 위 4, 5개 단어를 랜덤으로 나타나게 해주면 앞에 한 단어가 바뀌면 그 뒤에 어이진 단어들이 다 바뀐다. 이것을 그 온도를 설정한다고 하는데 보통 대략  85도 정도 설정할 때 좋은 답(창의적으로 훌륭한 답)이 나온다는 얘기가 있다. 

 

ChatGPT 활용법

GPT-4o / Claude 3.5 / Gemin pro / HyperCLOVA X 같은 것을 어떻게 하면 가장 잘 사용할 수 있냐 

프롬프트를 잘 써야 한다고 하고 (프롬프트 == 질문) 이미 많은 프롬프트들이 나와 있는데, 가장 좋은 프롬프트는 사실 토론을 이어나가는 것이다. 

 

하나의 질문으로 답을 받기 보다는 세상의 모든 책을 다 읽은 슈퍼 컨설턴트라고 생각하고 이 컨설턴트랑 토론을 할 때 최고의 효과를 거둘 수 있다. 

검색엔진이나 도구라고 생각하지 말고 아주 똑똑한 파트너라고 생각하고 토론하고 이야기 하면 그때 능력의 120%를 끌어낼 수 있다. 

"도구가 아니라 파트너다"

"토론을 이어나가는 방법이 최고의 활용법이다"

 

생성형 AI기술은 어떻게 발전하고 있나

1. 멀티모달 : 여러 개의 모드를 갖고 있다는 뜻  

인공지능은 기계로 인간의 지능을 구현해 보자라는 시도라면 베이스는 멀티모달이 되어야 한다.

2. 작고 빨라지고 싸진다 

현재 ChatGPT는 고비용이고 월 22달러를 받아도 적자다. 또한 사용자 개개인의 프라이버시를 생각하면 클라우드가 아닌 개인 PC나 모바일 단말에서 사용할 수 있어야 하기 때문

3. AGI(Artificial General Intelligence)를 향해서 간다 (인공일반지능)

지능의 모든 영역에서 인간의 지능을 뛰어넘는 인공지능을 AGI라고 부른다. 

페이스북, 구글, OpenAI 등 모두 AGI를 개발하는 게 목표이다. 

 

이번에 노벨 화학상 받은 데비스 허사비스 같은 경우는 "5년에서 10년 안에 AGI가 나올 것 같습니다" 

OpenAI의 샘 올트먼 같은 경우에는 "2XXX일 안에 AGI가 될 것 같다" 

굉장히 많은 AI 과학자들이 AGI가 올 거라고 예측하기 시작했다. 

ChatGPT가 나오기 전에는 못만들것이다로 했다가 불과 2년 사이에 어마어마한 변화가 나타났다. 

 

생성형 AI가 산업의 트렌드를 어떻게 바꾸고 있는가

생성형 A는 잠재된 패턴을 찾아내는 일을 하고 있다. 

잠재된 패턴이 있는 모든 분야에서 산업의 지형을 영원히 바꿔놓을 것이다. 

 

광주에 '인공지능 융합산업 집적단지'라는 곳이 있다. 

대량의 GPU를 갖다 놓고 스타트업이나 연구기관에서 AI를 연구하고 싶어할 때 그 GPU를 무료로 빌려주는 곳이다. (국가기관) 

 

딥페이크가 이슈인데 어떻게 활용될 수 있나

불행하게도 딥페이크는 막을수가 없다. 

이미지를 만들어내는 AI 중에 간(GAN)이라는 게 있다. GAN은 적대적 생산 모델이다. GAN은, AI를 두 개의 에이전트로 나누고 하나는 그림을 만들고 또 하나는 AI가 그린 그림인지 아닌지를 판단하는데, 생성하는 AI가 판별하는 AI를 이길 때까지 이 작업을 되풀이한다. AI가 생성한 그림은 AI가 판별하지 못한 결과물이다. 

 

UN산하 AI안전위원회에서 AI 안전에 관한 종합 리포트를 냈다. 

"현재 AI가 던지는 중요한 위험들은 하나의 조처로 막을 수 있는 것들은 거의 없다"

"여러 개의 조처들을 중첩해서 대처할 수밖에 없다"

위험 목록을 만들고 그 위험에 대처할 수 있는 조처들을 엮어서 막는다. 

 

딥페이크도 마찬가지로 하나의 기술로 막을 수 없다. 

다시 말하면 AI가 생성한 그림은 AI가 식별하지 못하는 형태로 그림을 만들었기 때문이다. 

사회적인, 기술적인, 법률적인 조처들을 중첨해야 한다. 

 

기존 사용하던 검색 엔진의 검색과 인공지능의 검색의 차이점

검색 엔진은 검색해서 담고 있는 정보를 나열해서 보여주는 것이고 인공지능은 자기가 읽은 모든 문서에서 잠재된 패턴을 학습한 다음에 가장 그럴법한 결과를 만들어내서 내놓는 것, '생성'으로, 이 둘은 아예 다른 것이다. 

 

Perplexity 서비스는 AI 기반의 검색 서비스이다. 

내가 어떤 질문을 하면 그 질문에 대한 답을 만들어준다. 

그 답안에 관련된 정보를 담은 링크가 다 들어있다. 

생성형 인공지능과 검색의 장점을 모았다. 

Hallucination으로 부터 자유롭다. 

 

현재로서는 생성형 AI가 검색 서비스를 대체할 수 없다. 

GPU가 그 정도로 많지 않고, GPU가 있어도 그 검색양을 커버하려면 전기료도 감당이 안된다. 

검색엔진의 시대가 끝나기는 어렵다. 

검색과 생성은 용도가 다르다. 

명백한 답이 있거나 하나의 답이 있다면 검색을 하는게 맞다 (현재는) 

그렇지만 Perplecity, Claude, ChatGPT가 일정부분 검색을 대체할 수는 있다. 

"구글의 독점은 끝났다"는 일부 맞지만 검색의 시대가 끝났다고 보긴 어렵다. 

AI가 충분히 작아지고 빨라지고 가볍고 저렴해져서 비용 효율을 얘기할 수준까지 간다면, 검색이 상당부분 대체될 것이다. 

실제로 생성형 AI들이 검색을 같이 쓰고 있다, 이것을 RAC (검색 증강 생성)이라고 한다. 

Retrieval Augmented Generation, 내가 생성한 결과를 내가 검색한 것과 비교해 본다거나 어떤 충분히 주어진 학습 데이터가 있을 때 그 안에서만 검색을 해서 그 결과를 바탕으로만 생성을 한다거나 이런 시으로 하는 걸 RAG라고 부른다. (하이브리드) 

 

AGI가 된다는 건, 인간이 일에서 해방된다는 의미. 

일을 뺏긴다는 의미도 되고, 복지 혜택을 누리면서 즐겁게 살 수도 있다는 의미이기도 함 

 

 

대한민국의 AI 수준

현재 세계 7위, 굉장히 높은 것 같지만 미국을 100이라고 놓고 보면, 2등 중국 65점, 3~7등까지가 비슷하고 38~39점이다. 

우리나라 과학자들 성실하고 훌륭하다. 

문제는 네이버가 H100은 한 대도 없고, A100이 2천 몇 백 대 있다. 

LG그룹도 AI연구소가 2천 몇 대 갖고 있고, 그룹 전체로 3천 몇 백 대 갖고 있다. 

오픈AI가 10 몇 만 대를 갖고 있다. 

페이스북이 H100만 35만 장을 연말까지 사겠다고 함

테슬라가 H100 10만 장 연결해서 세계 최고의 슈퍼 컴퓨터를 만들었다고 트위터(현 X)로 자랑함

한국은 연구를 하고 싶어도 할 수 있는 환경이 마련되지 않았다. 

공부를 너무 잘하는데 연필과 책이 없는 상황이다. 

게다가 현 정부가 R&D 예산을 13% 깎아버려서 AI 관련 예산이 85% 이상 날라갔다 (삭감됨) 

대한민국은 전 세계 AI 인재 3대 유출국이다. 실은 2위라고 봐야함. 2등이 이스라엘임. 이스라엘은 인재가 미국으로 가는 게 인재 유출이 아니라 미국을 점령하러 가는 것임. 

 

한국의 웃긴 실제 예, 슈퍼 컴퓨터가 모자라서 슈퍼 컴퓨터 예산을 더 줘야 한다고 했는데 

이 사람들이 과학을 정말 모름, 슈퍼 컴퓨터 예산은 깎으면 안됨, 깎으면 슈퍼란 말을 못 붙임, 그냥 컴퓨터임, 슈퍼 컴퓨터로만 돌릴 수 있는 해결할 수 있는 일들이 있는데, 그게 필요해서 예산을 달라고 했는데, 그 예산을 10~20% 깎으면 더 이상 슈퍼 컴퓨터가 아님, 그런 일들이 실제로 일어났다. 

게다가 전기료를 엄청 먹음, 구축 예산을 주면서 운영 예산을 깎으면 사용을 못하는 일이 일어나는데, 실제로 일어났다. 

 

미국이 GPU팜을 만드는데 그 목표가

1단계 목표 : '5만 명의 연구자가 각각 1인당 천 시간씩 GPU를 마음껏 돌릴 수 있게 해주거나 혹은 2만 5천 명의 연구자가 천 시간을 마음대로 쓰고 그 대신에 40개 팀이 ChatGPT 사이즈의 대용량 AI를 연구할 수 있게 해주겠다'

2단계 목표 : '15만 명의 연구자가 천 시간을 자유롭게 쓰거나 7만 5천 명의 연구자가 천 시간을 마음대로 쓰고 연간 최대 120개 팀이 ChatGPT 규모의 AI를 개발할 수 있게 해주겠다' 

 

그동안 대한민국은 힘들어도, 어려워도, IMF가 와도 R&D 예산은 감소시킨적인 단 한번도 없다. 

밥은 굶어도 애는 공부시키는 나라, IMF 경제 위기에도 대한민국의 R&D 예산은 12% 이상 증가했다. 

그런데 평상시에 13% 삭감했다. 

연구 과제는 보통 3년 5년 과제인데 중간에 삭감해 버리면, 연구비가 생계인 연구자들은 다른 지원을 찾아 떠난다. 

그렇게 중국과 미국으로 엄청나게 많이 떠났다.

그럼 예산을 돌리면 다시 돌아오냐, 못 온다. 거기서 시작한 3년 5년 연구를 끝날 때까지는 못 온다. 

 

더 많은 이야기, 질문과 답변이 있지만, 내용 확인은 아래 출처 유튜브 영상을 참고한다. 

또는 박태웅의 AI강의 2025 서적을 참고한다.

 

출처 : https://www.youtube.com/watch?v=-YlqL6YwwMs