LLM에서 글의 독창성(Creativity)과 다양성을 높이고 싶다면
LLM에서 글의 **독창성(Creativity)**과 다양성을 높이고 싶다면, 결론부터 말씀드리면 temperature를 먼저 높이고, top_p로 이를 보조하는 방식이 가장 효과적입니다.
두 매개변수는 비슷해 보이지만 작동하는 원리가 다르므로, 각각의 역할을 이해하면 훨씬 정교하게 결과물을 제어할 수 있습니다.
1. Temperature (온도) : 확률 분포의 ‘평탄화’
temperature는 다음 토큰(단어)을 선택할 때 모델이 가진 확률 분포 자체를 변형시킵니다.
-
원리: 값을 높이면(예: 1.0 이상) 확률이 낮은 단어와 높은 단어 사이의 격차가 줄어듭니다. 즉, 평소라면 선택하지 않았을 ‘의외의 단어’를 선택할 확률이 높아집니다.
-
독창성과의 관계: 독창성은 곧 **’예측 불가능성’**에서 옵니다. 온도를 높일수록 문장이 뻔하지 않고 창의적으로 변하지만, 너무 높이면 문맥이 깨지거나 헛소리(Hallucination)를 할 확률도 함께 커집니다.
2. Top-P (Nucleus Sampling) : 확률의 ‘커트라인’
top_p는 누적 확률이 값에 도달할 때까지의 상위 후보군만 남기고 나머지는 버리는 필터링 방식입니다.
-
원리: 예를 들어
top_p가 0.9라면, 발생 확률이 높은 순으로 단어들을 나열했을 때 그 확률의 합이 90%가 될 때까지만 후보로 둡니다. 나머지 10%의 ‘완전 뚱딴지같은 단어’는 아예 후보에서 제외합니다. -
독창성과의 관계: 독창성을 위해 온도를 높였을 때, 문장이 아예 붕괴되는 것을 막아주는 ‘안전장치’ 역할을 합니다.
3. 무엇을 조절해야 할까? (비교 가이드)
💡 실전 조절 팁
-
가장 먼저 해야 할 일:
temperature를 0.8 ~ 1.0 정도로 높여보세요. 이것만으로도 글의 분위기가 확연히 달라집니다. -
글이 너무 횡설수설한다면:
top_p를 0.85 ~ 0.9 정도로 약간 낮춰보세요. 창의성은 유지하면서 문맥에서 너무 벗어난 단어는 걸러낼 수 있습니다. -
주의사항: 보통 두 값을 모두 극단적으로 높이는 것은 권장하지 않습니다. 일반적으로 하나를 높였다면 다른 하나는 기본값(보통 1.0 또는 0.9) 근처에 두는 것이 안정적입니다.
Tip: OpenAI 등 주요 API 가이드에서는 두 값을 동시에 수정하기보다, 하나만 골라 조절하는 것을 권장하곤 합니다. 독창성이 목적이라면
temperature를 먼저 건드려보시는 것이 정석입니다.
혹시 지금 작성하려는 글의 성격(소설, 광고 카피, 블로그 포스팅 등)을 알려주시면, 그에 딱 맞는 파라미터 조합을 추천해 드릴까요?