포스팅을 읽기 전에 시간이 바쁜 이웃님들께서는 빠르게 스크롤을 내리면서 파란색으로 표시된 내용만 읽으셔도 전체적인 흐름을 파악하실 수 있으니 참고해 주시면 좋을 것 같아요.
2023년을 기점으로 CHATGPT에 대한 열풍은 우리 삶에서 뗄레야 뗄 수 없는 관계가 된 것 같습니다. 저도 일상 업무를 하면서 CHATGPT의 도움을 많이 받고 있는데요, 그 과정에서 CHATGPT에게 요청하는 정보의 양이 많아지면서 CHATGPT 답변 끊김 현상과 멈춤 현상이 많이 발생 되는것을 느꼈습니다.
그래서 오늘은 CHATGPT를 사용하면서 이 문제에 직면하신 이웃님들을 위해 확실한 해결책을 공유 드리려고 합니다.
답변이 끊기는 이유를 설명드리기 위해서는 토큰이라는 개념을 간단하게 설명 드려야 할 것 같아요. 토큰이란 텍스트와 공백을 포함할 수 있는 텍스트의 기본 구성 단위로 생각하시면 좋은데 간단한 예를 들어 셜명해 볼께요. ‘‘Where I am is Seoul. The weather on March 27, 2024 is clear!’ 이라는 문장을 작성했을 때 문장을 구성하는 단어, 쉼표, 띄어쓰기와 같은 모든 정보가 토큰으로 사용 되고 사용된 결과는 아래와 같이 산출 할 수 있어요.
CHATGPT 3.5의 경우 입력과 출력을 합쳐서 4,096개의 토큰을 처리 할 수 있으며, CHATGPT 4.0을 사용하시는 유료 사용자의 경우 최대 8,192개의 토큰을 처리할 수 있습니다. 답변에 따른 사용된 토큰 개수가 궁금하신 이웃님들께서는 제가 공유 드린 링크를 통해 예시 데이터를 넣어서 확인해 보시면 더욱 정확한 값을 확인 하실 수 있겠습니다.
여기서 주목할만한 부분은 같은 문장이라도 영어와 한글의 토큰 사용 갯수는 차이가 나는것을 알 수 있었습니다. 한글로 입력하고 출력 받을 경우 사용되는 문자 수는 더 적지만 사용되는 토큰 수는 영어와 비교 했을 때 거의 2배 정도 사용하는것을 알 수 있었습니다. 즉, 긴 답변을 원하실경우 한글보다 영어로 답변을 받고 영어로 제공 받은 답변을 번역기를 통해 한글로 번역해서 제공 받으면 CHATGPT 답변 끊김 현상을 조금 더 완화 시킬수 있을 것 같아요.
CHATGPT를 통해 답변을 제공 받는 도중 갑자기 끊길 경우 당황하지 말고 ‘계속’, ‘continue’, ‘go ahead’와 같이 지속의 의미를 담은 텍스트를 입력해 주시면 답변을 이어서 제공 받을 수 있습니다. 예를 들어 제가 chatgpt에게 구글 챗 서비스를 문의하고 아래와 같은 답변을 받았을 때, 갑자기 답변이끊어질 경우 continue라는 단어를 입력 하면 이전의 내용에 이어서 나머지 답변 내용을 정상적으로 출력 하는 것을 알 수 있었습니다.
추가적으로 2024년 3월 27일 기준 1주일 전까지는 화면 우측 하단에 답변을 이어서 받을 수 있는 버튼이 노출되었지만 현재 기준 해당 버튼은 사라진 것 같으니 당황하지 마시고 프롬프트 영역에 텍스트를 입력하여 답변을 이어서 받는 것을 권유 드리겠습니다.
사실 1번 조치 방법으로 99%의 이슈는 해결할 수 있으나 최근 아래의 예시와 같은 오류가 발견 되었습니다. 저는 chatgpt의 답변을 이어서 제공 받기 위해 continue를 입력 했지만 기존 작성된 내용에 이어서 제공하는것이 아닌 처음부터 내용을 다시 제공 받았는데, chatgpt 커뮤니티에서 확인 해보니 해당 이슈는 가끔씩 발생 되는 이슈임을 알 수 있었습니다. 이슈를 해결 하기 위해 커뮤니티에서 추천한 방법은 답변 받은 내용에 이어서 작성해 달라는 명확한 디렉션을 추가 시 해결 할 수 있다는 것을 알 수 있었습니다.
예를 들어 ‘Please continue writing from what was previously written.’, ‘continue from previous response’, ‘이전 내용에서 이어서 작성해줘’ 등과 같은 내용을 chatgpt에게 지시하면 chatgpt가 이전의 대화 흐름을 이해하고 정확히 이어서 답변을 제공하는 것을 확인 할 수 있었습니다. 이 방식을 사용하면 마지막 남은 1%의 이슈까지 해결 할 수 있으니 이 방법 까지 알고 계시면 좋을 것 같습니다.
CHATGPT 입력 프롬프트에 따라 출력되는 결과가 정해지는 만큼 최초 프롬프트를 입력 시 지시사항을 구체적으로 작성하면 CHATGPT 답변 끊김 없이 좋은 답변을 얻을 수 있습니다. 관련해서 제가 작성한 프롬프트보다 훨씬 좋은 프롬프트를 FANDOM FUNNEL이라는 사이트에서 공유하고 있기에, 해당 포스팅을 링크로 걸고 조금더 설명 드리겠습니다.
예를 들어 제가 블로그 포스팅을 초안을 CHATGPT를 통해 제공 받기를 원할 경우 블로그의 특성상 최소 2,000자 이상의 포스팅이 작성하게 되는데, 이때 프롬프트를 통해 정확한 지시사항을 입력하면 답변 끊김 이슈 없이 내용을 제공 받을 수 있습니다. FANDOM FUNNEL에서 제공하는 예시 중 블로거 모드와 블로그 긴글 모드에 사용된 지시사항을 보시면 빠른 이해가 가능 할 것 같습니다.
그리고 서두에 설명한 대로 chatgpt에서 사용한 토큰은 입력과 출력의 결과를 합쳐서 사용하게 되는데 프롬프트 지시사항을 먼저 입력한 뒤 키워드를 입력하여 chatgpt로 부터 답변을 제공 받길 원할 경우 하나의 토큰이 아닌 각각의 토큰으로 나눠서 계산 되기에 더욱 안정적으로 끊김 없는 고품질의 답변을 받으 실 수 있으니, 이 부분도 참고하시면 좋을 것 같습니다.
이제 CHATGPT를 어떻게 사용하느냐에 따라 업무의 효율이 결정되는 시대에 진입한 것 같습니다. 같은 돈을 지불하더라도 사용되는 CHATGPT의 결과 값이 큰차이가 있듯이 앞으로 더욱 효율적인 CHATGPT 사용을 위해 다양한 포스팅을 작성해 보려고 합니다.
공부를 하면서 좋은 정보를 발견하게 된다면 빠르게 정리하여 포스팅으로 작성할 것을 약속드리며, 오늘도 긴 글 읽어 주셔서 정말 감사드립니다.
잠깐만요! 지난 시간에 작성한 패스트코멧 워드프레스 설치 및 도메인 연결 2탄 포스팅이 궁금하시다면?
View Comments