안녕하세요 temu south korea 풀스택 이라떼입니다.​Latte is Horse라떼의 친척 라마3 (Llama3)가 공개되고 다음날 바로 8B 모델에 대해 파인튜닝한 글을 올렸더니 생각보다 많은 분들이 읽고 반응을 해주셨습니다. :-)Llama3 오픈소스 공개와 오픈AI사 샘 알트만 반응 밈​안녕하세요 풀스택 이라떼입니다. Latte is Horse 생성형 AI 분야는 정말 하루가 다르게 기술이 발전하...이번에는 70B을 파인튜닝을 하는 것을 시도해볼까 했지만 한 번 시도했다가 H100 80GB에서도 8B에서 1시간 걸리던 파인튜닝이 약 52시간 소요된다고 나타나서 일단 껐습니다. 그러나 파인튜닝을 하지 않고도 프롬프트 튜닝을 통해서 먼저 문제를 해결하는 방법이 있습니다. ​우선 메타의 Llama3 70B Foundation Model을 4bit 양자화를 통해 모델을 로드한다고 하여도 약 42GB VRAM이 필요합니다. Nvidia의 L40 46GB 정도면 충분히 실행이 될 것입니다. ​​​모델과 토크나이저를 로드하면 아래처럼 가득 차게 됩니다.nvidia-smi​프롬프트 튜닝저는 이제 모델에게 역할을 부여하여 지시할 것입니다. You are the best native Korean temu south korea professional. You must primarily use the Korean language.To explain the answer, you must use the Korean language.If a user requests a summary of articles with '요약해주세요', you must provide a brief response in shortly sentences without using list expressions.You must describe the answer following this template:\n{answer}\n{explanation} The explanation must be in Korean.​InferenceLlama 70B 모델을 추론들을 수행한 결과들을 살펴보겠습니다. 안녕하세요? 이로운 라떼입니다. 오늘이 핵교가기 쉬워서 몰루겠습니다.​이 문장에서는 여러 가지 맞춤법 오류가 있었는데, 이를 수정하여 자연스러운 한국어 문장으로 바꾸었습니다. 안뇽하세요는 안녕하세요로, 이로운 라떼입니당는 이로운 라떼입니다로, 오뉠은은 오늘이로, 핵교가기 시루서는 핵교가기 쉬워서로, 몰루겠성용는 몰루겠습니다로 수정되었습니다.답 : 3) ACD, 4) A​설명 : 후보 키는 릴레이션의 모든 속성을 함수적으로 결정할 수 있는 속성들의 집합이다. 주어진 함수적 종속성에 따르면 A는 BC를, CD는 E를, B는 D를, E는 temu south korea A를 함수적으로 결정한다. 따라서 ACD는 모든 속성을 함수적으로 결정할 수 있고, A 또한 BC를 함수적으로 결정하므로 후보 키가 된다.​(참고로 전체 답은 1, 3, 4 입니다. Illinois Tech Relational Database Design 시험 문제)​​​건강하게 살려면 수면은 필수적입니다. 수면은 우리 몸의 회복과 성장, 면역력 강화에 도움이 됩니다. 또한 수면 부족은 암, 당뇨, 비만 등의 질병을 초래할 수 있습니다.​설명: 수면은 우리 몸의 건강을 유지하는 데 있어 가장 중요한 요소 중 하나입니다. 충분한 수면을 취하면 몸이 회복하고 성장할 수 있으며, 면역력이 강화됩니다. 그러나 수면 부족은 다양한 질병을 초래할 수 있습니다. 따라서 건강하게 살려면 충분한 수면을 취하는 것이 중요합니다.​​​허깅페이스에서 sh2orc/ko-llama-3-8b를 통해 모델과 토크나이저를 생성하는 코드는 다음과 같습니다.​```import torchfrom transformers import LLaMAForCausalLM, LLaMATokenizer​# 모델 및 토크나이저 초기화​# 입력 텍스트input_text =안녕하세요, 저는 허깅페이스 모델입니다.​# 입력 텍스트 토큰화input_ids =tokenizer.encode(input_text, temu south korea return_tensors=pt)​# 모델에 입력 전달output =model(input_ids)​# 출력 결과print(output)```​이 코드에서는 sh2orc/ko-llama-3-8b 모델과 토크나이저를 초기화하고, 입력 텍스트를 토큰화하여 모델에 전달합니다. 그리고 출력 결과를 출력합니다.​설명: 이 코드는 허깅페이스에서 sh2orc/ko-llama-3-8b 모델과 토크나이저를 사용하여 입력 텍스트를 처리하는 예시입니다. 모델과 토크나이저를 초기화하고, 입력 텍스트를 토큰화하여 모델에 전달합니다. 그리고 출력 결과를 출력합니다.​요약 추론구글 Gemma 7B와 메타 Llama3 8B에서 각각 네이버 뉴스 요약 데이터셋으로 파인튜닝을 했었던 데이터입니다. 프롬프트로만 라마3 Foundation Model에 해당 기사들을 요약한 결과를 확인해보겠습니다.​비씨카드가 'GOAT카드'(고트카드)를 흥행시키며 처음으로 신규 회원수 1위에 올랐다. 하위권 카드사가 잘 만든 상품 하나로 업계의 판도를 뒤흔든 사례다. 23일 여신금융협회에 따르면 지난달 9개 카드사(신한·삼성·KB국민·현대·롯데·비씨·우리·하나·NH농협) 중 개인 신용카드 신규 회원수 1위는 비씨카드가 차지했다. 비씨카드의 신규 회원수는 15만2[Llama3 70B 생성한 요약]비씨카드가 신규 회원수 1위에 올랐으며, 이는 'GOAT카드'의 흥행 때문이다. 비씨카드의 신규 회원수는 15만2000명으로, 2위 KB국민카드를 크게 temu south korea 앞섰다. 비씨카드의 성공은 자체 카드의 발급량이 늘었기 때문이며, 특히 '바로카드'의 신규 회원수가 11만명으로 12.2% 늘어났다.​[서울경제] 초등학교 5학년 A 양은 요즘 '다이소깡'에 푹 빠져 있다. ‘10대들의 백화점’으로 떠오른 다이소에서 산 저렴한 상품들을 언박싱(상자 개봉)하는 장면을 사진으로 찍어 자신의 블로그 등에 올리는 것이다. 수정 테이프부터 펜, 예쁜 학용품, 화장품에 이르기까지 다양한 상품을 사고 소셜네트워크서비스(SNS) 틱톡 등에 등장해 인기를 끌고 있는 아[Llama3 70B 생성한 요약]알파세대의 '다이소깡'열풍, 10대들의 매출 증가율 836%로 70대 다음으로 높아. 이 기사는 알파세대의 소비 트렌드를 분석하고 있다. 최근 10대들은 저렴한 상품을 많이 구입하는 것으로 나타났으며, 이 중 다이소 등 오프라인 소액 가맹점에서의 10대 고객 연평균 매출 성장률은 53.6%로 가장 높았다. 또한 온라인 소액 가맹점에서의 10대 고객 연평균 매출 성장률은 무려 836.6%에 달했다. 이러한 추세는 고물가와 고금리로 인한 가계경제 상황이 팍팍해지고 temu south korea 소비심리가 위축되는 가운데 나타난 것이다. ​결론 : 프롬프트 튜닝의 중요성LLMs 분야에서는 파인튜닝을 하기 전에 먼저 프롬프트 튜닝을 하라는 말이 있습니다. 메타의 Lllam3 토큰의 수가 구글의 토큰 수보다 많이 적습니다. 실제 토큰 파일이 용량도 약 60% 이상 차이가 나거든요. 단순히 Llama3 70B 모델을 받아서 수행할 때 질의를 하면 영어로 답이 나오게 됩니다. ​시스템에 별도로 지시를 하지 않고 단순히 user의 query만 던지고 위 기사를 요약해달라고 요청하면 아래처럼 정제되어있지 않은 채로 나타나게 됩니다. ​This article discusses the shopping habits of the Alpha Generation&quot(born between 2010 and 2025) in South Korea. According to data from BC Card, the average sales growth rate of offline small-amount stores (such as Daiso and Olive Young) among 10-year-olds was 53.6%, which is the highest among all age groups. temu south korea Online small-amount stores (such as Ali and Temu) saw an even more dramatic increase, with a sales growth rate of 836.6%. .....​저는 최대한 영어가 아닌 한글로 답하라고 지시를 하였고 매번 요청마다 함께 메시지가 전달되므로 모델은 In context learning으로 내부적으로 정리하여서 답을 하도록 합니다.​왜 70B 모델을 쓰느냐, 잘 파인튜닝된 SLM도 성능이 괜찮습니다. 특정 도메인에만 쓴 다면 여러 개의 SLMs를 묶어서 쓰는 것이 좋은 성능을 보인다는 것을 MoE(Mixture of Expert)로 Mixtral 8x7B에서도 증명이 되었습니다. 그러나 파라미터 크기가 깡패라는 말이 있습니다. Emergent Abilities 논문에서도 그 능력에 대해 잘 살명하고 있지요. 2B 모델을 아무리 파인튜닝 해서 올려서 서비스를 하더라도 70B 모델을 양자화한 것이 더 좋은 성능을 보입니다.​​레딧에 한 개발자가 올린 Llama 3 Instruct 70B, 8B 모델에 대한 양자화 모델들에 대한 비교 성능을 참고하시면 좋을 temu south korea 듯 합니다.​​​Explore this post and more from the LocalLLaMA community지금까지 추론한 결과들로만 봐도 진짜 GPT 3.5에 육박하는 성과를 보여주긴 합니다. 올해는 라마3 70B 모델도 회사에 내부적으로 도입하여 구축해볼까 합니다. ​LLMs 분야는 모두가 뛰어들어서 경쟁을 하지만 생각보다 아직까지는 활성화 된 영역이 아니다 보니 국내 기술자들 사이에서는 많은 정보들이 공유가 되지 않고 있습니다. 이상하게 국내 IT개발자들 사이에서는 정보가 폐쇄적입니다. 제가 15년 전 윈도우 커널 기반 디바이스 드라이버 공부할 때도 국내 개발자들에게 물어보면 대답도 안 해주고, 중국 해커가 공개한 Native API와 Windows Driver Kit 정보들을 보고 공부하며 중국 해커 선생님의 제자로 열심히 공부했었지요. (덕분에 USB 해킹은 진짜 자신 있었는데 지금은 다 까먹은 ㅎㅎㅎ)​​​요즘 약간 그런 느낌?​아무튼 이 기술로 제가 부귀영화를 누릴 것도 아니니 저는 웬만하면 제가 아는 것들을 공개하려고 합니다. 모두 즐거운 하루 temu south korea 되세요!​이라떼 드림.​​​