toheavener 님의 블로그

최근 TurboQuant 양자화에 대한 기사가 종종 올라옵니다. 메모리 반감 이슈 때문에 많은 관심을 쏟고 있는데요.​저는 보면서, 이게 그렇게 메모리 자체에 대한 사용을 줄일 수 있는가에 집중을 해서 논문을 다시 한번 읽어 보았습니다. ​일단 TurboQuant 양자화의 경우는 현재, 모델 Quantization에는 적용되어 테스트 하지 않은 것으로 보입니다. ​어 이거 기존 AGQ, GPTQ 같은 거 아닌가 생각하신 분들에게는 좀 생소할 수 있는데, 논문에서 나온 부분은 KV Cache에 대한 부분과 Embedding Vector에 대한 부분만을 중점으로 다루고 있습니다. ​모델 Qunatization은 예전부터 많이 수행해 오고 있으며, 실제로 사내 모델을 활용할 때에는 적용을 이미 하고 있습니다...

거대한 언어 모델이 정확히 무엇을 알고 있는지 파악하는 것은 늘 어려운 과제였습니다.​학습 데이터가 투명하게 공개되지 않은 블랙박스 상태이기 때문입니다. 최근 이 블랙박스 내부를 들여다보려는 흥미로운 연구 결과들을 접하게 되었습니다.​이번 글에서는 Castorini 연구팀의 NanoKnow 논문을 중심으로 그 핵심 발견을 살펴보고, 이와 맥이 닿는 최근 모델 추론 및 지속적 학습에 관한 연구 동향을 함께 엮어 정리해 보았습니다.​​NanoKnow — 모델은 무엇을, 왜 아는가 ​언어 모델의 파라미터 지식이 어디서 왔는지 추적하는 것은 쉽지 않습니다. 대부분의 최첨단 모델들이 학습 코퍼스를 비공개로 유지하기 때문입니다.​이 문제를 해결하기 위해 연구진은 Andrej Karpathy가 개발한 nanochat..

최근 구글(Google)이 새로운 AI 모델인 'Gemini 3.1 Pro (Thinking High)'의 벤치마크 결과를 공개했습니다. 이번에 공개된 성적표는 그야말로 놀라운 수준인데요. 전작인 Gemini 3 Pro는 물론이고, 강력한 경쟁 모델인 Anthropic의 Opus 4.6, Sonnet 4.6, 그리고 OpenAI의 GPT-5.2, GPT-5.3-Codex와 비교했을 때 다수의 지표에서 우위를 점하며 차세대 AI 모델의 새로운 기준을 제시하고 있습니다.​이번 벤치마크 표를 통해 한번 최근 AI 모델 성능향상을 감상해 보시죠.​​차원이 다른 추론(Reasoning)​먼저 벤치마크 매트릭스를 보여드리겠습니다. 각각의 벤치마크는 특정한 특성을 보여주고 있습니다. 가장 눈에 띄는 부분은 고도의 ..

모델의 크기를 무작정 키우는 것으로 성능을 높이던 시대가 변곡점을 맞이하고 있습니다.많은 자본과 전력을 소모하는 사전 학습 스케일링의 효율이 예전만 못하다는 분석이 지배적입니다.최근 ICLR 2026 심사 중인 논문 'Beyond Model Scaling: Test-Time Intervention for Efficient Deep Reasoning'은 이러한 한계를 돌파할 열쇠로 테스트 타임 개입(Test-Time Intervention)을 제시합니다.단순히 더 큰 모델을 만드는 것이 아니라, 추론 과정에서의 영리한 개입이 어떤 변화를 만드는지 함께 살펴보겠습니다.📄 논문 정보제목: Beyond Model Scaling: Test-Time Intervention for Efficient Deep Rea..

최근 AI 연구의 흐름을 지켜보며 흥미로운 지점은, 단일 거대 모델의 성능을 극한으로 끌어올리는 것만큼이나 작은 모델들을 어떻게 효율적으로 연결할지에 대한 고민이 깊어지고 있다는 사실입니다. 단순히 모델을 합치는 Model Merging이나, 처음부터 여러 전문가를 학습시키는 MoE(Mixture of Experts)와는 결이 다른 새로운 접근법이 등장했습니다. 오늘 함께 살펴볼 논문은 'FusionRoute'라는 프레임워크를 제안하고 있습니다. 핵심은 토큰 단위로 가장 적합한 전문가(Expert)를 찾아내는 것을 넘어, 그 결과값에 어떻게 정교하게 개입할 것인가에 대한 고민입니다.기존 접근법들의 한계LLM 협업 방식은 크게 세 가지 레벨로 나눌 수 있습니다.Sequence-Level Collaborat..

아랍에미리트의 기술혁신연구소(TII)가 2026년 1월 5일 발표한 Falcon-H1R 모델은 인공지능 업계에 새로운 이정표를 제시했습니다. 단순히 모델의 크기를 키우는 방식에서 벗어나 효율적인 추론에 집중하는 변화가 본격적으로 시작되었습니다. 학습 단계의 데이터 증설보다 추론 단계에서 얼마나 더 깊게 생각할 수 있는지가 핵심 경쟁력이 되고 있습니다. 이 모델은 7B라는 비교적 작은 크기로도 자신보다 2배에서 7배까지 큰 거대 모델에 필적하거나 능가하는 논리적 사고 능력을 보여줍니다.구조의 혁신이 가져온 하이브리드 설계의 정점트랜스포머와 맘바의 결합으로 추론 속도와 효율의 극대화를 달성. Falcon-H1R의 가장 큰 특징은 트랜스포머와 맘바(Mamba) 구조를 결합한 하이브리드 아키텍처를 채택했다는 점..

최근 제가 LLM 결과에 대한 검증, Hallucination에 대한 제어/통제에 대한 내용을 많이 전달하고 있습니다. 오늘도 유사한 내용의 논문 하나를 말씀드리고자 합니다.그동안 우리는 인공지능의 추론 과정을 단순히 텍스트의 나열로만 이해해 왔습니다. 하지만 최근 발표된 연구들은 AI가 내놓는 '생각의 사슬(CoT)'이 고차원 공간에서 특정한 수학적 형상을 이루고 있다는 흥미로운 사실을 보여줍니다. 인공지능의 사고를 형상화하는 기하학의 발견고차원 의미 공간 내 점 구름 형성추론 과정을 기하학적 객체로 변환비선형적 사고 구조의 시각화 성공우리가 LLM에 질문을 던지면 모델은 내부적으로 수많은 연산을 거쳐 답변을 생성합니다. 이 과정에서 발생하는 중간 추론 단계들을 고차원 벡터 공간에 뿌려보면 하나의 '점..

최근 OpenAI의 o1이나 DeepSeek-R1 같은 대규모 추론 모델들이 보여주는 성능은 실로 놀랍습니다.​ 하지만 이 모델들을 깊이 들여다보면 가끔 고개를 갸웃하게 만드는 순간들이 있습니다.​ 쉬운 문제에 너무 많은 시간을 쏟거나, 반대로 복잡한 문제를 너무 단순하게 처리해버리는 비효율적인 모습 때문입니다.​ 오늘 소개할 논문 "When Reasoning Meets Its Laws"는 바로 이 지점을 파고듭니다.​ 모델이 단순히 정답을 맞히는 것을 넘어, '어떻게 생각해야 하는가'에 대한 근본적인 법칙을 다루고 있어 함께 살펴보고자 합니다.​​똑똑한 모델이 엉뚱하게 행동하는 이유복잡한 추론은 복잡하게, 단순한건 단순하게. 현 추론 모델은 이를 따르지 않음 우리는 흔히 모델의 크기가 커지거나 학습 데..

AI가 단순히 똑똑한 것을 넘어, 자신이 모르는 것을 '모른다'고 말할 수 있는지는 매우 중요한 문제입니다. 오늘은 이 질문에 답하기 위해 최근 발표된 흥미로운 논문 하나를 함께 살펴보려 합니다. 우리가 흔히 쓰는 LLM들이 자신의 지식 한계를 얼마나 잘 인지하고 있는지 다룬 연구입니다.📄 논문 정보제목: Do Large Language Models Know What They Don't Know? Evaluating Epistemic Calibration via Prediction MarketsarXiv: 2512.16030발표: 2024년 12월 KalshiBench라는 새로운 벤치마크를 제안한 이 논문은, 기존의 상식 퀴즈와는 결이 다른 신선한 접근 방식을 보여줍니다.함께 핵심 내용을 따라가 ..

ChatGPT, Claude, Gemini 등 대형 언어 모델이 일상에 깊숙이 들어오면서, 이들의 보안은 단순한 기술적 문제를 넘어 사회적 이슈가 되었습니다. AI 기업들은 두 가지 핵심 방어 전략을 구축해 왔습니다. 첫 번째는 정렬(Alignment)입니다. RLHF(Reinforcement Learning from Human Feedback)나 DPO(Direct Preference Optimization) 같은 기법을 통해 모델 자체가 유해한 요청을 거부하도록 훈련됩니다. 두 번째는 가드 모델(Guard Models)입니다. Meta의 Llama Guard나 Prompt Guard처럼 LLM 앞단에서 입력을 검사하는 별도의 "문지기" 모델을 배치하여 악의적인 프롬프트를 사전에 차단합니다. 하지만..

최근 LLM 생태계는 모델의 크기 경쟁에서 구조적 효율화 경쟁으로 넘어가고 있습니다. Google이 발표한 일련의 RAG 관련 연구들은 이러한 흐름을 가장 명확하게 보여줍니다. 최신 논문임에도 몇 달만 지나면 예전 것으로 느껴지는 요즘 시대에 과거 RAG 논문을 차례로 훑어보면서 정리해 보는 시간을 가져보도록 하겠습니다. 이들은 단순히 모델의 컨텍스트 윈도우를 늘리는 것을 넘어, RAG 파이프라인 자체를 재설계하여 효율성을 극대화하는 방법에 집중하고 있습니다. 이 부분은 Google이 가지고 있는 특성을 이해하는 것이 좋습니다. RAG 대체안으로 소형 LLM을 통한 장문 분석 또한 시도되고 있지만 제일 중요한 것은 비용 효율과 대규모 User의 적용 용이성이라고 생각됩니다. 수십억 명의 실..

대규모 언어 모델(LLM)의 핵심인 트랜스포머(Transformer) 아키텍처는 혁신을 가져왔지만, 입력 시퀀스가 길어질수록 계산 비용이 기하급수적으로 증가하는 근본적인 한계를 안고 있습니다. 이는 전체 문서 이해나 게놈 분석과 같이 수백만 토큰에 달하는 방대한 문맥(컨텍스트)을 처리하는 데 큰 걸림돌이 됩니다. RNN(Recurrent Neural Network)과 같은 기존 순환 모델 역시 고정된 크기의 메모리에 모든 과거 정보를 압축해야 하므로, 풍부하고 복잡한 장기 정보를 담기에는 표현력(expressive power)이 부족합니다. Mamba-2와 같은 상태 공간 모델(SSM)도 선형 시간 복잡도로 빠른 처리가 가능하지만, 고정 크기 압축으로 인해 매우 긴 시퀀스에서는 중요한 세부 정보..

최근 발표된 논문에서 LLM의 환각 증세를 유발하는 뉴런들이 별도로 존재하는지 확인하고, 이를 통해 사전 검증을 수행한 연구 결과가 발표되어 자세히 알아보겠습니다. 환각 현상에 기여하는 뉴런들이 존재한다! 모델이 사실이 아닌 정보를 마치 진실인 양 생성하는 환각(Hallucination) 현상은 오랫동안 블랙박스 영역에 머물러 있었습니다. 2025년 12월 1일, 칭화대학교(Tsinghua University) 연구진이 arXiv에 발표한 "H-Neurons: On the Existence, Impact, and Origin of Hallucination-Associated Neurons in LLMs" 논문은 이 블랙박스를 뉴런 단위에서 해부하여 환각의 물리적 실체를 규명했습니다. Cheng G..

인공지능 학계의 가장 큰 축제이자 이정표인 NeurIPS 2025가 올해의 최우수 논문(Best Paper)을 발표했습니다.​ 올해 선정된 7편의 논문은 무조건적인 파라미터 확장이 능사가 아님을 보여줍니다.​ 오히려 모델의 내재적 한계를 규명하고, 아주 작은 아키텍처 변화로 거대한 효율을 만들어내며, 30년 묵은 난제를 해결하는 데 집중했습니다.​ 세부적인 내용보다는 이게 어떤 형태로 우리에게 유용한지 살펴보고자 합니다.​​인공지능이 만드는 생각의 획일화, 하이브마인드 경고"창의성의 종말을 경고하다. 모델 간의 유사성이 만들어낸 인공적인 집단 사고(Hivemind)의 위험성 입증." 최우수 논문으로 선정된 Artificial Hivemind는 LLM이 인간의 사고를 획일화할 수 있다는 강력한 경고를 던집..

구글의 7세대 TPU인 아이언우드(TPU7x)는 2025년 4월 Google Cloud Next에서 발표되어, 2025년 11월부터 일반 공개(GA)되었습니다. 아이언우드는 추론(Inference) 워크로드에 최적화된 구글의 첫 번째 TPU로, AI 가속기 시장에서 NVIDIA Blackwell과 경쟁하기 위해 설계되었습니다.핵심 사양단일 칩 성능항목사양컴퓨팅 성능4.6 PetaFLOPS (FP8), 2.3 PetaFLOPS (FP16)메모리192 GB HBM3E (Trillium 대비 6배)메모리 대역폭7.37 TB/s (Trillium 대비 4.5배)ICI 대역폭9.6 Tbps 양방향 (Trillium 대비 1.5배)칩렛 구성듀얼 칩렛 (각 1 TensorCore + 2 SparseCore + 9..

오늘 Ai2가 발표한 Olmo 3는 단순한 모델 출시 이상의 의미를 갖습니다.​단순한 가중치 공개를 넘어선 개발의 민주화. 데이터부터 추론 과정까지, AI의 모든 혈관을 해부하다. 그동안 오픈소스 AI 진영은 '오픈 웨이트(Open Weights)'라는 반쪽짜리 개방에 머물러 있었습니다.​ 하지만 Olmo 3는 모델의 가중치뿐만 아니라 훈련 데이터, 코드, 그리고 훈련의 전 과정을 아우르는 '모델 플로우(Model Flow)'를 공개했습니다.​ 이것은 닫혀있던 AI 개발의 장막을 완전히 걷어내는 시도입니다.​ 이제 여러분은 최신 LLM Workflow에 접근하여 원하는 단계의 Checkpoint를 Fork 하여, 개발이 가능하게 되었습니다. ​​이유 있는 자신감, 32B 파라미터의 스윗스팟연구와 실용성의..

아 너무 한꺼번에 나와서 정신이 없네요. ​ 최근에 Virtual Try On (가상 옷 입히기) 이 제대로 된다는 이야기를 들어서 바로 테스트를 진행해 보았습니다. ​ 일단 Gemini 에서 Pro Thinking + Create Image 옵션을 키고 테스트 해 봅니다. ​테스트 1. 옷입은 사람 + 옷입은 사람음. 보면 순서는 잘 보장되지 않습니다. ​하지만 진짜 뛰어난 부분은 바로 제 딸이 입고 있는 옷의 글자가 다 접혀있는데도 불구하고 (아래사진참조) 위에 그림처럼 정확하게 이것은 인식한다는게... 진짜...더 놀랍습니다. ​사람이 헷갈릴 것 같아, 옷 부위만 띄어내서 다시 진행해 보았습니다. ​​ 테스트 2. 옷 + 사람 얼굴 부위​ 와우... 물론 제 딸 얼굴하고 비슷하지만 같지는 않습니다...

현대의 의사결정 환경은 정보로 포화되어 있습니다.사용자는 쏟아지는 데이터 속에서 무엇을 우선시하고 필터링할지 끊임없이 고민해야 합니다.정보 시각화(InfoVis) 시스템은 이러한 문제를 해결하기 위해 존재하지만, 여전히 사용자의 인지 상태를 실시간으로 반영하지 못한다는 명확한 한계가 있습니다.기존의 대시보드는 사용자가 피로하든 초집중 상태이든 관계없이 동일한 복잡도의 화면을 송출합니다.우리는 이러한 접근 방식이 치명적인 의사결정 상황에서 효율성을 저해한다고 판단했습니다.이에 대한 해답으로 사용자의 생체 신호를 해석하고, 이에 맞춰 스스로 진화하는 RL 시스템이 소개되었습니다. 기계와 인간이 공생하는 새로운 적응형 아키텍처를 제안합니다실시간 뇌파 신호 처리와 이벤트 기반 아키텍처를 통한 2초 단위의 즉각적..

Recently, I presented content about AI Agents to users in the financial sector. The main point was: "AI Agents are non-deterministic and should be treated as statistical machines. When necessary, they should either generate deterministic processes or be applied only to portions of existing pipelines." While use cases for LLMs in the financial sector are slowly emerging, they are facing difficult..

앞선 논문 내용을 기반으로 소스를 확인해 보면, Deep Research 구조에서 Denosing 방식으로 몇 가지 도구들을 사용하는 것을 볼 수 있습니다. ​ 1. RAG 2. Reranking​ 이 기법은 엔터프라이즈 안에서 문서를 살펴보기에는 좋지만, 일반적으로 Internet Search Tool을 내장하고 있는 LLM에서는 이 기법 자체를 사용할 필요가 없습니다. ​ 그래서, 위 두가지 기능을 제거하고, LLM 이 지원하는 내장된 Search Tool을 이용해 보기로 하였습니다. ​​Gemini 를 이용한 내장 Google Search Grounding​ Gemini 는 자체적으로 Google Search를 수행하며, 질의 결과와 정확도를 보정하는 기능을 내장하고 있습니다. 따라서, 1번 2번을..

"현재 AI는 변호사 시험은 통과하지만 열 살 아이처럼 식탁을 치울 수는 없다. 이것이 바로 우리가 놓치고 있는 지능의 본질이다." 2024년, 딥러닝의 선구자이자 튜링상 수상자인 얀 르쿤이 Meta를 떠나기로 결정했습니다. 이유는 단순합니다. 현재 AI 업계가 완전히 잘못된 방향으로 가고 있다는 확신 때문입니다. OpenAI와 구글이 대형언어모델(LLM)의 파라미터 경쟁에 몰두할 때, 르쿤은 정반대 방향을 바라봅니다. 수조 개의 파라미터와 엑사바이트급 데이터로 학습한 GPT 모델들이 환각(hallucination) 문제조차 해결하지 못하는 현실. 그는 이를 "유용하지만 근본적으로 제한된 시스템"이라 일축합니다. 구조적 막다른 길에 다다른 LLM 르쿤의 비판은 날카롭습니다. 현재의 LLM은 언..

많은 고객분들께서 이미 Gen AI를 이용하여 광고 내용 일부를 대체하고 있습니다. 하지만, 어떤 기준으로 Gen AI 컨텐츠를 운영 환경에 배포할지 고민하시는 분들이 많을 것이라 생각됩니다. 최근 넷플릭스가 생성형 AI(GenAI) 활용에 대한 공식 가이드라인을 공개했습니다. 이는 단순한 지침이 아닌, 글로벌 콘텐츠 제국이 생각하는 광고/마케팅에 대한 동작 방식을 보여주는 청사진입니다. 이 가이드라인이 중요한 이유는 세 가지입니다:법적 리스크 관리: 2023년 할리우드 파업 이후 콘텐츠 업계의 최대 관심사산업 표준 형성: 넷플릭스의 결정은 곧 업계 벤치마크가 됨실무 적용 가능성: 추상적 원칙이 아닌 구체적 행동 지침 제공우리는 이 문서를 통해 넷플릭스가 허용하는 혁신과 금지하는 위험의 경계를 명확히..

최근 AI agent에서 제일 중요하게 판단되는 기능/모듈이 바로 메모리 특히 장기 메모리와 경험 기억부분입니다. RAG를 통한 장기 기억은 많은 제약 조건이 있고, Short Term Memory인 Context (세션) 메모리는 커지는 Context를 감당할 수 없게 되는 시점에, Trim, Compaction과 같은 기존 Context를 조절해야 하며, 이때 문제가 발생하게 됩니다. 최근, 연속적으로 학습할 수 있는 다양한 메커니즘들이 나오고 있는데, 그 중에 한가지가 변형 메모리 구조에 대한 일부 파인튜닝 방식입니다. 과거에는 Transformer 내부에 메모리 모듈 탑재하는 부분까지는 진행하였지만, 실제로 Training을 하다 보면, 너무 많은 파라미터가 변경되어, 일명 파멸적인 망각 현상..

최근에 구글이 Nano Banana를 출시하여, 많은 사용자들에게 큰 충격을 안겨주었습니다.​ 자연스러운 이미지 생성 및 수정, 문맥에 맞는 화면 레이아웃 조정, 오브젝트 변경. 이루 말할 수 없는 개선을 보여주어 이미지 생성을 필요로 하는 많은 산업군에서 앞다투어 적용을 진행하고 있습니다.​ 더군다나 최근에 바이트댄스에서 Nano Banana에 버금 아니 어쩌면 더욱 좋은 성능의 신규 모델을 출시하여, 이 기회에 이미지 생성/수정 AI 모델에 대해서 간략히 정리해 보려고 합니다.​​GAN에서 어댑터까지, 진화의 흐름​ 초기 이미지 생성 분야는 GAN(생성적 적대 신경망)이 주도했습니다. GAN은 선명하고 사실적인 이미지를 만들었지만, 학습이 불안정했습니다. 생성 과정을 제어하기 어렵다는 명백한 약점 또..

조지아에서 발생하였던 이민세관단속국(ICE)에 의해 진행되었던, 한국인 기술자 구금사건이 끝난지 얼마 안된 시점에, ICE가 SNS 미디어를 감시하며, 이를 활용하여, 이민자들에 대한 사상 검증을 진행한 내용이 있어 가지고 와 보았습니다. 미 이민세관단속국(ICE)이 AI 기반 소셜 미디어 감시 소프트웨어 도입을 위해 570만 달러(약 78억 원) 규모의 신규 계약을 체결한 것으로 확인되었습니다. 연방 조달 기록에 따르면, 이 5년 계약은 정부 기술 조달 중간책인 카라소프트(Carahsoft Technology)를 통해 이루어졌습니다.이는 ICE가 소셜 미디어 감시망을 구축하려는 지속적인 노력의 최신 동향으로 보입니다.이스라엘 군대도 사용하는 감시 플랫폼ICE가 도입하는 제품은 '지그널 랩스(Zi..

최근까지도 AGI에 대한 광범위한 애매모호함은 다양한 마케팅 채널, 그리고 실제 연구자 사이에서도 의견이 분분하였습니다.또한 비즈니스적으로도 Open AI 와 MS간 계약 체결 내용에 AGI 구현 전까지, 의존관계에 대한 내용이 있기 때문에, AGI에 대한 명확한 정의가 시급하게 필요한 시점이기도 하였습니다.최근 Arxiv 에서 AGI 정의에 대한 세부적인 조건들을 명시하는 논문이 발표되어 해당 내용을 살펴보려고 합니다.움직이는 골대처럼 변하는 AGI의 정의AGI는 인류 역사상 가장 중요한 기술 발전이 될 수 있습니다.하지만 그 용어 자체는 여전히 모호합니다.AI 시스템이 한때 인간의 지능이 필요하다고 여겨졌던 작업들을 마스터하면서, AGI의 기준은 계속 변화해왔습니다. 수학에서 예술까지, AI가 새로운..

최근 공개된 Art of AI 2025 Online에는 방대한 최신 AI 소식이 담겨져 있습니다. 보는 것만도 며칠이 걸려서, 일부 중요한 내용을 정리해 보았습니다.​먼저, AI 연구 및 기술 동향 입니다. 이제는 성능에 올인하는 것 보다는 현재까지 나와 있는 기술에 대해서, 얼마나 더 정확하게 적용하는 것이 좋은지 이 부분이 관건인 것 같습니다.LLM 학습 비용 절감​ LLM 학습의 패러다임이 단순한 스케일업에서 효율성 최적화로 전환되고 있습니다. 이 중심에는 LoRA 기반의 강화 학습(RL) 및 새로운 옵티마이저 와 같은 혁신적인 방법론들이 있습니다.​LoRA 어댑터를 활용한 강화 학습이 비용을 획기적으로 낮춥니다​ LoRA(Low-Rank Adaptation) 기술을 RL에 적용하면 전체 미세 조정..

업데이트 발견: Veo 3.1의 등장Gemini Pro를 꾸준히 사용해온 유저로서, 오늘 평소처럼 사이트에 접속했더니 흥미로운 변화를 발견했습니다. UI가 새롭게 개편되었을 뿐만 아니라, Veo 3.1 동영상 모델로의 업그레이드가 눈에 띄게 표시되어 있었습니다.그동안 Veo 3까지는 다양한 테스트를 진행하며 성능과 한계를 파악했던 터라, 3.1 버전에서는 어떤 개선이 이루어졌을지 기대감을 갖고 즉시 테스트에 들어갔습니다.결과를 한 마디로 요약하자면? "GOOD!!!"하지만 여전히 개선이 필요한 부분들도 발견했습니다. 자세한 테스트 결과를 공유합니다.테스트 1: 기본 애니메이션 생성 능력프롬프트와 결과첫 번째 테스트는 단일 프롬프트로 얼마나 완성도 높은 애니메이션을 생성하는지 확인했습니다.사용 프롬프트: ..

AI를 사용하다보면, 각 AI별로 뭔가 특성이 다르다. 이런 느낌을 받을 때가 많습니다. 처음에는 LLM의 지적 능력을 중시했지만, 상향 평준화가 되고 나서는, 어투, 어조, 판단에 대한 기준이 모델별로 약간 상이하고 이로 인하여 동일한 프롬프트에서 서로 다른 양상을 보이는 경우를 종종 보았습니다.최근에 이와 관련하여, 다양한 주제를 LLM에게 반복적으로 제시할 경우, 서로 다른 판단 가치를 보여주는 연구 결과가 나와 공유드립니다.해당 하는 결과는 향후, 시스템 프롬프트를 작성할 때도 참고하여, LLM의 행동 조절에 이용할 수 있을 것이라고 생각됩니다.LLM의 중립성은 환상일 수 있습니다LLM이 제공하는 답변은 대부분 중립적이고 권위적이며 논리적으로 보입니다. 하지만 그 중립성 아래에는 훈련 데이터의 편..

최근 몇 년간 LLM(Large Language Model)과 RAG(Retrieval-Augmented Generation) 통합, 그리고 Agent 구성에 집중해왔습니다. LLM의 성능은 눈부시게 발전했습니다. 불과 몇 년 전 중학생 수준이었던 AI가 이제는 대학 졸업생 수준을 넘어서고 있습니다.하지만 실제 고객의 요구사항을 충족시키기에는 여전히 한계가 있습니다. 1M 이하의 Context Window와 PEFT(Parameter-Efficient Fine-Tuning)만으로는 기업 수준의 복잡한 요구사항을 해결하기 어렵습니다. 이것이 바로 RAG 시스템이 필요한 이유입니다.프로토타입의 함정LangChain, LlamaIndex 같은 프레임워크를 활용하면 단기간에 인상적인 프로토타입을 만들 수 있습니..