공부 노트 및 이모저모

[Paper review]SpinQuant: LLM quantization with learned rotation

기존 문제점Outlier로 인한 양자화 오류 증가quantization 범위의 과도한 확장으로 reconsturction error이 발생. 이로 인한 모델 성능 저하 현상을 해결하고자 제안.LLaMA-2 7B 모델의 특정 레이어 activation 분포가 kurtosis 200이 넘을 정도로 꼬리가 길고, 양자화 오차가 매우 큰 것을 확인할 수 있다.Random Rotation만으로는 성능 편차가 매우 큼Outlier 완화를 위한 연구 중 random orthogonal or Hadamard matrix를 곱해 activation/weight 분포를 섞는 방식은 양자화 후 성능 변동이 크게 나타남 LLaMA-2 7B 모델을 W4A4(4비트 가중치, 4비트 활성화)로 양자화했을 때, 랜덤 floating..

진행하는 프로젝트를 위해 양자화에 대한 기본 개념을 이해하고자 다음 글을 작성한다. 목차는 크게 하단과 같은 4가지로 구성하였다.[목차]-. 양자화란? + 사용 방법-. Uniform vs Non-uniform-. Symmetric vs Asymmetric-. PTQ, QAT 등 양자화 방법 양자화큰 집합의 입력값을 작은 집합으로 mapping하는 과정으로, 함수 매핑이 본질Quantization은 float 32 값을 int8 혹은 그보다 작은 집합으로 mapping하는 과정을 말한다. 즉, floating point 숫자를 int8/4형으로 변환한다.위와 같이 양자화를 하게 되면 기존 데이터 대비 정보 손실이 발생하여 기존 모델 대비 정확도가 떨어져, 모델별 정확도와 하드웨어 효율을 위해서는 데이터..

요약~(비트 NOT) + 사이즈 안 줬던 파라미터 → 32 bit로 확장돼서 사고 난다.!(논리 NOT) 은 1-bit 불리언이므로 조건식엔 얘가 안전하다.파라미터/상수엔 반드시 bit/logic 타입이나 [0:0] 식 크기를 붙여라.실무에서 if (~USE_EN || valid) 같은 식은 “항상 1”로 고정될 수 있다.→ 시뮬 파형 안 뜨고, 합성 땐 로직 통채로 날아감.👶 왜 이런 일이?상황 시뮬레이터 내부에서 벌어지는 일parameter USE_EN = 1; (폭 없음)32-bit 정수 32'h0000_0001 로 변신~USE_EN32'hFFFF_FFFE (LSB만 0)`~USE_EN → valid가 바뀌어도 결과는 1→ 파형 평평, 디버그 지옥. 🛠️ 실전 회피법체크리스트 한 줄 팁논리 조..

이번에는 구리 가격과 금속 거래 재고이다. 이 지표는 선행지표로, 앞으로 경기가 호황이 될 지 불황이 될 지를 미리 볼 수 있는 지표라고 볼 수 있다. 왜냐하면, 재고가 많이 쌓여있다면 제조업 부문에서 해당 물품에 대한 구매가 활발히 일어나지 않았음을 뜻하기에 투자를 줄이고 있음을 의미하고, 반대의 경우에는 호황을 의미한다. 구리 가격 = 주택 + 건축업금속 거래 재고 = 제조업 이라고 생각하고 지표를 보면 될 것이다.https://www.lme.com/Metals/Non-ferrous/LME-Copper#Price+graphs 이번에 참고한 사이트는 위에 적힌 런던 금속 거래소이다. 이 사이트는 무료라서 보는데 무리가 없는듯하다.먼저 작년 12월부터 지표를 보면 3월까지는 구리 값이 쭉 상승했다가 4월..

이번에는 소비자 심리 지수에 대한 것 이다. 이 개념도 마찬가지로 경기가 어떤 흐름으로 진행되는지 파악할 수 있는 간접적인 지표이다. 이 지표를 볼 때에는 순간의 값을 보는 것이 아닌 값의 흐름. 즉 추이를 살펴야 한다. 소비자들이 소비에 대한 생각이 점차 증가하면 경기가 차차 좋아지는 것이고, 지갑을 닫고싶은 심리가 생기면 반대로 점수는 낮아진다.하단의 지표는 4월 소비자 심리 지수를 그래프로 보인 것으로 소비자 심리 지수가 급격하게 하락중인걸 볼 수 있다. 특히 표에서 보이듯 기대지수가 전월대비 52.6 -> 47.2로 4.6 떨어지며 소비자들의 심리가 지갑을 점차 닫고있음을 보여주는 지표임을 확인할 수 있다. 최근 뉴스에서 확인했듯 실업률의 증가가 소비자 심리에 영향을 일부 준 것이라 생각을 한다..

오늘 읽은 부분 중 차량 판매 항목에 대해서 정리해보고자 글을 적는다.https://www.spglobal.com/mobility/en/products/global-auto-demand-tracker-ko.html Sharing insights elevates their impactGlobal Auto Demand Tracker Global Auto Demand Tracker는 브랜드 및 모델 수준으로 제공되며, 데이터는 다음과 같습니다: 150개 이상의 국가350개 이상의 제조사/브랜드연료 유형(BEV, FCV, HEV, ICE, MEV, 플러그인)제www.spglobal.com 자동차 판매는 경제에 있어서 매우 중요한 부분이라고 한다. 자동차에 엮인 산업은 굉장히 많기 때문에 차량에 대한 수요가 높아..

본 포스팅은 경제 공부를 하는 진행 과정을 기록하기 위한 포스팅으로 종종 수정을 하며 현 상황을 업데이트 할 예정.[경제 공부 리스트]각 서적 당 최소 2회독을 원칙으로 읽어 갈 예정.(1회독으로는 충분한 이해가 되지 않을 것이 분명하기 때문임) 1. 알아두면 쓸모 있는 경제학 상식 사전 (1회독 완료)-> 전반적인 경제 용어에 대한 얕은 지식을 만들기 위한 과정. 2. 월스트리트 저널 경제 지표 50 (완독, 2025.05.12)3.워런 버핏의 완벽투자기법 (2025.05.19~)

두 줄 정리.stall 발생시 (수신측이 데이터 받을 준비가 안 된 경우), buffer 내부의 register가 데이터를 잠깐 저장.이후 데이터 받을 준비 됐을 때 전달.  1. 왜 스키드 버퍼인가?AXI 기반 설계에서는 데이터가 빠르게 처리되지만, 파이프라인상의 어느 한 부분에서 스톨(stall) 신호가 발생하면 데이터가 유실될 위험이 있습니다.문제 상황:조합 논리(Combinatorial Logic) vs. 레지스터드(Registered) 신호:파이프라인에서 스톨 신호가 조합 논리로 생성되면 타이밍 여유가 부족할 수 있습니다. 반면, 스톨 신호를 레지스터드 방식으로 처리하면 이전 단계에서는 이미 데이터를 넘겨버려서 데이터가 유실될 가능성이 생깁니다.스키드 버퍼의 역할:데이터 보존: 스톨 상황에서 입..

경제.대학 시절부터 등하교 시간에. 그리고 현재는 출퇴근 시간에 경제 신문을 몇 페이지씩 헤드라인이라도 읽곤한다.사람들과의 대화에 있어서는 어느정도 기초 지식이 있기에 얕은 대화는 무리 없이 줄곧 이어왔다. 그러던 오늘.서울 자가에 대기업 다니는 김 부장 이야기이 웹툰 속 송과장의 이야기를 보며 퇴근 후 무료하게 체력을 회복하던 시간이 아쉽게 느껴지고, 변화를 갖고싶다는 생각이 들었다.지금 내가 당장 갖출 수 있는 지식이 무엇일까를 고민하다가 땅, 부동산 보다도 현재도 하고있고 앞으로도 내 삶에 밀접하게 연관이 있을 주식, 채권과 같은 것을 공부하기로 했다.시작하기 앞서 송과장처럼 거창한 목표를 하나 세우고 공부를 시작하는 것은 어떨까 싶다.언젠가 나의 이 지식들로 60억.터무니 없는 금액이지만 웹툰에서..

이번에는 사촌형과 친동생과 함께 마포구에 새로 개업한 "호시"라는 이자카야를 방문해봤다. 사실, 근처에 다른 음식점을 2차로 가려고 했으나 해당 가게가 사라져서 주변 어딘가로 들어간 곳이었고, 마침 이곳이 새로 개업한 사람이 많지는 않은 곳 이었다. 덕분에 꽤 조용한 분위기에서 대화를 할 수 있었다.  먼저, 해당 위치는 다음과 같다.  1층 내부에서 대충 찍은 사진인데 꽤 분위기 있게 나온 듯 한 사진이다.  1층 내부사진이고, 꽤 깔끔한 분위기이고, 확실히 요즘은 테이블마다 주문 기계가 있어서 주문함에 있어 정말 편안함을 많이 느낄 수 있다. 추가 주문이 필요하거나 그럴 때 굳이 점원분에게 요청하지 않아도, 알아서 주문이 가능하니 말이다.  그리고 1차에서도 느꼈는데, 요즘은 식전에 스프를 주는게 문..