Скачать с ютуб Mi az az 1-bites LLM és mire jó? A Microsoft BitNet b1.58 2B4T és a BitNet keretrendszer bemutatása в хорошем качестве

Mi az az 1-bites LLM és mire jó? A Microsoft BitNet b1.58 2B4T és a BitNet keretrendszer bemutatása

A BitNet 1-bites súlyokat használ a hagyományosabb lebegőpontos (pl. FP16) vagy alacsonyabb bites (pl. 8-bites) kvantálással szemben, jelentősen csökkentve a memóriaigényt és az energiafogyasztást. A BitNet b1.58 ezt továbbfejleszti ternáris súlyokkal (-1, 0, 1), ami tovább javítja a hatékonyságot és a modellezési képességeket. Legyél Te is Tagja az Mp3Pintyo csatornának    / @mp3pintyo   DISCORD Mp3Pintyo szerver:   / discord   Támogatás Patreon:   / mp3pintyo   Linkek BitNet: Scaling 1-bit Transformers for Large Language Models: https://arxiv.org/pdf/2310.11453 The Era of 1-bit LLMs All Large Language Models are in 1.58 Bits: https://arxiv.org/pdf/2402.17764 The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ: https://github.com/microsoft/unilm/bl... 1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs: https://arxiv.org/pdf/2410.16144 BitNet b1.58 2B4T Technical Report: https://arxiv.org/pdf/2504.12285 Hugging Face BitNet b1.58 2B4T - Scaling Native 1-bit LLM: https://huggingface.co/microsoft/bitn... GitHub Bitnet.cpp: https://github.com/microsoft/BitNet BitNet Demo: https://bitnet-demo.azurewebsites.net/ unsloth/DeepSeek-R1-GGUF: https://huggingface.co/unsloth/DeepSe... Run DeepSeek R1 Dynamic 1.58-bit: https://unsloth.ai/blog/deepseekr1-dy... Fine-tuning LLMs to 1.58bit: extreme quantization made easy: https://huggingface.co/blog/1_58_llm_... Telepítés wsl git clone --recursive https://github.com/microsoft/BitNet.git cd BitNet (Recommended) Create a new conda environment conda create -n bitnet-cpp python=3.9 conda activate bitnet-cpp pip install -r requirements.txt sudo apt update sudo apt install -y build-essential cmake sudo apt install -y clang Modell előkészítése és letöltése: huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s Futtatás python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv -n 256 Mi az az 1 bites LLM? A hagyományos nagyméretű nyelvi modellek (LLM-ek), mint például a GPT vagy a LLaMA, a paramétereiket (súlyaikat) nagy pontossággal, általában 16 vagy 32 biten tárolják Ezek a súlyok határozzák meg a neurális hálózatban a neuronok közötti kapcsolatok erősségét, és közvetlenül befolyásolják a modell előrejelzéseit. Az 1 bites LLM-ek ezzel szemben egy extrém módszert alkalmaznak, az úgynevezett kvantálást Ez azt jelenti, hogy a modell paramétereit (súlyait) nagyon kevés, mindössze két vagy három különböző értékre korlátozzák. Ha a súlyok csak két értéket vehetnek fel (például -1 és +1), akkor bináris, vagyis 1 bites modellről beszélünk. Ha a súlyok három értéket vehetnek fel (általában -1, 0 és +1), akkor ternáris modellről beszélünk, ami körülbelül 1.58 bitet jelent ($\log_2(3) \approx 1.58$). A BitNet b1.58 egy ilyen ternáris modell. Miért jók az 1 bites LLM-ek? Az extrém kvantálás számos előnnyel jár Jelentősen csökkentett memóriaigény: Mivel a súlyok tárolásához sokkal kevesebb bitre van szükség, a modell teljes memória lábnyoma drasztikusan lecsökken Ez lehetővé teszi, hogy nagyobb modelleket futtassunk olyan eszközökön, amelyek korábban nem lettek volna képesek rá. Például a BitNet b1.58 2B paraméteres modell mindössze 0.4 GB memóriát igényel a nem beágyazott rétegekhez, míg a hasonló méretű hagyományos modellek ennek többszörösét Alacsonyabb energiafogyasztás: Kevesebb memória és egyszerűbb számítások miatt az 1 bites modellek kevesebb energiát fogyasztanak A BitNet b1.58 például a mátrixszorzásoknál akár 71.4-szeres energia megtakarítást is elérhet a hagyományos FP16 modellekhez képest Gyorsabb következtetés (inference): Az alacsonyabb bitmélység és a kevesebb szorzási művelet miatt az 1 bites modellek gyorsabban tudnak szöveget generálni (inference) A bitnet.cpp keretrendszer például jelentős sebességnövekedést tesz lehetővé CPU-kon. A BitNet b1.58 2B CPU-n történő dekódolási késleltetése például jelentősen alacsonyabb, mint a hasonló méretű FP16 modelleké Potenciál a hardveroptimalizálásra: Az 1 bites modellek új számítási paradigmát jelentenek, ami lehetőséget teremt a speciálisan erre a célra optimalizált hardverek tervezésére ** BUYING MY ARTS ** ► https://www.etsy.com/shop/mp3pintyo ► https://stock.adobe.com/contributor/2... ** STAY ACTIVE FOR A FOLLOW ** ►TWITTER:   / mp3pintyo   ►INSTAGRAM:   / mp3pintyo   ►PINTEREST:   / mp3pintyo   ►SOUNDCLOUD:   / mp3pintyo   Ez a videó bemutatja a mesterséges intelligencia alkalmazását. Az AI (mesterséges intelligencia) rengeteg területen könnyíti és segíti az életünket. #ai #mesterségesintelligencia #mi #mp3pintyo