Скачать с ютуб Andrej Karpathy - Part 1. Deep Dive into LLMs like ChatGPT(перевод) в хорошем качестве

Andrej Karpathy - Part 1. Deep Dive into LLMs like ChatGPT(перевод)

Оригинал:    • Deep Dive into LLMs like ChatGPT   Андрей был одним из основателей OpenAI (2015), затем старшим директором по ИИ в Tesla (2017-2022), а сейчас является основателем Eureka Labs, которая создает школу на базе ИИ. Его цель в этом видео — повысить знания и понимание современного состояния ИИ и дать людям возможность эффективно использовать последние достижения в своей работе. Подробнее на https://karpathy.ai/ и https://x.com/karpathy *Главы* 00:00:00 Введение 00:01:00 Данные для предварительного обучения (интернет) 00:07:47 Токенизация 00:14:27 Ввод/вывод нейронной сети 00:20:11 Внутреннее устройство нейронной сети 00:26:01 Вывод (инференс) 00:31:09 GPT-2: обучение и вывод 00:42:52 Вывод базовой модели Llama 3.1 00:59:23 От предварительного обучения к пост-обучению 01:01:06 Данные пост-обучения (разговоры) 01:20:32 Галлюцинации, использование инструментов, знания/рабочая память 01:41:46 Знание о себе 01:46:56 Моделям нужны токены для мышления 02:01:11 Повторное рассмотрение токенизации: модели испытывают трудности с правописанием 02:04:53 Неравномерный интеллект 02:07:28 От контролируемой тонкой настройки к обучению с подкреплением 02:14:42 Обучение с подкреплением 02:27:47 DeepSeek-R1 02:42:07 AlphaGo 02:48:26 Обучение с подкреплением на основе обратной связи от людей (RLHF) 03:09:39 Предварительный обзор будущих разработок 03:15:15 Отслеживание развития LLM 03:18:34 Где найти LLM 03:21:46 Общее резюме *Ссылки* ChatGPT https://chatgpt.com/ FineWeb (датасет предобучения): https://huggingface.co/spaces/Hugging... Tiktokenizer: https://tiktokenizer.vercel.app/ 3D-визуализатор трансформеров: https://bbycroft.net/llm llm.c Воспроизведение GPT-2 https://github.com/karpathy/llm.c/dis... Статья о Llama 3 от Meta: https://arxiv.org/abs/2407.21783 Hyperbolic, для вывода базовой модели: https://app.hyperbolic.xyz/ Статья InstructGPT о SFT: https://arxiv.org/abs/2203.02155 Playground для инференса на HuggingFace: https://huggingface.co/spaces/hugging... Статья о DeepSeek-R1: https://arxiv.org/abs/2501.12948 TogetherAI Playground для инференса открытых моделей: https://api.together.xyz/playground Статья об AlphaGo (PDF): https://discovery.ucl.ac.uk/id/eprint... Видео о ходе 37 AlphaGo: • Lee Sedol vs AlphaGo реакция на ход 37... LM Arena для рейтинга моделей: https://lmarena.ai/ Новостная рассылка по ИИ: https://buttondown.com/ainews LMStudio для локального инференса https://lmstudio.ai/ Визуализатор, использованный в видео: https://excalidraw.com/ Конкретный файл Excalidraw, который мы создали: https://drive.google.com/file/d/1EZh5... Discord-канал для Eureka Labs и этого видео: /discord