大模型知识地图

工作后有许多人都问过我学数学的为什么不去做算法？那就跟上现在大模型的潮流，先了解下相关知识，希望将来可以有机会结合Data和AI做一番事情~

大模型应用

行业实践

• Mathematics&AI

  • Lean：数学形式化

  • AlphaGeometry：几何奥数

• Data&AI

  • DCAI(Data-centric Artificial Intelligence): Lakehouse AI

  • LakehouseIQ

框架开发

易上手

• RAG: Retrieval Augmented Generation

• Agent：ReAct vs Tree of Thought

  • Multi Agent：MetaGPT

基础大模型

语言大模型

• 发展历史

• 数据

  • 规模：Scaling Law

  • 质量：多样性、重复率、混合比例等

• 预训练

  • 任务：Mask

  • 效率：分布式训练&算子融合&数据IO

  • 稳定：debug&checkpoint

• SFT

  • PEFT(Parameter-Efficient Fine-Tuning): lora

• RLHF

  • Reward model

  • 强化学习-PPO

• 评估

  • 任务：理解&推理&生成

  • 方法：大模型评测大模型

• 推理

  • 无损优化：backend&fused op

  • 有损优化：量化&剪枝&蒸馏

多模态大模型

• Vision Transformer(ViT): 打通CV与NLP的壁垒

• Encoder模式

  • CLIP: 图文对齐有效方式

  • BEIT: 文本、图像走向统一

• 桥接大语言模型

  • Blip2: Q-Former

• 视频大模型：时序建模

• 生成算法

  • 图像

    • GAN

    • VAE

    • Diffusion Model: 加噪声和去噪声过程

  • 视频

    • 3D建模

    • Sora: DiT = VAE 编码器 + ViT + DDPM + VAE 解码器

行业大模型

• 常识 --> 专业(知识 + 逻辑 + 适当性)

  • 世界知识 --> 领域知识

  • 基础能力 --> 领域能力

• 代码大模型

• 金融大模型

基础设施

AI芯片

• Colossal-AI

• DeepSpeed

• Ray