English | 中文
本项目旨在为所有对大型语言模型及其在人工智能治理和控制（AIGC）场景中应用的人们提供一站式学习资源。通过提供理论基础，开发基础，和实践示例，该项目对这些前沿主题提供了全面的指导。
-
大型语言模型的理论和开发基础：深入探究像 GPT-4 这样的大型语言模型的内部运作，包括其架构，训练方法，应用等。
-
用 LangChain 开发 AIGC 应用：使用 LangChain 开发 AIGC 应用的实践示例和教程，展示了大型语言模型的实际应用。
你可以通过克隆此仓库到你的本地机器来开始：
git clone https://github.com/DjangoPeng/openai-quickstart.git然后导航至目录，并按照单个模块的指示开始操作。
| 日期 | 描述 | 课程资料 | 任务 |
|---|---|---|---|
| 周三 7月12日 第1周 | 大模型基础：理论与技术的演进 - 初探大模型：起源与发展 - 预热篇：解码注意力机制 - 变革里程碑：Transformer的崛起 - 走向不同：GPT与BERT的选择 |
建议阅读： - Attention Mechanism: Neural Machine Translation by Jointly Learning to Align and Translate - An Attentive Survey of Attention Models - Transformer：Attention is All you Need - [BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding(https://arxiv.org/abs/1810.04805) |
[作业] |
| 周日 7月16日 | GPT 模型家族：从始至今 - 从GPT-1到GPT-3.5：一路的风云变幻 - ChatGPT：赢在哪里 - GPT-4：一个新的开始 提示学习（Prompt Learning） - 思维链（Chain-of-Thought, CoT）：开山之作 - 自洽性（Self-Consistency）：多路径推理 - 思维树（Tree-of-Thoughts, ToT）：续写佳话 |
建议阅读： - GPT-1: Improving Language Understanding by Generative Pre-training - GPT-2: Language Models are Unsupervised Multitask Learners - GPT-3: Language Models are Few-Shot Learners 额外阅读： - GPT-4: Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE - GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models - Sparks of Artificial General Intelligence: Early experiments with GPT-4 |
[作业] |
| 周三 7月19日 第2周 | 大模型开发基础：OpenAI Embedding - 通用人工智能的前夜 - "三个世界"和"图灵测试" - 计算机数据表示 - 表示学习和嵌入 Embeddings Dev 101 - 课程项目：GitHub openai-quickstart - 快速上手 OpenAI Embeddings |
建议阅读： - Representation Learning: A Review and New Perspectives - Word2Vec: Efficient Estimation of Word Representations in Vector Space - GloVe: Global Vectors for Word Representation 额外阅读： - Improving Distributional Similarity with Lessons Learned from Word Embeddings - Evaluation methods for unsupervised word embeddings |
[作业] 代码： [embedding] |
| 周日 7月23日 | OpenAI 大模型开发与应用实践 - OpenAI大型模型开发指南 - OpenAI 语言模型总览 - OpenAI GPT-4, GPT-3.5, GPT-3, Moderation - OpenAI Token 计费与计算 OpenAI API 入门与实战 - OpenAI Models API - OpenAI Completions API - OpenAI Chat Completions API - Completions vs Chat Completions OpenAI 大模型应用实践 - 文本内容补全初探（Text Completion） - 聊天机器人初探（Chat Completion） |
建议阅读： - OpenAI Models - OpenAI Completions API - OpenAI Chat Completions API |
代码： [models] [tiktoken] |
| 周三 7月26日 第3周 | AI大模型应用最佳实践 - 如何提升GPT模型使用效率与质量 - AI大模型应用最佳实践 - 文本创作与生成 - 文章摘要和总结 - 小说生成与内容监管 - 分步骤执行复杂任务 - 评估模型输出质量 - 构造训练标注数据 - 代码调试助手 - 新特性： Function Calling 介绍与实战 |
建议阅读 - GPT Best Practices - Function Calling |
代码： Function Calling |
| 周日 7月30日 | 实战：OpenAI-Translator - OpenAI-Translator 市场需求分析 - OpenAI-Translator 产品定义与功能规划 - OpenAI-Translator 技术方案与架构设计 - OpenAI 模块设计 - OpenAI-Translator 实战 |
代码： pdfplumber |
|
| 周三 8月2日 第4周 | 实战：ChatGPT Plugin 开发 - ChatGPT Plugin 开发指南 - ChatGPT Plugin 介绍 - ChatGPT Plugin 介绍 - 样例项目：待办（Todo）管理插件 - 实战样例部署与测试 - ChatGPT 开发者模式 - 实战：天气预报（Weather Forecast）插件开发 - Weather Forecast Plugin 设计与定义 - 天气预报函数服务化 - 第三方天气查询平台对接 - 实战 Weather Forecast Plugin - Function Calling vs ChatGPT plugin |
代码： [todo list] [Weather Forecast] |
贡献是使开源社区成为学习、激励和创造的惊人之处。非常感谢你所做的任何贡献。如果你有任何建议或功能请求，请先开启一个议题讨论你想要改变的内容。
该项目根据Apache-2.0许可证的条款进行许可。详情请参见LICENSE文件。
Django Peng - [email protected]