标签为 #R# 的博客

大语言模型的技术总结系列一：RNN与Transformer架构的区别以及为什么Transformer更好

大语言模型（Large Language Model，LLM）是近几年进展最大的AI模型。早期的深度学习架构语言模型以RNN为主，现在则基本上转成了Transformer的架构。尽管如此，Transformer本身也是有着不同的区别。而本文是大语言模型系列中的一篇，主要介绍RNN模型与Transformer之间的区别。

Awesome ChatGPT Prompts——一个致力于提供挖掘ChatGPT能力的Prompt收集网站

Awesome ChatGPT Prompts是由JavaScript开发者Fatih Kadir Akın创建的一个网站和应用，里面收集了160多个关于ChatGPT的Prompt模板，可以让ChatGPT变成Linux终端、JavaScript控制台、Excel页面等。这些Prompts收集自优秀的实践案例。

比OpenAI原始的Whisper快70倍的开源语音识别模型Whisper JAX发布！

Whisper是OpenAI在2022年9月份开源的自动语音识别模型。官方宣传其英语的识别水平与人类接近。而2个月后，官方就发布了Whisper V2版本，是第一个版本继续训练2.5倍得到，且加了正则化技术。而今天，一位网友Sanchit Gandhi发布了Whisper JAX，这是对原有版本的优化结果，识别速度最高达到原始模型的70倍！

AI盛世如你所愿！昨天2个最新的开源“GPT”模型发布！

在最近的24个小时内，有2个开源的自然语言处理领域的开源预训练大模型发布。这两个模型都是类似GPT的Transformer模型，可以完成和ChatGPT类似的能力。最重要的是这2个模型完全开源！

彭博社发布金融领域的ChatGPT模型——BloombergGPT

彭博社今天发布了一份研究论文，详细介绍了BloombergGPT的开发，这是一个新的大规模生成式人工智能（AI）模型。这个大型语言模型（LLM）经过专门的金融数据训练，支持金融业内的多种自然语言处理（NLP）任务。

预训练大语言模型的三种微调技术总结：fine-tuning、parameter-efficient fine-tuning和prompt-tuning

预训练大模型，尤其是大语言模型已经是当前最火热的AI技术。2018年Google发布BERT模型之后，fine-tuning技术也随之流行，即将预训练模型的权重冻结，然后根据具体任务进行微调变得十分有效且被应用在很多场景。而随着ChatGPT的火热，parameter-efficient fine-tuning和prompt-tuning技术似乎也有替代传统fine-tuning的趋势，本篇论文将简单描述预训练模型领域这三种微调技术及其差别。

预训练大模型时代必备技能——Prompt Tuning简介

通过调整提示文本，可以使语言模型更好地理解任务的要求和上下文，从而提高其在特定任务上的表现。Prompt tuning是使大型语言模型更加智能和高效的关键步骤之一。只有通过精心设计和优化提示文本，我们才能充分发挥大型语言模型的潜力，并使其更好地服务于人类的需求。因此，Prompt engineering，这一种新的工程能力也开始变得重要。

微软开源DeepSpeed Chat——一个端到端的RLHF的pipeline，可以用来训练类ChatGPT模型。

RLHF全称Reinforcement Learning from Human Feedback，是随着ChatGPT火爆之后而被大家所关注的技术。昨天，微软开源了业界第一个RLHF的pipeline框架，可以用来训练类似ChatGPT的模型。

预训练大模型时代必备技巧——提示工程指南（Prompt Engineering Guide）

随着预训练大模型技术的发展，基于prompt方式对模型进行微调获得模型输出已经是一种非常普遍的大模型使用方法。但是，对于同一个问题，使用不同的prompt也会获得不同的结果。为了获得更好的模型输出，对prompt进行调整，学习prompt工程技巧是一种必备的技能。

微软发布大语言模型与传统编程语言的集成编程框架——Python版本的Semantic Kernel今日发布

目前的LLM有很多限制，有很多问题并不能很好的解决，例如文本输入长度有限、无法记住很早之前的信息等。而这些问题目前也都缺少合适的解决方案。它们所依赖的技术：如任务规划、提示模板、向量化内存等需要的是编程的智慧。Semantic Kernel就是微软在这个背景下推出的一个结合LLM与传统编程技术的编程框架。

500+个优质的ChatGPT的Prompts（模板）

随着ChatGPT的火爆，Prompts概念开始被大家所熟知。早期类似如BERT模型的微调都是通过有监督学习的方式进行。但是随着模型越来越大，冻结大部分参数，根据下游任务做微调对模型的影响越来越小。大家开始发现，让下游任务适应预训练模型的训练结果有更好的性能。而ChatGPT的火爆让大家知道，虽然ChatGPT的能力很强，但是需要很好的提问方式才能让它为你所服务。

为什么最新的大语言模型（如ChatGPT）都使用强化学习来做微调（finetuning）？

最近，随着ChatGPT的火爆，大语言模型（Large language model）再次被大家所关注。当年BERT横空出世的时候，基于BERT做微调风靡全球。但是，最新的大语言模型如ChatGPT都使用强化学习来做微调，而不是用之前大家所知道的有监督的学习。这是为什么呢？著名AI研究员Sebastian Raschka解释了这样一个很重要的转变。大约有5个原因促使了这一转变。

OpenAI开源GPT-2的子词标记化神器——tiktoken，一个超级快的（Byte Pair Encoder，BPE）字节对编码Python库

OpenAI在其官方GitHub上公开了一个最新的开源Python库：tiktoken，这个库主要是用力做字节对编码的。相比较HuggingFace的tokenizer，其速度提升了好几倍。

重磅！PyTorch官宣2.0版本即将发布，最新torch.compile特性说明！

2022年的PyTorch Conference在新奥尔良举办。刚刚会上的keynote官宣PyTorch2.0版本即将到来。PyTorch是目前最流行的深度学习框架之一，它的易用性被广大的用户所喜爱。关于PyTorch2.0，官方透露了一些值得期待的特性。

6张示意图解释6种语言模型（Language Transformer）使用方式

近几年语言模型的发展速度很快，各种大语言预训练模型的推出让算法在各种NLP的任务中都取得了前所未有的成绩。其中2017年谷歌发布的Attention is All You Need论文将transformer架构推向了世界，这也是现在最流行的语言模型结构。威斯康星大学麦迪逊分校的统计学教授Sebastian Raschka总结了6中Language Transformer的使用方法。值得一看。

好东西！Transformer入门神作手把手按行实现Transformer教程The Annotated Transformer2022版本来袭

The Annotated Transfomer是哈佛大学的研究人员于2018年发布的Transformer新手入门教程。这个教程从最基础的理论开始，手把手教你按照最简单的python代码实现Transformer，一经推出就广受好评。2022年，这个入门教程有了新的版本。

Batch Normalization应该在激活函数之前使用还是激活函数之后使用？

Batch Normalization（BN）是深度学习领域最重要的技巧之一，最早由Google的研究人员提出。这个技术可以大大提高深度学习网络的收敛速度。简单来说，BN就是将每一层网络进行归一化，就可以提高整个网络的训练速度，并打乱训练数据，提升精度。但是，BN的使用可以在很多地方，很多人最大的困惑是放在激活函数之前还是激活函数之后使用，著名机器学习领域的博主Santiago总结了这部分需要注意的内容。

重磅！Scikit-learn与Hugging Face强强联手了！

Hugging Face一直在努力支持深度学习，但是，这只是深度学习的一部分。传统统计机器学习领域里面最重要的工具Scikit-learn如今终于和深度学习的开源标杆工具Hugging Face联手。

12倍推理速度提升！Meta AI开源全新的AI推理引擎AITemplate

为了提高AI模型的推理速度，降低在不同GPU硬件部署的成本，Meta AI研究人员在昨天发布了一个全新的AI推理引擎AITemplate（AIT），该引擎是一个Python框架，它在各种广泛使用的人工智能模型（如卷积神经网络、变换器和扩散器）上提供接近硬件原生的Tensor Core（英伟达GPU）和Matrix Core（AMD GPU）性能。

卷到家了！发布2天后MetaAI的Text-to-Video模型MAKE-A-VIDEO的开源PyTorch实现就要来了！

MetaAI在2天前刚发布了一个最新的Text-to-Video模型，让生成模型从逼真的图片生成往前推进到视频生成。当然，官方还是希望将其当作一种SaaS服务提供。但是，才2天，业界基于论文的开源PyTorch实现就已经准备公开，且获得了569个Star！卷到家了！

Stable Diffusion的最新实现——KerasCV的官方实现！

Stable Diffusion是一种功能强大的开源文本到图像（Text-to-Image）生成模型。虽然目前有多个开源项目可以实现基于文本提示（prompt）创建图像，但Stable Diffusion性能极其强大，其结果甚至可以媲美DALL·E2。而现在KerasCV提供了这个模型的官方实现！

KerasCV——一个新的简单易用的计算机视觉（CV）算法库

KerasCV是由Keras官方团队发布的一个计算机视觉框架，可以帮助大家用来处理计算机视觉领域的相关任务和问题。这是2022年4月刚发布的最新产品，由于是官方团队出品的工具，所以质量有保证，且社区活跃，一直在积极更新。

缺少有标注的数据集吗？福音来了——HuggingFace发布few-shot神器SetFit

少量标记的学习（Few-shot learning）是一种在较少标注数据集中进行模型训练的一种学习方法。为了解决大量标注数据难以获取的情况，利用预训练模型，在少量标记的数据中进行微调是一种新的帮助我们进行模型训练的方法。而就在昨天，Hugging Face发布了一个新的语句transformers（Sentence Transformers）框架，可以针对少量标记数据进行模型微调以获取很好的效果。

谷歌官方高性能大规模高维数据处理库TensorStore发布！

今天Google发布了TensorStore，这是一个开源的C++和Python软件库，设计用于存储和操作大规模n维数据。TensorStore已经被用来解决科学计算中的关键工程挑战（例如，管理和处理神经科学中的大型数据集，如石油级的三维电子显微镜数据和神经元活动的 "4d "视频）。TensorStore还被用于创建大规模的机器学习模型，如PaLM，解决了分布式训练期间管理模型参数（检查点）的问题。