PyTorch 2.0发布——一个更快、更加Pythonic和灵活的PyTorch版本，让Tranformer运行更快！
在去年12月2日的PyTorch大会上（参考链接：[重磅！PyTorch官宣2.0版本即将发布，最新torch.compile特性说明！](https://www.datalearner.com/blog/1051670030665432
人工智能与大模型最新资讯与技术博客
聚焦人工智能、大模型与深度学习的精选内容，涵盖技术解析、行业洞察和实践经验，帮助你快速掌握值得关注的AI资讯。
最新博客
能否用85000美元从头开始训练一个打败ChatGPT的模型，并在浏览器中运行？
尽管当前ChatGPT和GPT-4非常火热，但是高昂的训练成本和部署成本其实导致大部分个人、学术工作者以及中小企业难以去开发自己的模型。使得使用OpenAI的官方服务几乎成为了一种无可替代的选择。本文介绍的是一种低成本开发高效ChatGPT的思路，我认为它适合一些科研机构去做，也适合中小企业创新的方式。这里提到的思路涉及了一些最近发表的成果和业界的一些实践产出，大家可以参考！
AI盛世如你所愿！昨天2个最新的开源“GPT”模型发布！
在最近的24个小时内，有2个开源的自然语言处理领域的开源预训练大模型发布。这两个模型都是类似GPT的Transformer模型，可以完成和ChatGPT类似的能力。最重要的是这2个模型完全开源！
大模型追踪利器！斯坦福大学发布基础大模型追踪图谱Ecosystem Graphs
斯坦福大学发布的基础大模型追踪图谱Ecosystem Graphs，用图谱的方式给大家呈现了模型之间的联系，让人非常清楚明白追踪不同模型之间的关系。
“GPT”的模型太多无法选择？让大模型帮你选择大模型！浙江大学发布HuggingGPT！
随着ChatGPT的火爆以及MetaAI开源了LLaMA，各家公司好像一夜之间都有了各种ChatGPT模型的研发实力。而针对不同任务和应用构建的LLM更是层出不穷。那么，如何选择合适的模型完成特定的任务，甚至是使用多个模型完成一个复杂的任务似乎仍然很困难。为此，浙江大学与微软亚洲研究院联合发布了一个大模型写作系统HuggingGPT，可以根据输入的任务帮我们选择合适的大模型解决！
重磅好消息！推特开源自家的推荐系统算法！
虽然最近一段时间大模型十分火爆，但是传统的推荐依然是当前很多业务的核心能力，就在几个小时前，Twitter官方开源了自己的推荐系统，并详细介绍了它们的推荐算法。本文将简单介绍一下推特的推荐算法和架构！
彭博社发布金融领域的ChatGPT模型——BloombergGPT
彭博社今天发布了一份研究论文，详细介绍了BloombergGPT的开发，这是一个新的大规模生成式人工智能（AI）模型。这个大型语言模型（LLM）经过专门的金融数据训练，支持金融业内的多种自然语言处理（NLP）任务。
斯坦福大学发布2023年人工智能指数报告——The AI Index 2023
The AI Index报告是斯坦福大学发布的人工智能发展研究报告。最早的报告开始于2017年，每年一个版本，主要是总结过去一年人工智能的发展情况。2023年斯坦福The AI Index已经在近日发布。相比较之前的报告，今年的报告新增对Foundation模型的分析。让我们看看斯坦福大学如何总结2022年人工智能领域的发展情况。
从阿里专家内部交流纪要看国内AI模型发展现状
本文主要描述了阿里眼中国内各家企业的大模型水平以及一些硬件算力的判断，同时结合部分其它信息整理。里面涉及到当前国内各大企业模型水平判断（如百度文心一言、华为盘古等）以及算力储备信息。
HuggingFace过去七天最流行的AI模型一览——预训练大模型绝对王者
HuggingFace是目前最火热的AI社区（HuggingFace简介：https://www.datalearner.com/blog/1051636550099750 ），很多人称之为AI模型的GitHub。包括Google、微软等很多知名企业都在上面发布模型。而HuggingFace上提供的流行的模型也是大家应当关注的内容。本文简单介绍一下2023年4月初的七天（当然包括3月底几天）的最流行的9个模型（为什么9个，因为我发现第10个是一个数据集！服了！）。让大家看看地球人都在关注和使用什么模型。
强大的对象分割开源算法！Meta AI开源Segment Anything: Working（SAM）预训练大模型！
SAM全称是Segment Anything Model，由MetaAI最新发布的一个图像分割领域的预训练模型。该模型十分强大，并且有类似GPT那种基于Prompt的工作能力，在图像分割任务上展示了强大的能力！此外，该模型从数据集到训练代码和预训练结果完全开源！真Open的AI！
预训练大语言模型的三种微调技术总结：fine-tuning、parameter-efficient fine-tuning和prompt-tuning
预训练大模型，尤其是大语言模型已经是当前最火热的AI技术。2018年Google发布BERT模型之后，fine-tuning技术也随之流行，即将预训练模型的权重冻结，然后根据具体任务进行微调变得十分有效且被应用在很多场景。而随着ChatGPT的火热，parameter-efficient fine-tuning和prompt-tuning技术似乎也有替代传统fine-tuning的趋势，本篇论文将简单描述预训练模型领域这三种微调技术及其差别。
一张图总结OpenAI看好的未来AI应用——OpenAI Startup Fund支持的创业企业简介
OpenAI Startup Fund是OpenAI和微软等合作伙伴在2022年推出的一个创业基金，收到OpenAI Startup Fund投资的初创企业几乎可以等同于OpenAI认为的未来AI应用重要方向。这些企业不仅可以获得资金支持，还可以比其它企业更早使用OpenAI的模型。本文将简要介绍当前OpenAI已经投资的企业，它们可能是未来AI领域重要的角色！
预训练大模型时代必备技能——Prompt Tuning简介
通过调整提示文本，可以使语言模型更好地理解任务的要求和上下文，从而提高其在特定任务上的表现。Prompt tuning是使大型语言模型更加智能和高效的关键步骤之一。只有通过精心设计和优化提示文本，我们才能充分发挥大型语言模型的潜力，并使其更好地服务于人类的需求。因此，Prompt engineering，这一种新的工程能力也开始变得重要。
微软开源DeepSpeed Chat——一个端到端的RLHF的pipeline，可以用来训练类ChatGPT模型。
RLHF全称Reinforcement Learning from Human Feedback，是随着ChatGPT火爆之后而被大家所关注的技术。昨天，微软开源了业界第一个RLHF的pipeline框架，可以用来训练类似ChatGPT的模型。
预训练大模型时代必备技巧——提示工程指南（Prompt Engineering Guide）
随着预训练大模型技术的发展，基于prompt方式对模型进行微调获得模型输出已经是一种非常普遍的大模型使用方法。但是，对于同一个问题，使用不同的prompt也会获得不同的结果。为了获得更好的模型输出，对prompt进行调整，学习prompt工程技巧是一种必备的技能。
如何使用git从GitHub上下载项目、更新远端项目并提交本地的更改
介绍如何使用git下载远程、更新远程项目到本地，提交本地更改到远程
微软发布大语言模型与传统编程语言的集成编程框架——Python版本的Semantic Kernel今日发布
目前的LLM有很多限制，有很多问题并不能很好的解决，例如文本输入长度有限、无法记住很早之前的信息等。而这些问题目前也都缺少合适的解决方案。它们所依赖的技术：如任务规划、提示模板、向量化内存等需要的是编程的智慧。Semantic Kernel就是微软在这个背景下推出的一个结合LLM与传统编程技术的编程框架。
OpenAI官方教程：如何使用基于embeddings检索来解决GPT无法处理长文本和最新数据的问题
这是OpenAI官方的cookebook最新更新的一篇技术博客，里面说明了为什么我们需要使用embeddings-based的搜索技术来完成问答任务。
2023年4月中旬值得关注的几个AI模型：Dollly2、MiniGPT-4、LLaVA、DINOv2
AI模型的发展速度令人惊讶，几乎每天都会有新的模型发布。而2023年4月中旬也有很多新的模型发布，我们挑出几个重点给大家介绍一下。
开源可商用大模型再添重磅玩家——StabilityAI发布开源大语言模型StableLM
今天，Stability宣布开源StableLM计划，这是一个正在开发过程的大语言模型，但是它是开源可商用的模型。本文将对该模型做简单的介绍！
如何训练你自己的大语言模型？——来自Replit一线工程师的亲身经验
本文是Replit工程师发表的训练自己的大语言模型的过程的经验和步骤总结。Replit是一家IDE提供商，它们训练LLM的主要目的是解决编程过程的问题。Replit在训练自己的大语言模型时候使用了Databricks、Hugging Face和MosaicML等提供的技术栈。这篇文章提供的都是一线的实际经验，适合ML/AI架构师以及算法工程师学习。
实际案例说明AI时代大语言模型三种微调技术的区别——Prompt-Tuning、Instruction-Tuning和Chain-of-Thought
Prompt-Tuning、Instruction-Tuning和Chain-of-Thought是近几年十分流行的大模型训练技术，本文主要介绍这三种技术及其差别。
500+个优质的ChatGPT的Prompts（模板）
随着ChatGPT的火爆，Prompts概念开始被大家所熟知。早期类似如BERT模型的微调都是通过有监督学习的方式进行。但是随着模型越来越大，冻结大部分参数，根据下游任务做微调对模型的影响越来越小。大家开始发现，让下游任务适应预训练模型的训练结果有更好的性能。而ChatGPT的火爆让大家知道，虽然ChatGPT的能力很强，但是需要很好的提问方式才能让它为你所服务。