本地运行多种大语言模型:一行代码即可完成 | 开源日报 No.167

时间:2024-02-11 23:31:54 标签:  开源  

picture

ollama/ollama

Stars: 33.5k License: MIT

picture

ollama 是一个轻量级、可扩展的本地语言模型构建和运行框架。

  • 提供简单的 API 用于创建、运行和管理模型
  • 包含丰富的预构建模型库,方便在各种应用中使用
  • 支持从 GGUF、PyTorch 或 Safetensors 导入自定义模型
  • 可以通过命令行进行多种操作,如创建、拉取、删除和复制模型等

dair-ai/ML-YouTube-Courses

Stars: 12.6k License: CC0-1.0

ML-YouTube-Courses 是一个收集整理 YouTube 上最新的机器学习/AI 课程的项目。
该项目主要功能、关键特性、核心优势包括:

  • 收集整理了一系列最新和优质的机器学习课程
  • 涵盖了各种领域,如机器学习、深度学习、自然语言处理等
  • 提供了丰富多样的教育资源,方便用户快速获取相关知识

ardanlabs/service

Stars: 3.2k License: Apache-2.0

service 是使用 Kubernetes 在 Go 中编写服务的起始工具包。
该项目旨在提供一个经过验证的起点,以减少将新项目投入生产所需的重复任务。它使用最小依赖关系,实现成熟代码,并遵循 Go 的最佳实践。该项目为工程师们逻辑地布置了一切,以尽量减少猜测,并使他们能够快速建立对项目的心智模型。

  • 提供用于构建生产级可扩展网络服务应用程序的起始点
  • 利用领域驱动、数据导向架构
  • 可在 Kubernetes 上运行
  • 使用最小依赖关系和符合惯例代码
  • 遵循 Go 最佳实践

wenda-LLM/wenda

Stars: 5.9k License: AGPL-3.0

picture

wenda 是一个 LLM 调用平台。
该项目旨在实现针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题。

其主要功能、关键特性、核心优势包括:

  • 支持多种大语言模型
  • 自动脚本功能
  • 知识库支持
  • 多用户并行使用等

hiyouga/ChatGLM-Efficient-Tuning

Stars: 3.4k License: Apache-2.0

ChatGLM Efficient Tuning 是一个基于 PEFT 的高效 ChatGLM 微调项目。该项目的主要功能是对 ChatGLM-6B 模型进行微调,使用了 PEFT (Prefix Encoding for Fine-Tuning) 方法。

以下是该开源项目的关键特性和核心优势:

  • 支持 LoRA、P-Tuning V2、Freeze 和 Full Tuning 等多种细粒度微调方法。
  • 提供丰富的数据集选择,包括 Stanford Alpaca、GPT-4 Generated Data 等等。
  • 可以在单个 GPU 或分布式环境下进行训练,并支持强化学习与人类反馈 (RLHF) 训练方式。
  • 具备评估模型质量和生成预测结果等功能。

通过这些特性和优势,ChatGLM Efficient Tuning 为用户提供了一套完整而灵活的工具来实现对 ChatGLM 模型进行高效微调。无论您是想尝试不同类型的微调方法还是需要根据自定义数据集完成任务,在这个开源项目中都能找到合适的解决方案。

来源:分享自作者个人站点/博客

智能推荐

代码仓库 大模型训练完之后,怎么知道其回答质量好不好,或者是不是可用的,这就需要我们对大模型进行评测,评测集的制定显得尤为重要。 收集相关

标签:模型  

在过去的几个月里,生成式人工智能领域出现了许多令人兴奋的新进展。 ChatGPT 于 2022 年底发布,席卷了人工智能世界。 作为回应,各行业开始研究大型语言模型以及如何将其纳入其业务中。 然而,在医疗保健、金融和法律行业等敏感应用中,ChatGPT 等公共 API 的隐私一直是一个问题。 然而,最近 Falcon 和 LLaMA 等开源模型的创新使得从开源模型中获得类似 ChatGPT 的质量成为可能。 这些模型的好处是,与 ChatGPT 或 GPT-4 不同,模型权重适用于大多数商业用例。 通过在定制云提供商或本地基础设施上部署这些模型,

标签:开源  

picturegpt-engineer-org/gpt-engineer[1]Stars: 47.6k License: MITGPT-Engineer,AI 帮你写代码!工作流程:通过自然语言指定软件AI 编写和执行代码引导 AI 优化改进核心优势:可以编辑

标签:自然语言  开源  完整  

       欧洲人工智能巨头Mistral AI最近开源Mixtral 8x7b大模型,是一个“专家混合”模型,由八个70亿参数的模型组成。Mistral AI在一篇博客文章(https://mistral.ai/news/mixtral-of-experts/)介绍了Mixtral 8x7b,在许多基准上与GPT-3

标签:模型  

模型介绍Alpaca模型是斯坦福大学研发的LLM(Large Language Model,大语言)开源模型,是一个在52K指令上从LLaMA 7B(Meta公司开源的7B)模型微调而来,具有70亿的模型参数(模型参数越大,模型的推理能力越强,当然随之训练模型的成本也就越高)。LoRA,英文全称Low-Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术。如果想让一个预训练大语言模型能够执行特定领域内的任务,一般需要做fine-tuning,但是目前推

标签:模型  语言  GPT  Alpaca  lora  

OpenAI公司基于GPT模型的ChatGPT风光无两,眼看它起朱楼,眼看它宴宾客,FaceBook终于坐不住了,发布了同样基于LLM的人工智能大语言模型LLaMA,号称包含70亿、130亿、330亿和650亿这4种参数规模的模型,参数是指神经网络中的权重和偏置等可调整的变量,用于训练和优化神经网络的性能,70亿意味着神经网络中有70亿个参数,由此类推。在一些大型神经网络中,每个参数需要使用32位或64位浮点数进行存储,这意味着每个参数需要占用4字节或8字节的存储空间。因此,对于包含70亿个参数的神经网络,其存储空间将分别为8 GB或12GB。此外,神经网络的大小不仅取决于参数的数量,还取决于神经元的数目,层数和其他结构参数等。因此,70亿的神经网络可能

标签:单机  芯片  模型  语言  版本  

哈喽大家好,我是咸鱼我们知道,python 脚本或者说 python 程序其实是一个包含了 python 代码的文件。要让它们实现特定功能,我们需要知道该如何运行(run)它通过运行 python 代码,我们可以验证脚本/程序是否按照我们的期望执行。这也使我们能够对其进行测试和调试,以便找到并修复潜在的 bug在 python 中,有多种方式来运行脚本或程序,取决于小伙伴们的需求和偏好,毕竟萝卜青菜各有所爱接下来,咸鱼将介绍几种常见的 python 代码运行方式原文:https://realpython.com/run-python-scripts/脚本和模块

标签:几种  脚本  代码  方式  python  

ChatGLM模型介绍: ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用! ChatG

标签:模型  

接上篇 在 Mac 上加速 PyTorch 训练,准备完 MPS 环境之后,开始在本地体验 ChatGLM3-6B 模型。 一、下载本仓库:

标签:模型  

国产AI辅助编程工具CodeGeeX是一个使用AI大模型为基座的辅助编程工具,帮助开发人员更快的编写代码。可以自动完成整个函数的编写,只需要根据注释或Tab按键即可。它已经在Java、JavaScript和Python等二十多种语言上进行了训练,并基于大量公开的开源代码、官方文档和公共论坛上的代码来优化自己的算法。CodeGeeX作为一款中国原创的AI辅助编程工具,现在免费提供给所有开发者使用,同时完全开源,程序员使用普遍认为编写代码的效率提升2倍以上。核心功能包括:代码生成与智能补全、自动为代码添加中英文注释、在不同编程语言的代码之间实现准确翻译,包括刚刚更新的“Ask CodeGeeX”功能,是将智

标签:建立一个  多语言  模型  代码  

背景 NL-to-SQL(自然语言到结构化查询语言)任务是自然语言处理(NLP)领域的一个难题。 它涉及将自然语言问题转换为 SQL 查询,然后可以针对关系数据库执行该查询来回答问题。 该任务

标签:自然语言  

一、运行效果图 二、完整代码 #!/usr/bin/env python# -*- coding: utf-8 -*-# author:Wangdali time:2021年1月20日16:08:44#python实现:贪吃蛇'''游戏玩法:回车开始游戏&#xff1

标签:小游戏  

背景在过去的一年,ChatGPT的崛起彻底改变了我们与AI的交互方式。它不再是被动的信息提供者,而是成为了一个可以与我们自由交流、分享知识的伙伴。无论是生活中的琐事,还是工作中的难题,ChatGPT都能给出有价值的建议和信息。同时,ChatGPT也在各个领域引发了深远的变革。在教育领域,ChatGPT可以为学生提供个性化的辅导,帮助他们理解复杂的概念。在商业领域,ChatGPT可以协助员工进行市场调研、数据分析等工作,提高工作效率。在娱乐领域,ChatGPT则可以为游戏和电影创作提供无限灵感。那作为普通开发者的我们,如何拥有一个属于自己的「ChatGPT」呢?技术选型

标签:也能  模型  笔记本  chat  

欢迎关注,我们专注于为IT从业者、学生和爱好者提供实用的资源和帮助。 IT开DD那点小事 互联网技术的后花园,更多访问:besthub.tech

标签:也能  

简介: 本机上运行k8s的各种不同软件的对比和结构图1. 本地k8s运行总结1) 运行软件(1)

标签:k8s  

从​​​​​​​​​​​​​​用llamaindex 部署本地大模型 - 知乎Customizing LLMs within LlamaIndex Abstractions 目的:llamaindex 是一个很好的应用框架,基于此搭建一个RAG应用是一个不错的选择,但是由于llamaindex默认设置是openai的api,国内用不了,以及一些企业想要部…

标签:地大  

基于深度学习大模型实现离线翻译模型私有化部署使用,通过docker打包开源翻译模型,可到内网或者无网络环境下运行使用,可以使用一千多个翻译模型语言模型进行翻译,想要什么语种直接进行指定和修改就行。

标签:模型  

基于深度学习大模型实现离线翻译模型私有化部署使用,通过docker打包开源翻译模型,可到内网或者无网络环境下运行使用,可以使用一千多个翻译模型语言模型进行翻译,想要什么语种直接进行指定和修改就行。

标签:模型  

解决百度地图在模拟器上运行报 java.lang.IllegalArgumentException: No config chosen 问题 1. 问题复现 在近期公司使用模拟器(网易MuMu)进行项目演示时,在进入存在百度地图

标签:器上  

[20221018]本地运行与远程运行.txt--//链接http://blog.tanelpoder.com/2008/02/05/oracle-hidden-costs-revealed-part-1/.--//里面提到一个问题本地运行与远程运行,oracle性能存在怎么区别,理论讲如果不考虑网络传输,两组差别不大.--//因为Oracle是一个客户端服务器数据库系统。所有的执行都是在本地执行的,而不管客户机的位置如何,因此性能是相同的。--//作者给出一个例子,说明一些区别:1.环境:SCOTT@book> @ ver1PORT_STRING     &nbs

标签:txt  

目录Spark本地运行的几个实例代码(Java实现)实例一:词频数统计问题描述过程分析代码运行结果实例二:统计平均年龄问题描述过程分析代码运行结果案例三:统计身高最值问题描述过程分析代码运行结果案例四:统计单词频率问题描述过程分析代码运行结果

标签:几个  实例  代码  Spark  java  

论文标题:MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens 论文作者:Kaizhi Zheng* , Xuehai

标签:模型  

猜你喜欢

大型语言模型 (LLM) 的兴起一直是自然语言处理 (NLP) 领域的一个决定性趋势,导致它们在各种应用程序中的广泛采用。然而,这种进步往往是排他性的,大多数由资源丰富的组织开发的 LLM 仍然无法向公众开放。 这种排他性提出了一个重要的问题:如果有一种方法可以使对这些强大的语言模型的访问民主化,那会怎样?这就是 BLOOM 出现的原因。 本文首先提供了有关其起源的更多详细信息,从而全面概述了 BLOOM 是什么。然后,它介绍了 BLOOM 的技术规范以及

标签:开源  

    每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/ 。 

标签:语言  

方法一:编码-编码字符集-中文-GB2312 这时原程序中文会变成乱码,我是重新输入中文 重

标签:乱码  

文章目录 🍻前言🔸目录结构⚫完整源码🔵源码分析💮注意事项

标签:可直接  

题目:输入两个正整数 m 和 n,求其最大公约数和最小公倍数。求出最大公约数就行,最小公倍数用m*n除以最大公约数就行package myself;import java.util.Scanner;/** * @Auther QY * @Date 2023/12/11 */public class Six { public static void main(String[] args) { Scanner sc = new Scanner(System.in); int m = sc.n

标签:最小公倍数  最大公约数  代码  

Urule开源版简介URule是一款纯Java规则引擎,它以RETE算法为基础,提供了向导式规则集、脚本式规则集、决策表、交叉决策表(PRO版提供)、决策树、评分卡及决策流共六种类型的规则定义方式,配合基于WEB的设计器,可快速实现规则的定义、维护与发布。URule提供了两个版本:一个是基于Apache-2.0协议开源免费版本,URule开源版本第一款基于Apache-2.0协议开源的中式规则引擎;另一个是商用PRO版本,点击http://www.bstek.com 了解更多关于URule商用Pro版更多信息。Urule源代码组织结构项目地址:传送门

标签:开源  结构  代码  系列  Urule  

openfire源码篇(一)检出源码并运行 源码检出 官方github地址 https://github.com/igniterealtime/Openfire 检出源码到本地(请注意

标签:源码  

要说现在人工智能界最火的东西,那大语言模型肯定榜上有名,这可不只是技术上的小花招,它们真的能开启新世界的大门,让咱们想到的事情都能变成现实。 入门级 GPT-2 论文:Language Models are Unsupervised Multitask Learners 刚开始接触大语言模型的话,OpenAI推出的GPT-2小模型版,比如那个117M参数的,是个不错的起点。这类模型对电

标签:模型  

Mistral AI 目前提供两种类型的大型语言模型访问方式: 提供按使用量付费访问最新模型的 API,开源模型可在 Apache 2.0 许可证下使用,可在 Hugging Face 上或直接从文档中获取。 在本指南中,我们概述了 Mistral 7B LLM 以及如何提示它。此外还包括与 Mistral 7B 和微调模型相关的提示、应用、限制、论文和其他阅读材料。

标签:Mistral  

这里写目录标题 机器人领域首个开源视觉-语言操作大模型,RoboFlamingo框架激发开源VLMs更大潜能用大模型帮程序员找Bug,中科院剖析102篇论文总结出这些方案

标签:模型  

这里写目录标题 视觉Mamba来了:速度提升2.8倍,内存能省87%一键实景转动画,清华系初创公司全球首发4D骨骼动画框架,还能生成个性化角色

标签:模型  

清华、小米、华为、 vivo、理想等多机构联合综述,首提个人LLM智能体、划分5级智能水平

标签:模型  

「think step by step」还不够,让模型「think more steps」更有用

标签:模型  

文章目录 大模型推理速度飙升3.6倍,「美杜莎」论文来了,贾扬清:最优雅加速推理方案之一买个机器人端茶倒水有希望了?Meta、纽约大学造了一个OK-Robot

标签:模型  

刚刚,字节版GPTs「扣子」上线了

标签:模型  

文章目录 背景效果实现源码代码解析完整源码下载总结寄语 背景 烟花仿真是一项具有创意

标签:可直接  

前言:全域安全是一种新的安全管理模型,现在用在Laxcus分布式操作系统上,如果能够在ICT领域全面推广,当下计算机的安全问题,包括西工大的泄密事件,都可以避免了。以下是相关介绍,希望这些技术对从事计算机安全设计服务的朋友有所帮助。

标签:安全管理  模型  

哈喽大家好,我是咸鱼不知道你们有没有遇到过下面的情况,以我为例有时候我会收到批量操作服务器的需求,且我会拿到一个服务器 ip 列表,它是一个多行的形式,如下所示# ip 列表192.168.0.1192.168.0.2192.168.0.3192.168.0.4192.168.0.5192.168.0.6但我使用 saltstack 进行批量操作时,我需要将上面的多行 ip 转成一行的形式才能执行 saltstack 命令192.168.0.1,192.

标签:转成  方法  

Osam - Osam是一个启用本地运行的开源“一切分割”模型工具,支持多种接口和自定义视觉模型。 Osam是一个开源工具,它允许本地运行“可对任何内容进行分割”的模型(Segment-Anything Models),

标签:是一个  

Figure 1: Search volumes for “large language models” 近几个月来,大型语言模型(LLM)引起了很大的轰动(见图1)。这种需求导致了利用语言模型的网站和解决方案的不断开发。ChatGPT在2023年1月创下了用户群增长最快的记录,证明了语言模型将继续存在。谷歌对ChatGPT的回应Bard于2023年2月推

标签:模型  

在快速发展的自然语言生成(NLG)评估领域中,引入大型语言模型(LLMs)为评估生成内容质量开辟了新途径,例如,连贯性、创造力和上下文相关性。本综述旨在提供一个关于利用LLMs进行NLG评估的全面概览,这是一个缺乏系统分析的新兴领域。我们提出了一个连贯的分类体

标签:自然语言  

一、背景 现状 网上相关的文章很少有用JB家自带的Run Targets功能实现远程运行的,这个功能在2021版本就出来了,但官方的文档主要围绕Goland和Docker在同一台机器上的情况进行配置,

标签:代码  

一 LLama.cpp LLama.cpp 支持x86,arm,gpu的编译。 1. github 下载llama.cpp https://github.com/ggerganov/llama.cpp.git 2. gem5支持arm架构比较好,

标签:模型  

相关问题

相关文章

热门文章

推荐文章

相关标签