【大厂AI课学习笔记】【1.6 人工智能基础知识】(3)神经网络

时间:2024-02-11 23:27:54 标签:  神经网络  

深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅草莓照片)可以使用

多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。

深度学习的最主要特征是使用神经网络作为计算模型。神经网络模型 得名于其对于动物神经元传递信息方式的模拟。

实际上,现在的神经网络模型,和神经,已经没有特别大的关系了。

深度学习的深度,一般指神经网络的层数。一般有2-3个隐藏层;深层神经网络,隐藏层可能有150层;

背景知识梳理:

神经网络的定义

神经网络(Neural Networks)是一种模拟人脑神经元连接方式的计算模型,用于处理信息、学习和识别模式。它由大量相互连接的神经元(或称为节点、单元)组成,每个神经元接收来自其他神经元的输入信号,并根据这些信号产生输出。神经网络通过调整神经元之间的连接权重来学习和适应新数据。

发展脉络

  1. 起源:神经网络的灵感来源于生物学中的神经系统。1943年,心理学家Warren McCulloch和数学家Walter Pitts提出了第一个基于生物神经系统的计算模型。
  2. 感知机:1957年,Frank Rosenblatt发明了感知机(Perceptron),这是一种简单的二元线性分类器,可以学习并解决一些基本问题。然而,它不能处理异或(XOR)等非线性问题。
  3. 反向传播算法:1986年,Rumelhart、Hinton和Williams提出了反向传播(Backpropagation)算法,这是训练多层神经网络的关键技术。它允许网络学习更复杂的非线性模式。
  4. 深度学习:2006年,Hinton等人提出了“深度学习”的概念,并展示了如何使用无监督预训练和有监督微调来训练深度置信网络(DBN)。这标志着深度学习时代的开始。
  5. 卷积神经网络(CNN):Yann LeCun等人在1998年提出了卷积神经网络(Convolutional Neural Networks, CNN),用于图像识别。CNN在图像处理任务中表现出色。
  6. 循环神经网络(RNN):RNN是为了处理序列数据而设计的,它能够捕捉序列中的时间依赖性。RNN在自然语言处理(NLP)和语音识别等领域有广泛应用。
  7. 生成对抗网络(GAN):2014年,Goodfellow等人提出了生成对抗网络(Generative Adversarial Networks, GAN),它由生成器和判别器两个神经网络组成,用于生成逼真的新数据。
  8. Transformer架构:2017年,Vaswani等人提出了Transformer架构,它完全基于自注意力机制(self-attention),并在自然语言处理任务中取得了巨大成功,如BERT、GPT等模型。

神经网络的类型与关键技术构成

  1. 前馈神经网络:信息从输入层单向传递到输出层,没有循环或反馈连接。关键技术包括激活函数(如ReLU、sigmoid、tanh等)、权重初始化和正则化(如L1、L2正则化)。
  2. 卷积神经网络(CNN):专门用于处理图像数据。关键技术包括卷积层、池化层、全连接层和激活函数。CNN通过卷积层提取图像特征,并通过池化层降低数据维度。
  3. 循环神经网络(RNN):处理序列数据,如文本或时间序列数据。关键技术包括循环连接、长短时记忆单元(LSTM)和门控循环单元(GRU),用于捕捉序列中的长期依赖性。
  4. 生成对抗网络(GAN):由生成器和判别器组成,通过对抗性训练生成新数据。关键技术包括生成器和判别器的设计、损失函数的选择以及训练策略。
  5. 自编码器:用于无监督学习,尝试复制其输入到输出。关键技术包括编码器和解码器的设计,以及损失函数(如均方误差)的选择。
  6. Transformer架构:基于自注意力机制处理序列数据。关键技术包括多头自注意力机制、位置编码和前馈神经网络层。

如何构建神经网络

构建神经网络通常涉及以下步骤:

  1. 定义网络结构:确定输入层、隐藏层和输出层的神经元数量以及层与层之间的连接方式。
  2. 初始化权重和偏置:随机初始化神经元的权重和偏置值。
  3. 选择激活函数:为神经网络的每一层选择一个激活函数。
  4. 定义损失函数:根据任务类型(分类、回归等)选择合适的损失函数。
  5. 选择优化器:如梯度下降、随机梯度下降(SGD)、Adam等,用于更新权重和偏置以最小化损失函数。
  6. 训练网络:使用训练数据集进行前向传播计算损失,然后通过反向传播算法计算梯度并更新权重和偏置。
  7. 评估网络性能:使用验证数据集评估网络的性能,并根据需要进行调整(如超参数调优)。
  8. 应用网络:使用测试数据集评估网络的最终性能,并将其应用于实际任务中。

示例

使用TensorFlow构建简单的神经网络进行MNIST手写数字分类
 

import tensorflow as tf 
from tensorflow.keras.datasets import mnist 
from tensorflow.keras.models import Sequential 
from tensorflow.keras.layers import Dense, Flatten 
from tensorflow.keras.losses import SparseCategoricalCrossentropy 
from tensorflow.keras.optimizers import Adam # 加载MNIST数据集 
(train_images, train_labels), (test_images, test_labels) = mnist.load_data() # 数据预处理:归一化和展平 
train_images = train_images.reshape((60000, 28 * 28)) / 255.0 
test_images = test_images.reshape((10000, 28 * 28)) / 255.0 # 构建神经网络模型 
model = Sequential([ Dense(128, activation='relu', input_shape=(28 * 28,)), # 输入层与第一个隐藏层 Dense(64, activation='relu'), # 第二个隐藏层 Dense(10, activation='softmax') # 输出层,10个类别(0-9) 
]) # 编译模型:指定损失函数、优化器和评估指标 
model.compile(optimizer=Adam(), loss=SparseCategoricalCrossentropy(), metrics=['accuracy']) # 训练模型 
model.fit(train_images, train_labels, epochs=5, batch_size=32) # 评估模型性能 
test_loss, test_acc = model.evaluate(test_images, test_labels) 
print(f'Test accuracy: {test_acc}')

这段代码使用TensorFlow库构建了一个简单的三层神经网络(包括输入层、两个隐藏层和一个输出层),用于对MNIST手写数字数据集进行分类。通过调整网络结构、激活函数、损失函数和优化器等组件,可以进一步优化模型的性能。

来源:分享自作者个人站点/博客

智能推荐

深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅草莓照片)可以使用 多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。 深度学习的最主要特征是使用神经网络作为计算模型。神经网络模型 得名于其对于动物神经元传递信息方式的模拟。 实际上,现在的神经网络模型,和神经,已经没有特别大的关系了。 深度学习的深

标签:神经网络  

  目录 必须理解的知识点: 举一个草莓的例子:

标签:人工智能  

6.1 人工智能、机器学习与深度学习的关系 必须要掌握的内容: 如上图:人工智能>机器学习>深度学习。 机器学习是人工智能的一个分支,该领域的主要研究对象是人工智能,特别是如何在经验学习中改进具体算法的性能。 深度学习是一种典型的机器学习方法,是一种基于对数据进行表征学习的算法。

标签:人工智能  

1.3.1 供给侧 技术层面:从实验室走向大规模的商用。 数据层面:数据正式成为重要的生产要素。 市场:供需互促的正向市场环境建立。 资本:走出炒作泡沫,聚焦价值领域。 平台:大厂普遍开放生态。 MORE: 下面是整理的一些背景

标签:人工智能  

(注:腾讯AI课学习笔记。) 1.3.1 需求侧 转型需求:人口红利转化为创新红利。 场景丰富:超大规模且多样的应用场景。主要是我们的场景大,数据资源丰富。 抗疫加速:疫情常态化,催生新需求。 MORE: 一、应

标签:人工智能  

用CNN实现离散数据的分类(以图像分类为例子)感受野感受野(Receptive Field):卷积神经网络各输出特征图中的每个像素点,在原始输入图片上映射区域的大小全零填充目的:希望卷积计算保持输入特征图的尺寸不变卷积输出特征图维度的计算公式

标签:卷积  神经网络  人工智能  

回顾tf.keras搭建神经网络八股的六步法神经网络八股学习笔记import train,testSequential/Classmodel.compilemodel.fitmodel.summary本文内容概述自制数据集,解决本领域的应用数据增强,扩充数据集断点续训,存取模型参数提取,把参数存入文本acc/loss可视化,查看训练效果应用:给图识物品目录实现自制数据集

标签:神经网络  人工智能  

基础知识 基础知识-什么是分类问题 分类问题是根据已有数据,判断结果是正的还是负的(

标签:神经网络  

MP神经网络,即McCulloch-Pitts模型(MCP Model),是神经网络的早期形式之一,由Warren McCulloch和Walter Pitts在1943年提出。这个模型为现代人工神经网络的发展奠

标签:人工智能  

前言 第一次写卷积神经网络,也是照着paddlepaddle的官方文档抄,这里简单讲解一下心得。 首先我们要知道之前写的那些东西都是什么,之前写的我们称之为简单神经网络,也就是简单一层连接输

标签:卷积  

Universe Infinity Inc. 目录 一、学习SpringMVC主要是学什么1、SpringMVC的基本原理

标签:基础知识  

1. ONNX 简介 1.1 什么是 ONNX 开放神经网络交换 ONNX(Open Neural Network Exchange)是一套表示深度神经网络模型的开放格式,由微软和 Facebook

标签:基础知识  

人工智能导论学习笔记课程是CS188伯克利大学人工智能导论参考文献:部分截图来自学校老师的教学PPThttps://zhuanlan.zhihu.com/p/61895500https://zhuanlan.zhihu.com/p/64368643https://zhuanlan.zhihu.com/p/148256240https://zhuanlan.zhihu.com/p/272652797https://blog.csdn.net/qq_45902301/article/details/125055544h

标签:人工智能  导论  学习笔记  

第2章 神经网络基础2.1 机器学习基本概念2.1.1 机器学习的分类机器学习有以下几种常见的分类方法:根据训练数据是否有标签可分为:监督学习:训练数据中每个样本都有标签,通过标签指导模型进行训练无监督学习:训练数据完全没有标签,算法从数据中发现约束关系,如数据之间的关联等,典型的无监督算法有如聚类算法半监督学习:训练数据又有有标签数据,又有无标签数据(GNN划时代的论文GCN的模型就是半监督的)从

标签:神经网络  深入浅出  读书笔记  基础  

前言 第一次写卷积神经网络,也是照着paddlepaddle的官方文档抄,这里简单讲解一下心得。 首先我们要知道之前写的那些东西都是什么,之前写的我们称之为简单神经网络,也就是简单一层连接输

标签:卷积  

观看B站李文周老师的视频学习golang整理的笔记 变量定义var 变量名 变量类型

标签:基础知识  学习笔记  golang  

web基础1.系统架构 B/S :Browser/Server 网站 界面层(UI) 业务逻辑层(业务) 数据访问层(数据库) 静态网页:和服务器没有数据交互 动态网页:网页数据可以和服务器进行数据交互 URL 统一资源定位符 URL格式: schema://host[:port]path [query # frament]https://www.baidu.com/s&#xf

标签:基础知识  

2006年以来,以深度学习为代表的机器学习算法的发展,启发了人工智能的发展。 MORE:   自2006年以来,深度学习成为了机器学习领域的一个重要分支,引领了人工智能的飞速发展。作为人工智能专家,我将阐述这一时期内出现的一些重要算法、定义、关键技术以及应用场景。 重要算法与定义

标签:算法  

关于感知器的兴衰。 MORE: 感知器的兴衰 一、感知器的发明与初期振动 在人工智能的历史长河中,感知器(Perceptron)无疑是一个里程碑式的存在。它最初由心理学家Frank Rosenblatt在1950年代提出,并在随后的几年

标签:算法  

学习笔记系列开头惯例帮忙发布一些寻亲消息,感谢关注! 链接:https://www.mca.gov.cn/lljz/indexdetail.html?id=9295b013729a4202986da46f9632

标签:知识点  

本文深入探讨了前馈神经网络(FNN)的核心原理、结构、训练方法和先进变体。通过Python和PyTorch的实战演示,揭示了FNN的多样化应用。作者TechLead,拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

标签:神经网络  人工智能  基石  

猜你喜欢

循环神经网络简称为RNN,(之前讲到的卷积神经网络简称为CNN)。 以前我们在使用全链接网络的时候,我们将这种网络叫做Dense 或者是Deep。 Dense链接指的是全链接的。 我们输入的数据是数据样本的不同特征:x1,x2,x3....。 对于气象报道,如果我们知道当前的温度和

标签:神经网络  

🚀个人主页:为梦而生~ 关注我一起学习吧! 💡专栏:机器学习 欢迎订阅!相对完整的机器学

标签:卷积  

原创文档编写不易,未经许可请勿转载。文档中有疑问的可以邮件联系我。 邮箱:[email protected]概念k8s中不能直接对容器进行管理,k8s中最小得的理单元即Pod。Pod分为静态POD和动态POD,静态Pod不通过kubelet管理。同一个pod内共享同一个网络命名空间,IP地址等信息没有配置在具体功能性容器上。Pod在k8s中归属apiVersion版本为v1。在编写yaml文件中apiVersion应该设置为v1。kind才能设置成Pod。在k8s中由两种创建pod的方式,一种是通过kubectl run命令;一种是编写yaml文件,使用kubectl  appl

标签:基础知识  学习笔记  k8s  Pod  

第3章 卷积神经网络卷积神经网络CNN是目前应用最广泛的模型之一,具有局部连接、权值共享等特点,是一种深层前馈神经网络。3.1 卷积与池化卷积与池化是CNN中的两个核心操作。3.1.1 信号处理中的卷积题外话:因为这部分的核心知识应该是属于《信号与系统》这门课程的,但...我没学过,所以学起来应该会痛苦面具吧,摘录原书公式的同时我也尽量给出一些自己的理解卷积的一个典型应用:给定输入信号

标签:神经网络  卷积  深入浅出  读书笔记  

先来几张重要的ppt,作为start这张图介绍了图的嵌入表示,通过一个嵌入查找,来表示每一个节点。这张图则是介绍了顶点嵌入的目标,就是使嵌入前和

标签:斯坦福大学  神经网络  

对话系统,Dialogue System,也称为会话代理。是一种模拟人类与人交谈的计算机系统,旨在可以与人类形成连贯通顺的对话,通信方式主要有语音/文本/图片,当然也可以手势/触觉等其他方式  一般我们将对话系统,分为两类: 任务导向性的对话系统。例如问答系统;非任

标签:学习笔记  

在深度学习领域,卷积神经网络(CNN)彻底改变了视觉分析领域。凭借从图像中提取复杂模式和特征的能力,CNN 已成为图像分类、目标检测和面部识别等任务不可或缺的一部分。本文全面概述了 CNN,探讨了其架构、训练过程

标签:卷积  

由于一个学期没有碰Rust,相关知识殆已忘尽。最近各课逐渐停授,余出时间来从基础重温这些知识,也算是对没有写的基础知识的补充。另外这次复习主要参照了Youtube上的Crush Course视频,两个小时的视频一气看下来还是很累的啊。原视频链接下载Rust,并在VSCode环境下使用首先打开Rust官网,点击Get Started,下载对应的64位版本。运行下载程序并启用默认设置就可以。我的电脑里已经有旧版本,故只进行了更新操作。然后找到下载的bin文件夹路径添加环境变量即可,这个路径一般在users/YourName/.cargo/b

标签:基本知识  学习笔记  基础  Rust  

OpenAI 发布 ChatGPT 已经1年多了,生成式人工智能(AIGC)也已经广为人知,我们常常津津乐道于 ChatGPT 和 Claude 这样的人工智能系统能够神奇地生成文本与我们对话,并且能够记忆上下文

标签:人工智能  

1,模型量化概述1.1,模型量化优点1.2,模型量化的方案1.2.1,PTQ 理解1.3,量化的分类1.3.1,线性量化概述2,量化算术2.1,定点和浮点2.2,量化浮点2.2,量化算术3,量化方法的改进3.1,浮点数动态范围选择3.2,最大最小值(MinMax)3.3,滑动平均最大最小值(MovingAverageMinM

标签:神经网络  基础  

1、设计企业网络的基础架构是什么?答:企业网络的基本架构由三部分组成,分别是接入层、汇聚层、核心层。接入层:主要设备是接入交换机,用于接入企业终端设备,如PC、AP、

标签:基础知识  网络工程师  

这节课中介绍了循环神经网络的第一部分,主要介绍了循环神经网络的基本概念,vanilla循环网络架构,RNN的一些应用,vanilla架构的问题,更先进的rnn架构比如GRU和LSTM循环神经网络基本知识vanilla循环网络架构应用与理解vanilla架构的问题LSTMvanilla循环网络架构在之前的讨论中,我们往往以图像分类问题为基础然后展开,训练网络,输入图像,然后我们可以得到相应的图像标签,但在

标签:神经网络  基本知识  umich  cv  

人工智能 (AI) 是一个快速发展的领域,有潜力改变我们的生活和工作方式。人工智能已经为从自动驾驶汽车到个性化医疗等各个行业做出了重大贡献。然而,与任何新技术一样,人工智能也存在许多问题和担忧。在这里,我们将探讨有关人工智能的

标签:人工智能  

前言 针对某类问题,人们常常能够从数学上提出相应的解决思路。但由于问题的复杂性和不确定性,描述解决思路的数学方程往往难以求解。基于求解问题的数学原理,可在原理性方法的指导下构造出相应的神经网络模型,使其通过

标签:神经网络  

1. 多层神经网络1.1. 这一被明斯基和佩珀特所摒弃的、认为很有可能“不育的”带有扩展层的感知机,事实证明反而成了现代人工智能的基础1.2. 网络是以多种方式相互连

标签:神经网络  笔记  

 第2章 神经网络的数学基础 2.1 初识神经网络 我们来看一个具体的神经网络示例,使用 Python 的 Keras 库 来学习手写数字分类。 我们这里要解决的问题是&#

标签:神经网络  

任务目标  经过上次从零开始训练神经网络---Keras【学习笔记】[1/2] 后,这次我们不借助Keras,自己使用代码编写并训练神经网络,以实现输入一张手写数字图片后,网络输出该图片对应的数字的目的。基本要求  我们的代码要导出三个接口,分别完成以下功能:初始化initialisation,设置输入层,中间层,和输出层的节点数。训练train:根据训练数据不断的更新权重值查询query,把新的数据输入给神经网络,网络计算后输出答案。(推理)

标签:神经网络  学习笔记  从零开始  

我们先来总结一下人类识别物体的方法: 定位。这一步对于人眼来说是一个很自然的过程,因为当你去识别图标的时候,你就已经把你的目光放在了图标上。虽然这个行为不是很难,但是很重要。看线条。有没有文字,形状是方的圆的,还是长的短的等等。

标签:卷积  

  本文介绍基于MATLAB实现人工神经网络(ANN)回归的详细代码与操作。目录1 分解代码1.1 循环准备1.2 神经网络构建1.3 数据处理1.4 模型训练参数配置1.5 神经网络实现1.6 精度衡量1.7 保存模型2 完整代码  在之前的一篇博客中,我们对基于MATLAB的随机森林(RF)回归与变量影

标签:神经网络  代码  Matlab  ANN  

图学习 0. 前言1. 图2. 图学习3. 图神经网络小结 0. 前言 近年来&#

标签:神经网络  

图学习 0. 前言1. 图2. 图学习3. 图神经网络小结

标签:神经网络  

Neural Networks神经网络:一种计算模型,由大量的节点(或神经元)直接相互关联而构成。每个节点(除输入节点外)代表一种特定的输出函数(或者认为是运算),称为激励函数;每两个节点的连接都代表该信号在传输中所占的比重(即认为该信号对该节点的影响程度)神经网络三要素:模型、策略、算法概述神经网络三层:

标签:神经网络  机器  

BP神经网络的综述1.1神经网络的定义神经网络(neural network) 是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。神经网络中最基本的成分是神经元 (neuron) 模型,即上述定义中的简单单元,在生物神经网络中,每个神经元与其他神经元相连,当它兴奋时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位,如果某神经元的电位超过了一个阈值 (threshold),那么它就会被激活,即兴奋起来,向其他神经元发送化学物质。1.2感知机与多层网络感知机 (perceptron) 由两层神经元组成,输入层接收外界输入信号后传递给输出

标签:神经网络  机器  

梯度下降算法 写的都很好,第一个看不懂可以接着看第二个,第二个里面有复现代码,第三篇是一篇综述,进阶阶段可以看。 详解梯度下降算法

标签:卷积  

目录 1.模型构造 1.1层和块 1.2自定义块

标签:神经网络  

相关问题

相关文章

热门文章

推荐文章

相关标签