1.2 深度学习硬件选择 _内存

目录你真的需要这么一块阵列卡
1. 深度学习电脑选型 1.1 深度学习常用框架
常见的深度学习框架：百度的飞桨框架、的，伯克利亚学院的Caffe，蒙特利尔大学（和非常相似），微软开发的CNTK ，开发的。
深度学习框架为开发者提供了一套工具和接口，用于设计、训练和部署深度学习模型。以下是一些中外常用的深度学习框架：
:
Keras:
:
Caffe:
(CNTK):
MXNet:
:
:
1.2 深度学习硬件选择
硬件怎么?。?
为什么这两款？
CPU不用特别好，深度学习主要依靠GPU进行计算，
内存怎么?。?
内存的选择要遵循几个定律
硬盘怎么选择？
一般是 2+3 的模式，两块固态硬盘做 RAID1 阵列，用作系统引导盘和框架软件的使用。三块大容量的机械硬盘做 RAID5，作为存储数据使用。这种配比可以兼顾存储的性能、安全、性价比。
显卡（GPU）是深度学习的重要部件，甚至比CPU更重要。做深度学习不用GPU只用CPU显然是不明智的，慢的如乌龟，跑个模型等几天，难熬，但适合摸鱼。
GPU 怎么?。可疃妊暗暮诵呐渲茫?只需要记住几个关键的参数即可。
，可以看到 A100 拥有 80G 的最大显存，
48GB 的显存也有非常多的选择。
上述价格有点贵，预算有限的情况下，可以选择 3090.如果确实需要大显存，实惠的方案是购买 2 张 3090 ，通过实现双卡显存共享，享受 48GB 和两张卡的算力。
这几个精度浮点都有什么区别？即单、双、半精度浮点有什么区别？
如果对运算的精度要求不高，可以使用半精度浮点运算就可以，这时核心就派上了用场，Core 专门执行矩阵数学运算，适用于深度学习和某些类型的HPC 。单精度浮点数指的 FP32，是最常见的数据精度，也是深度学习框架默认的精度。

文章插图
总结：深度学习训练，主要注重GPU的单精度和双精度浮点，深度学习推理，注重GPU的半精度。预算有限的话，推荐RTX 3090 。若偏向图像处理类的一般是要求GPU具备高清输出接口，推荐或者RTX A6000 。纯算力的话，推荐A100、V100这一类。
推荐几款机器选型给到大家
戴尔T550、T640塔式服务器，T7920工作站。
R740、、R7525、DSS 8440、等这些机架式服务器。
联想的塔式服务器有ST558、ST650 V2，工作站有P920，机架式服务器SR670 V2、等等。
还有浪潮、HPE等品牌的机器。
1.3 GPU 厂商介绍
GPU (Unit) 市场上有几家主要的生产商，其中和 AMD 是最为人们所熟知的。以下是一些主要的 GPU 生产商和他们的一些知名产品型号（截止到 2022 年 1 月）：
:
AMD:
Intel:
除了这些主要生产商外，还有一些其他公司，如 ARM 和，它们设计 GPU 架构并授权给其他硬件生产商使用。
科普
1. RTX 什么意思
“RTX” 通常与的图形卡产品线相关，尤其是它们的高端图形卡系列。“RTX” 的全称是 “RayTexel ” 。主要特点是以下几点：
光线追踪 (Ray ): 这是 RTX 系列的主要特点之一。光线追踪是一种为场景生成逼真光照效果的技术，可以为图形提供更真实的光和阴影效果。在其 RTX 系列中集成了专门的硬件，称为 “RT Cores”，专门用于加速光线追踪计算。
Cores: 这些是专门为深度学习和人工智能计算而设计的硬件单元。在图形渲染中，它们也被用来加速特定的任务，如 DLSS (DeepSuper ) 。
DLSS (DeepSuper ): 这是的一项专利技术，旨在通过使用深度学习来提高游戏的帧率和图像质量。
简而言之，RTX 主要是的一个品牌名称，代表其最新的图形卡技术，特别是与光线追踪和深度学习相关的功能。
2. ECC自动纠错内存，机器稳定性有保障
是的，您是对的。ECC 是 “Error- Code” 的缩写，中文常称为“纠错码” 。ECC 内存是一种可以自动检测并修复单点错误的内存类型。这意味着，如果内存中的某个位发生了错误（例如，由于宇宙射线或其他原因），ECC 内存可以自动纠正它。
以下是使用 ECC 内存的一些主要优势：
提高系统稳定性：由于 ECC 内存可以自动纠正错误，因此减少了因内存错误导致的系统崩溃或数据损坏的风险。
数据完整性：在某些关键应用中，例如数据库、科学计算或金融交易，数据完整性是至关重要的。ECC 内存可以帮助确保数据不会因内存错误而被损坏。
适合长时间运行的系统：对于需要长时间连续运行的系统，如服务器或数据中心，使用 ECC 内存可以减少由于内存错误导致的不必要的停机时间。
然而，ECC 内存也有一些缺点。首先，它们通常比非 ECC 内存更昂贵。其次，由于额外的纠错硬件，ECC 内存可能会略微降低性能。
总的来说，对于那些需要高度稳定性和数据完整性的应用或环境，ECC 内存是一个很好的选择。
3. CPU支持的内存通道数多，能够带来更好的性能

文章插图
CPU 支持的内存通道数可以影响系统的内存带宽和性能。简单来说，多通道内存架构允许 CPU 同时从多个内存模块中读取或写入数据，从而增加数据传输速率。以下是多通道内存配置的一些优势：
增加内存带宽：多通道内存配置可以显著增加系统的内存带宽。例如，双通道内存配置的理论带宽是单通道配置的两倍，三通道的是三倍，依此类推。
提高系统性能：对于内存带宽敏感的应用程序和任务，多通道内存配置可以提供更好的性能。这包括某些图形任务、大型数据库操作、科学计算和其他高性能计算任务。
更好的并发性：在多任务环境中，多通道内存可以更有效地处理并发的内存访问请求。
然而，需要注意的是，不是所有应用都会从多通道内存中受益。有些应用可能主要受到 CPU 或 GPU 性能、存储速度或其他因素的限制，而不是内存带宽。
为了充分利用多通道内存的优势，用户还需要确保：
总之，多通道内存确实可以提供更好的性能，但具体的性能提升取决于应用的类型和其他系统组件的配置。
4. 可扩展系列处理器，能够支持更多的PCIE通道
“可扩展系列处理器” 通常指的是为高端桌面平台、工作站和数据中心设计的处理器。这些处理器具有更高的核心和线程数，以及更多的 PCIE 通道和其他高级功能，以支持更高的计算和 I/O 性能需求。
PCIE () 是一个高速串行计算机扩展总线标准，用于连接主板上的处理器与各种外部设备，如显卡、固态硬盘、网络卡等。
以下是可扩展系列处理器支持更多 PCIE 通道的一些优势：
更多的设备：更多的 PCIE 通道意味着系统可以支持更多的 PCIE 设备，这对于多 GPU 配置、高性能存储解决方案或其他 I/O 密集型应用非常有用。
增加的带宽：每个 PCIE 通道都提供了一定的数据传输带宽。更多的通道可以提供更高的总体带宽，这对于高带宽需求的应用（如 4K 和 8K 视频编辑、大型数据集处理等）非常有益。
灵活的系统设计：对于 OEM 和系统集成商，更多的 PCIE 通道提供了更大的灵活性，以设计满足特定客户需求的定制解决方案。
减少性能瓶颈：在 I/O 密集型任务中，充足的 PCIe 带宽可以确保数据流畅地在处理器和外部设备之间流动，从而减少性能瓶颈。
总之，可扩展系列处理器通常为高端和企业级市场提供高级功能，其中更多的 PCIE 通道只是许多优势之一。然而，对于大多数消费者和日常用途，标准的桌面处理器和其关联的 PCIE 通道通常已经足够了。
5. Ti是什么寓意
在的 GPU 命名中， “Ti” 是 “” 的缩写。在化学元素周期表中，“Ti” 是钛（）的符号。使用 “Ti” 来表示某一系列图形卡中的高性能版本。
例如，当比较 “ RTX 3060” 和 “ RTX 3060 Ti” 时，后者通常具有更多的 CUDA 核心、更高的时钟速度或其他性能增强功能，从而提供更好的性能。但与此同时，“Ti” 版本的卡通常也会有更高的价格。
所以，在的命名约定中，“Ti” 通常意味着更高的性能和可能的更高价格。这可以帮助消费者更容易地区分和选择在同一系列中不同性能级别的图形卡。
6. CUDA 核心
CUDA 核心是的 GPU 中的并行处理单元，负责执行浮点运算。CUDA 是 “” 的缩写，是开发的并行计算平台和应用程序接口 (API) 。通过 CUDA ，开发者可以利用的 GPU 来执行通用的计算任务。
以下是关于 CUDA 核心的一些关键点：
并行处理：CUDA 核心的主要优势是其数量。高端GPU 可能有数千个 CUDA 核心，允许它们同时处理大量的并行任务。这对于图形渲染和其他并行计算任务（如某些科学计算和深度学习任务）非常有用。
性能指标：在比较不同GPU 时， CUDA 核心的数量经常被用作性能的一个指标。但是，仅仅考虑 CUDA 核心的数量可能不足以给出完整的性能画像，因为时钟速度、内存带宽和其他因素也会影响性能。
编程和开发：提供了 CUDA C/C++ 和其他语言的编程模型，允许开发者直接为 GPU 编写代码。通过这些工具，开发者可以编写利用大量 CUDA 核心进行高度并行计算的代码。
应用领域：CUDA 核心不仅用于图形渲染，还被广泛应用于科学计算、金融建模、深度学习、图像和视频处理等许多其他领域。
版本和架构：随着 GPU 架构的进化，CUDA 核心的设计和功能也在变化。例如，从 Fermi 到、、、和最新的，每一个新架构都带来了性能提升和新功能。
【1.2 深度学习硬件选择】总的来说，CUDA 核心是GPU 中的处理单元，允许 GPU 执行大量的并行操作。通过 CUDA 编程模型，开发者可以充分利用这些核心来加速各种计算密集型任务。
你真的需要这么一块阵列卡
如何从硬件上保证数据安全？以下面这个阵列卡为例，它可以给硬盘组建磁盘阵列，其中用的比较多的是 RAID1 和 RAID5。