什么是指训练AI所需的数据集的大小？

人工智能（AI）算法需要大型数据集，它们可能很昂贵。那么，数据足够？它主要取决于问题的复杂性，模型的复杂性，数据质量以及需要准确性的水平。本文引用：数据增加技术可以增加数据集的大小，而曲线的研究可以确定是否正在优化训练结果。问题的复杂性是影响所需数据集大小的主要因素。识别图像很复杂，需要更大的培训数据集，而不是简单地对图像进行分类。此外，具有更多功能的问题需要更多的练习示例，以找出所有可能的关系。复杂性也很重要，并且具有更多参数的深入研究模型可能需要大量的数据集才能有效学习。一个常见的拇指政策是“ 10规则”，该规则指出有效培训需要麻木的10倍模型中的参数。噪音最小或不均匀的数据是“高质量”训练数据。获取大量高质量数据可能很困难，但是可以加强较小的数据集以人为地增加数据集尺寸。该参数可用于所有类型的数据。尽管似乎很小的变化就足够了。例如，图像数据集增强的有效形式可能包括废话，便秘，旋转，比例，翻译或增加高斯噪声，如图1.FIG所示。 1。原始图像的实例（左）和其他四个图像来自使用数据添加技术。 （照片：nexocode）偏差和差异指标 - 它可用于确定AI/ML模型的质量。偏见正在预测与过度简单模型相关的错误（也称为拟合不足），而高差异则意味着该模型过于复杂（过于拟合），除了数据本身之外，还考虑了数据集中的“噪声”。 ThE完美模型具有低偏差和差异较低。如图2所示，可以独立考虑这两个指标。但是，对于AI/ML模型，它们可能是成比例的，并且添加模型将导致另一个模型的减少。这被称为“偏见差异权衡”，并且在确定模型是否成功训练时，在研究曲线中的考虑。图2。AI/ML模型旨在提出偏差和差异-IR（左上方目标）的完美组合。 。时期还用于学习曲线，以确定训练周期的最佳数量。研究研究曲线很重要，因为所需的周期数量可以达到数千个。但是，使用更多的时期来“优化”结果并没有更好，因为太多时期的训练可能导致过度拟合。研究曲线将数据量放在X轴上（通常是一个时期），并将Y轴模型（或其他性能指标）的准确性放置。研究CurVE曲线与训练结果相比，INA验证数据集。验证数据可以是独立的数据集，也不是培训数据集的培训子集。并非所有模型都与偏差与差异之间的关系相同。这可能使确定最佳模型很难。通常，当达到全局最小值的偏差和差异的集成时，可以确定最佳模型，如图3A所示。对于某些模型，增加的差异可能比降低偏差（图3B）慢，并且确定最佳模型可能并不简单。在这些情况下，新的或改进的模型可以提供更好的结果。图3。偏见与差异之间的关系 - 并不总是希望确定最佳模式。 。技术增强的使用可能是Masukat的数据低成本。研究曲线可用于研究培训结果，但是找到最佳模型并不总是那么容易，可能需要调整或重新acment。