如何更好地进行数据采集

工程师经常需要进行数据采集来验证产品的性能和指标，或者对一些特定的应用进行监测和控制，以便确定其物理参数，例如温度、应力、压力和流量。在设计产品时，工程师需要进行各种测量以确保其产品能够达到预期的技术指标。例如在电源表征应用中，工程师可能会测量不同负载条件下的电源输出。在所有负载条件下，电压输出都必须保持稳定，同时产品内部的温度变化也应保持最小。或者，在一家饮料制造厂中，化学工程师可能需要监测最终产品的液体流量。在液体流量达到最小或最大极限值时，则需对其进行调整。 在某些情况下，采集此类数据可能非常困难。有没有更好的办法来采集数据，并保证数据是有效的？本文介绍了几种数据采集应用，并将说明一些不同的工具如何帮助您采集和分析数据。 在本文中，我们将探讨这些应用的具体情况，并向您介绍通过选择适合的数据采集设备，将会为您的数据采集和分析带来哪些帮助。 选择测量设备 在数据采集过程中，许多测量都需要使用传感器将物理现象转换为电压、电阻或频率，再使用适当的测量设备（例如数字万用表）对这些电信号进行测量。 温度测量是数据采集中最常进行的物理测量之一，它可以通过使用热电偶、RTD（电阻式温度探测器）或热敏电阻传感器来实现。热电偶是一个由两种不同金属构成的接点，而该接点在受热时会产生电压。将该电压与一个参考接点进行比较，用两者的差值来确定相关的温度。RTD 和热敏电阻是以电阻为基础制成的传感器。随温度的变化，传感器的输出电阻将出现相应的改变。您应当根据测量的类型以及应用所需的精度和线性度选择合适的传感器。 几乎所有的万用表都可以测量传感器产生的电压或电阻，但并非所有的万用表都可以将电压或电阻转换为物理测量值显示。例如，如果您使用热电偶进行温度测量，就需要一个具有自动转换程序的万用表。使用这些内置的转换程序，可以将原始的热电偶测量结果从电压值转换为温度值。 因此在进行物理测量时，例如上述的电源表征应用，必须选择一个具有自动转换程序的仪器。与此同时，如果您希望进一步地简化数据采集和分析过程，请选择具有下列特性的数据采集设备：�6�1 支持数学方程， 如Mx + B，可以方便地转换其他的传感器输出�6�1 在信号的测量结果超过预定限制阈值时能够触发硬件报警�6�1 包含前端多路复用器，可以将多个测量点或传感器连接到一个测量仪器�6�1 包含能够帮助进行数据采集和分析的软件 使用软件工具采集并分析数据 软件工具也可以让数据采集和分析变得更简单。一般来说，软件工具可以简化仪器的连接，同时无需任何编程即可进行数据采集和分析。Microsoft �0�3- Excel 是一种最常见的数据分析工具 。大多数的 PC 中都装有 Microsoft excel，它的使用非常广泛。作为一款功能强大的电子表格应用软件，它支持插入公式，并包含许多内置的制图功能。部分厂商还提供了 Microsoft Excel 插件，以帮助设置和采集数据。这些产品充分利用微软的专业技术，可以将采集到的数据直接捕获到 Microsoft Excel 中。随后，用户使用微软内置的公式和绘图工具，对这些数据进行处理并绘制成图形。但该工具需要用户熟练掌握 Microsoft Excel 的公式和图形功能。 部分仪器厂商还提供了其他的应用软件，以扩展仪器的功能，使之更好地适用于特定任务。对于数据采集，这些软件产品可以简化仪器的连接，根据需要轻松定义不同的测量、限制阈值和动作。也可以预定或根据特定事件触发数据采集。诸如标度和数学公式等特性也可以让您更方便地对数据进行处理和分析。 我们将通过一个简单的示例，来详细描述上述的电源表征应用。需要采集的数据包括温度、电压和数字测量结果。在所有负载条件下电压输出都必须保持稳定，同时产品内部的温度变化也应保持最小。 我们使用仪器软件来采集和分析这些数据，并选定扫描中包含的独立通道，指定不同的测量功能、范围和分辨率值。 图1 中，通道 1001 至 1005 设置为测量电源中的不同电压，通道 1006 至 1010 设置为测量电源内部不同位置的温度变化。由于该仪器包含热电偶自动转换程序，因此我们无需额外进行转换。温度值直接显示为摄氏度值。通道 2001 至 2002 是数字通道，用于读取电源状态。 Res 列用于指定直流电压测量分辨率，并选择测量的温度标度（摄氏度、华氏度或开氏度）。标度功能（即 Mx + B）用于对每个通道上的读数应用增益和偏置，并可以用来定制线性转换。这在校准损耗、增益或偏置时十分有用。 在每个通道上设置报警。每个测量结果都会与报警限制阈值进行比较。如果测量结果超出限制阈值，就会触发报警。通道 1001 至 1005 上设置了低电压/高电压报警阈值，以确保电压的稳定性。因此，如果电压输出超出限制阈值，则会触发硬件报警 1，开关闭合，并关闭电源。 通道1006 至 1010 上的报警设置用于控制电源内部的温度。如果内部温度过高，就会触发硬件报警 2，开关闭合，提高变速风扇的转速。如果温度降低，将会触发报警 3，再次降低变速风扇的转速。 为进行进一步的分析，可以加入计算通道以进行基本的数学、功率公式或应力公式运算，例如加、乘、除、平方根、dBM、全桥和半桥。图1 使用标准软件工具采集和分析数据 一旦完成对这些通道的配置后，即可预定扫描，在特定时间采集数据。 该软件包会伴随仪器免费提供。此外还有一些更高级的软件包，可以提供更多的控制功能，并允许用户设定限制阈值，指定在超出限制阈值时将会执行的动作。这些软件包还可以使用通用 SCPI 命令控制其他仪器。图 2 显示了某个应用的数据采集结果，其中一个扫描列表用于监测电炉（oven）温度，一旦温度趋于稳定，将发送一个 SCPI 命令来改变电源输出，继而开始新的扫描，并采集新的数据。图2 绘制多个扫描列表（包含极限值和动作脚本）的图形 使用以太网进行远程数据采集 许多新型仪器都具有以太网接口，使您可以通过网络轻松访问测试设备。测试与测量行业中的多家领先制造商和用户联合开发了一个全新的 LXI（仪器在局域网中的扩展）行业标准。该标准以经过验证的以太网标准为基础，对仪器的交互操作做出了规定。因此，不同厂商所生产的 LXI 仪器都会具有类似的实现模式。LXI 标准的主要方面包括： �6�1 通信和连接方案的以太网标准�6�1 定义了编程驱动程序、接口发现和接口安全规则的接口标准�6�1从Web 浏览器访问数据的仪器 Web 服务器要求�6�1 时间同步的触发标准�6�1 物理规格标准，包括尺寸、功率、散热和 LED 指示器等 将设备部署在测量位置 在数据采集应用中，使用 LXI 仪器可以将测试设备轻松部署在测量位置。对于本文前面提到的负责监控饮料生产流程的工程师来说，需要将测量设备部署在整个生产车间的多个不同位置。连接到网络之后，测量设备可以轻松采集测量数据并通过网络发送到中心电脑：无需使用 GPIB/LAN 转换器，也无需布置很长的电缆连接到测量位置。物理布线长度的缩短，可以减少噪声对测量的干扰，降低总体成本。 通过标准的 Web 浏览器访问设备 LXI 仪器的另一个特性就是能够通过标准的 Web 浏览器进行访问。LXI 仪器中装有一个 Web 服务器端程序，用户可以通过它访问和控制该仪器，无需再安装任何特殊的软件。 通过仪器的 Web 服务器端程序，您可以打开 Web 浏览器，输入仪器连接网络的 IP 地址或主机名，便可通过 Web 浏览器直接访问该仪器。 LXI 标准定义了对网页内容的最低要求。某些仪器只具备基本的功能和简单的仪器信息浏览界面，只能用于监测；而另一些仪器则具有功能齐全的图形 Web 界面，用户可以通过该界面全面地访问和控制这些仪器。 对于在饮料工厂中负责监控生产流程的工程师，他们可以使用 LXI Web 界面来监控在不同位置测量得到的结果。或者，借助具有全部测量和控制功能、符合 LXI 标准的仪器，工程师还能够通过图形 Web 界面设置和执行测量。图 3 显示了如何使用标准 Web 浏览器在开关配置窗口设置和执行温度测量。 由于LXI 仪器直接支持温度传感器并具有内部补偿功能，因此传感器转换可以在仪器内部完成。温度测量结果将直接在工程单元中显示。使用图形视图，可以极大幅度地简化测量的设置和执行，不需要使用仪器前面板。图3：通过 Web 浏览器配置、执行测量或只是监视测量结果总结 综上所述，数据采集和分析在某些情况下会很困难。使用适当的测量硬件和软件工具可以简化这项工作，并提高采集数据的效用。�6�1 使用具有自动转换程序、数学运算功能、告警和多通道输入等特性的仪器，可以轻松进行数据采集和解读。�6�1 使用软件工具，可以更轻松地实现数据设置、执行和分析。�6�1 使用符合 LXI 标准的仪器，可以获得更多优势：通过嵌入式图形 Web 界面，远程访问和控制测量，轻松地进行测试设置、执行测试和故障诊断。

1、网站日志文件：是做原始的数据获取方式，主要在服务端完成，在网站的应用服务器配置相应的写日志的功能就能实现。

优势：完整的服务端请求记录，包括爬虫等的请求；

缺陷：（1）、日志的获取和清洗过滤成本较高;（2）、无用日志对统计干扰造成数据不准确；（3）灵活性有限（页面端很多操作无法记录）。

2、Web Beacons:实现方式是在需要统计的网站页面或者模块上嵌入一个11像素的透明，用户完全察觉不到，当用户访问该网友的同时会请求透明，并完成页面访问的记录工作，就像是在纸上画一个不易察觉的小点来标记那张纸。它实现了日志记录服务器与网站应用服务器的分离。

优势：（1）、日志服务器与应用服务器分离；（2）、数据获取的可控性使日志处理成本降低。

缺陷：（1）、需要在页面植入小；（2）、获取信息比较有限；（3）、无法获取蜘蛛等不请求的访问记录。

3、JS页面标记：是Web Beacons的改进，是在页面端嵌入JS标记代码，当用户访问网页时同时执行JS代码，JS代码会将一些统计需要的信息以URL参数的形式附带在请求地址的后面，然后再向服务器请求，这样日志服务器就可以获取比较完整的访问数据啦。

优势：（1）、数据获取的可控性和灵活性较高；（2）、可以对页面端操作进行记录；（3）、获取的数据比较完整丰富。

缺陷：（1）、需要在页面植入JS标记代码；（2）、当用户禁用JS功能时无法获取数据；（3）、无法获取蜘蛛等不请求JS的访问记录。

1、设备类：

指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据采集系统是结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。比如条码机、扫描仪等都是数据采集工具（系统）。

2、网络类：

用来批量采集网页，论坛等的内容，直接保存到数据库或发布到网络的一种信息化工具。可以根据用户设定的规则自动采集原网页，获取格式网页中需要的内容，也可以对数据进行处理。

数据采集系统包括了：可视化的报表定义、审核关系的定义、报表的审批和发布、数据填报、数据预处理、数据评审、综合查询统计等功能模块。

通过信息采集网络化和数字化，扩大数据采集的覆盖范围，提高审核工作的全面性、及时性和准确性；最终实现相关业务工作管理现代化、程序规范化、决策科学化，服务网络化。

扩展资料

数据采集系统特点：

a、数据采集通用性较强。不仅可采集电气量，亦可采集非电气量。电气参数采集用交流离散采样，非电气参数采集采用继电器巡测，信号处理由高精度隔离运算放大器AD202JY调理，线性度好，精度高。

b、整个系统采用分布式结构，软、硬件均采用了模块化设计。数据采集部分采用自行开发的带光隔离的RS-485网，通信效率高，安全性好，结构简单。

后台系统可根据实际被监控系统规模大小及要求，构成485网、Novell网及WindowsNT网等分布式网络。由于软、硬件均为分布式、模块化结构，因而便于系统升级、维护，且根据需要组成不同的系统。

c、数据处理在WindowsNT平台上采用VisualC++语言编程，处理能力强、速度快、界面友好，可实现网络数据共享。

d、整个系统自行开发，符合我国国情。对发电厂原有系统的改动很小，系统造价较低，比较适合中小型发电厂技术改造需要。

-数据采集系统

串口服务器的串口要设置波特率，要与设备串口发送数据的波特率相同，看一下设备说明书，它串口发送数据的协议是什么，包括波特率，数据位数(有7位的)，停止位位数等，另外串口服务器要通过网线连接到交换机上，电脑也连接的交换机，设置网络配置等，才能收到串口服务器发上来的数据。

一、软件接口方式

各个软件厂商提供数据接口，实现数据采集汇聚。

二、开放数据库方式

实现数据的采集汇聚，开放数据库是最直接的一种方式。

两个系统分别有各自的数据库，同类型的数据库之间是比较方便的：

1 如果两个数据库在同一个服务器上，只要用户名设置的没有问题，就可以直接相互访问，需要在from后将其数据库名称及表的架构所有者带上即可。

select from DATABASE1dbotable1

2 如果两个系统的数据库不在一个服务器上，建议采用链接服务器的形式处理，或者使用openset和opendatasource的方式，这个需要对数据库的访问进行外围服务器的配置。

三、基于底层数据交换的数据直接采集方式

101 异构数据采集技术是通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

技术特点如下：

1 无需原软件厂商配合；

2 实时数据采集，数据端到端的响应速度达秒级；

3 兼容性强，可采集汇聚Windows平台各种软件系统数据；

4 输出结构化数据，作为数据挖掘、大数据分析应用的基础；

5 自动建立数据间关联，实施周期短、简单高效；

6 支持自动导入历史数据，通过I/O人工智能自动将数据写入目标软件；

7 配置简单、实施周期短。

基于底层数据交换的数据直接采集方式，摆脱对软件厂商的依赖，不需要软件厂商配合，不仅需要投入大量的时间、精力与资金，不用担心系统开发团队解体、源代码丢失等原因导致系统数据采集成死局。

直接从各式各样的软件系统中开采数据，源源不断获取精准、实时的数据，自动建立数据关联，输出利用率极高的结构化数据，让不同系统的数据源有序、安全、可控的联动流通，提供决策支持、提高运营效率、产生经济价值。

GIS数据采集器。如掌测天下Q5，就是一款典型的GIS服务器，便携式GIS采集器。它采用的是工业级一体化集成设计，其集GPS、Windows系统、数码相机、麦克风、3G通信、蓝牙通讯、海量存储、USB/RS232端口、SD卡扩展等多种功能于一身/