将公共数据转化为有意义的、可用的信息是现今商业世界中最重要的竞争优势来源了。将数据显示得更易于理解以及找到未来的方向已经变成全球企业的企业信息技术部门最大的挑战之一了。有三个与数据集成相关的大分类：
• 技术挑战
• 公司问题
• 经济挑战
在该文里，我们将详细地探讨这些挑战，并讨论怎样使用Microsoft SQL Server 2008集成服务(SSIS)来解决它们。首先，你应该在真实环境中查看下这些问题。
1.1 一个真实场景
一个大型的全球运输公司使用它的数据仓库来分析它操作的性能以及来预测它预定运输的可能变化。
1.2 数据源
公司的主要数据来源包括从它的基于DB2订单登陆系统而来得的订单数据、从它基于SQL Server的客户关系管理系统(CRM)而来的客户数据、以及从它基于Oracle的ERP系统而来的零售数据。除了从这些主要系统而来的数据之外，你可以将跟踪“特别”事件的电子数据表数据合并到数据仓库里，这些数据是由船运管理员手动输入的。目前，你可以合并延时地从多种来源的文本文件获得的外部数据，例如天气信息、交通状况、和销售细节(对于转包合同的运输)。
1.3 数据消耗
不只是这些数据来源不同，消费者在他们的需求和地理位置方面也是不同的。这个多样性导致了本地系统的扩张。信息技术部门的一个主要作用是至少为它的客户数据建立一个“真实的单一版本”。
1.4 数据集成要求
由于数据、商业需求和用户要求的多样性，信息技术部门制定了下面的数据集成要求：
• 它们必须提供从内部和外部数据源集成获得的可靠而一致的历史和最新数据。
• 为了降低数据获取方面的延迟，从供应商和零售商处获得的数据必须可以通过Web services 或一些其它的直接机制——例如FTP——来获得。
• 它们需要清理和删除重复数据，否则就加强数据质量。
• 逐渐增加的全球调整性
图1
 |
| 图1 |
最后，当你需要应用程序集成的实时事务型技术以及面向批处理的大型数据集成技术来解决企业的商业问题时，关于数据集成是怎样紧密地绑定到公司的整个集成架构中去的问题就更为重要了。
2.2 公司挑战
在大型公司里，数据集成有两个大问题，就是“力量”挑战以及“舒适区域”挑战。
2.2.1 力量挑战
数据就是力量，并且通常很难使人们将数据看作公司的真实有价共享资产。要成功地进行企业数据集成，那么所有的多数据源所有者必须了解这个项目的目的和发展方向。缺乏相关部分的协作是数据集成项目失败的一个主要原因。行政赞助、构建共识和具有几个资金管理人的强大数据集成团队是可以帮助解决问题的一些成功关键因素。
2.2.2 舒适区域挑战
当你以多种方式分析一个单独需求的上下文时，你可以解决数据集成方面的挑战。手写代码实现大约60%的数据集成。解决类似问题所使用的技术从复制、ETL、SQL，到企业应用程序集成(EAI)。人们倾向于使用他们所熟悉的技术。尽管这些方法具有重叠的功能并可能在单独的情况下进行这个工作，但这些技术被优化以用于解决不同的问题。当试图解决企业数据集成问题时，缺乏一个选择了适当技术的可靠架构可能是失败的原因。
2.3 经济挑战
之前提到的公司和技术相关问题一起使得数据集成成为所有数据仓库/商业智能项目的最昂贵部分。增加数据集成成本的主要因素有：
3.2.2 SSIS用于数据仓库加载
SSIS是一个广泛的、功能完全的ETL工具。它的功能、级别和性能可与市场中的高端竞争者相比较，但价格只相当于它们的一小部分。数据集成管道架构允许它使用同时从多个数据源而来的数据、执行多个复杂的转换，然后将数据一起存储到多个目的地去。这个架构允许SSIS不只用于大型数据集，还可用于复杂的数据流。因为数据流是从数据源到目的地，你可以分割、合并，以及将数据流与其它数据流结合，并进行操纵。图3显示了这样一个数据流的例子。
图3
 |
| 图1 |
SQL Server 2008包含对变化数据捕捉(CDC)的支持，你可以使用CDC来记录对SQL Server数据表的插入、更新和删除活动，并且使这个变化细节可以以一种简单使用的关系型格式来使用。当使用SQL Server 2008集成服务来执行一个ETL解决方案用以确保只有变化的数据被包括进提取过程时，你可以利用CDC，这使得不会执行在每个ETL操作里包含未改变数据的全部数据刷新。
SSIS通过使用一组专门的叫做适配器的组件使得可以使用从许多数据源获得的数据，包括管理的(ADO.NET)、OLE DB、ODBC 、文本文件、Microsoft Office Excel®以及XML。SSIS甚至可以使用从定制数据适配器获得的数据(由内部开发的或第三方开发的)，所以你可以将遗留数据加载逻辑封装进一个数据源，然后你可以将它无缝地集成进SSIS数据流。SSIS包含一组强大的数据转换组件，它们允许进行对于建立数据仓库来说非常重要的数据操纵。这些转换组件包括：
· 聚合。在一个单独的传递里执行多个聚合。
· 分类。在流里分类数据。
· 查找。执行灵活的查找操作来参考数据集。
· Pivot和UnPivot。流里面两个单独的转换透视和逆透视数据。
· Merge、Merge Join和UnionAll。可以执行join和union操作。
· 派生列(Derived Column)。 执行列级别的操纵，例如string、numeric和date/time 操作，并编码进行页面转化。这个组件封装了其它供应商可能会分解成许多不同转化的东西。
· 数据转换。在多种类型之间转换数据(例如numeric和string)。
· 审查。Audit. 用元数据和其它操作的审查数据添加字段。
除了这些主要的数据仓库转换，SSIS还包括对高级数据仓库需求的支持，例如缓慢变化维(SCD)。在SSIS中的SCD向导指导用户指定他们对管理缓慢变化维的需求，并且基于他们的输入，生成一个具有多转换的数据流来执行缓慢变化维加载。提供了对标准类型1和2SCD以及两个新的SCD类型(Fixed Attributes和Inferred Members)的支持。图4显示了一个SCD向导的页面。
图4
 |
| 图1 |
图5显示了这个向导产生的数据流。
3.2.3 SSIS和数据质量
SSIS的一个主要特性，以及它的集成数据的能力，是它集成不同技术来操纵数据的能力。这使得SSIS包含了创新的基于“模糊逻辑”的数据清理组件。Microsoft研究实验室开发了这些组件，并且他们展示了在这个领域的最新研究。采用的方法是一个独立的域而且不依赖于任何特定的域数据，例如地址/邮编参考数据。这使得你可以将这些转换用于清理大多数类型的数据，而不仅仅是地址数据。
SSIS与分析服务的数据挖掘功能深度集成。数据挖掘抽取了数据集的格式并将它们封装到一个挖掘模型里。然后你可以使用这个挖掘模型来预测一个数据集包含什么数据以及什么数据是反常的。这样你就可以将数据挖掘作为一个实现数据质量的工具。
在SSIS中对复杂数据路由的支持不仅帮助你确认异常数据，而且还可以自动修改并用更好的值来替代它。这使得“闭环”清理场景可用。图6显示了一个闭环清理数据流的例子。
图7
 |
| 图1 |
图8显示了在Report Wizard里SSIS包作为一个数据源来使用。
在ETL工具透视图里，这个场景是非常不寻常的，因为没有数据提取、转换或加载。
3.2.5 SSIS，集成平台
SSIS超出了一个ETL工具的范畴，不只在使得非传统场景可用方面，还因为它是一个用于数据集成的真正平台。SSIS是SQL Server 商业智能(BI)平台的一部分，它使得开发端对端商业智能应用程序成为可能。
集成的开发平台
SQL Server 集成服务、分析服务，以及报表服务都使用一个基于通用的Microsoft Visual Studio®的开发环境，叫做SQL Server 商业智能(BI)开发套件。商业智能开发套件提供了一个用于商业智能应用程序开发的集成开发环境(IDE)。这个共享的基础构造使得可以在多个开发项目(集成、分析、和报表)之间进行元数据级别的集成。这个共享构造的一个例子是数据源视图(DSV)，它是一个脱机的数据源schema/view定义，并被所有的三种商业智能项目类型所使用。
这个IDE提供了与其它软件集成的工具，例如版本控制软件(例如VSS)，以及对基于团队的特性例如“check-in/check-out”的支持，而因此它满足了用于商业智能应用程序的企业级面向团队开发环境的需求。图9显示了一个商业智能开发套件解决方案，它包含了集成、分析和报表项目
图9
 |
| 图1 |
它不只提供了一个单独的环境用于开发商业智能应用程序，它还用于开发其它的Visual Studio 项目(使用Visual C#®、Visual Basic® .NET等等)，并因此可以提供给开发人员一个真实的端对端开发体验。
除了集成的商业智能开发环境，商业智能开发套件还具有用于真实的运行时调试SSIS包的功能。这些包括了设置检查点和支持标准开发构造的能力，例如观察变量。一个真正的特有功能是Data Viewer，它提供了在数据流管道中集成服务处理数据记录时查看这些数据记录的能力。这个可视化的数据可以是常规的文本网格形式或一个图表展示，例如一个扩散图或条图。事实上，可以有多个连接的阅览器，它们可以同时地以多种格式显示数据。图10显示了一个使用扩散图和文本网格可视的地理数据例子。
图11
 |
| 图1 |
这个可扩展性模型使得SSIS不仅仅是一个数据集成工具，还是一个集成总线，像数据挖掘、文本挖掘和统一维度模型(Unified Dimensional Model，UDM)这样的技术可以简单地插入其中，使得可以使用围绕许多任意数据操纵和结构的复杂集成场景。
4、使得数据集成易于得到
SSIS的灵活的、可扩展的架构使它可以解决该文之前提到的数据集成面临的大多数技术挑战。如图12所示，SSIS消除了(或至少降为最低)不必要的分级。因为它在一个单独的管道操作中执行复杂的数据操纵，它现在可以在一个对结束循环和采取行动很有用的时间框架中对数据的变更和格式快速反应。这是与依赖于数据分级的传统架构相比，传统架构不能结束循环和对数据采取有效行动。
将公共数据转化为有意义的、可用的信息是现今商业世界中最重要的竞争优势来源了。将数据显示得更易于理解以及找到未来的方向已经变成全球企业的企业信息技术部门最大的挑战之一了。有三个与数据集成相关的大分类：
• 技术挑战
• 公司问题
• 经济挑战
在该文里，我们将详细地探讨这些挑战，并讨论怎样使用Microsoft SQL Server 2008集成服务(SSIS)来解决它们。首先，你应该在真实环境中查看下这些问题。
1.1 一个真实场景
一个大型的全球运输公司使用它的数据仓库来分析它操作的性能以及来预测它预定运输的可能变化。
1.2 数据源
公司的主要数据来源包括从它的基于DB2订单登陆系统而来得的订单数据、从它基于SQL Server的客户关系管理系统(CRM)而来的客户数据、以及从它基于Oracle的ERP系统而来的零售数据。除了从这些主要系统而来的数据之外，你可以将跟踪“特别”事件的电子数据表数据合并到数据仓库里，这些数据是由船运管理员手动输入的。目前，你可以合并延时地从多种来源的文本文件获得的外部数据，例如天气信息、交通状况、和销售细节(对于转包合同的运输)。
1.3 数据消耗
不只是这些数据来源不同，消费者在他们的需求和地理位置方面也是不同的。这个多样性导致了本地系统的扩张。信息技术部门的一个主要作用是至少为它的客户数据建立一个“真实的单一版本”。
1.4 数据集成要求
由于数据、商业需求和用户要求的多样性，信息技术部门制定了下面的数据集成要求：
• 它们必须提供从内部和外部数据源集成获得的可靠而一致的历史和最新数据。
• 为了降低数据获取方面的延迟，从供应商和零售商处获得的数据必须可以通过Web services 或一些其它的直接机制——例如FTP——来获得。
• 它们需要清理和删除重复数据，否则就加强数据质量。
• 逐渐增加的全球调整性
图1
|
| 图1 |
最后，当你需要应用程序集成的实时事务型技术以及面向批处理的大型数据集成技术来解决企业的商业问题时，关于数据集成是怎样紧密地绑定到公司的整个集成架构中去的问题就更为重要了。
2.2 公司挑战
在大型公司里，数据集成有两个大问题，就是“力量”挑战以及“舒适区域”挑战。
2.2.1 力量挑战
数据就是力量，并且通常很难使人们将数据看作公司的真实有价共享资产。要成功地进行企业数据集成，那么所有的多数据源所有者必须了解这个项目的目的和发展方向。缺乏相关部分的协作是数据集成项目失败的一个主要原因。行政赞助、构建共识和具有几个资金管理人的强大数据集成团队是可以帮助解决问题的一些成功关键因素。
2.2.2 舒适区域挑战
当你以多种方式分析一个单独需求的上下文时，你可以解决数据集成方面的挑战。手写代码实现大约60%的数据集成。解决类似问题所使用的技术从复制、ETL、SQL，到企业应用程序集成(EAI)。人们倾向于使用他们所熟悉的技术。尽管这些方法具有重叠的功能并可能在单独的情况下进行这个工作，但这些技术被优化以用于解决不同的问题。当试图解决企业数据集成问题时，缺乏一个选择了适当技术的可靠架构可能是失败的原因。
2.3 经济挑战
之前提到的公司和技术相关问题一起使得数据集成成为所有数据仓库/商业智能项目的最昂贵部分。增加数据集成成本的主要因素有：
3.2.2 SSIS用于数据仓库加载
SSIS是一个广泛的、功能完全的ETL工具。它的功能、级别和性能可与市场中的高端竞争者相比较，但价格只相当于它们的一小部分。数据集成管道架构允许它使用同时从多个数据源而来的数据、执行多个复杂的转换，然后将数据一起存储到多个目的地去。这个架构允许SSIS不只用于大型数据集，还可用于复杂的数据流。因为数据流是从数据源到目的地，你可以分割、合并，以及将数据流与其它数据流结合，并进行操纵。图3显示了这样一个数据流的例子。
图3
|
| 图1 |
SQL Server 2008包含对变化数据捕捉(CDC)的支持，你可以使用CDC来记录对SQL Server数据表的插入、更新和删除活动，并且使这个变化细节可以以一种简单使用的关系型格式来使用。当使用SQL Server 2008集成服务来执行一个ETL解决方案用以确保只有变化的数据被包括进提取过程时，你可以利用CDC，这使得不会执行在每个ETL操作里包含未改变数据的全部数据刷新。
SSIS通过使用一组专门的叫做适配器的组件使得可以使用从许多数据源获得的数据，包括管理的(ADO.NET)、OLE DB、ODBC 、文本文件、Microsoft Office Excel®以及XML。SSIS甚至可以使用从定制数据适配器获得的数据(由内部开发的或第三方开发的)，所以你可以将遗留数据加载逻辑封装进一个数据源，然后你可以将它无缝地集成进SSIS数据流。SSIS包含一组强大的数据转换组件，它们允许进行对于建立数据仓库来说非常重要的数据操纵。这些转换组件包括：
· 聚合。在一个单独的传递里执行多个聚合。
· 分类。在流里分类数据。
· 查找。执行灵活的查找操作来参考数据集。
· Pivot和UnPivot。流里面两个单独的转换透视和逆透视数据。
· Merge、Merge Join和UnionAll。可以执行join和union操作。
· 派生列(Derived Column)。 执行列级别的操纵，例如string、numeric和date/time 操作，并编码进行页面转化。这个组件封装了其它供应商可能会分解成许多不同转化的东西。
· 数据转换。在多种类型之间转换数据(例如numeric和string)。
· 审查。Audit. 用元数据和其它操作的审查数据添加字段。
除了这些主要的数据仓库转换，SSIS还包括对高级数据仓库需求的支持，例如缓慢变化维(SCD)。在SSIS中的SCD向导指导用户指定他们对管理缓慢变化维的需求，并且基于他们的输入，生成一个具有多转换的数据流来执行缓慢变化维加载。提供了对标准类型1和2SCD以及两个新的SCD类型(Fixed Attributes和Inferred Members)的支持。图4显示了一个SCD向导的页面。
图4
|
| 图1 |
图5显示了这个向导产生的数据流。
图6
 |
| 图1 |
除了它的内置数据质量特性，SSIS还可以扩展为与第三方数据清理解决方案紧密协作。
3.2.4 超出传统ETL的SSIS应用程序
数据流管道操纵几乎任何类型数据的能力、与分析服务的深度集成、对使用许多数据操纵技术对它进行扩展的支持，以及包含了一个丰富的工作流引擎，这些使得SSIS可以用在很多不是传统的ETL场景中。
服务面向架构
SSIS包括对数据流管道中源XML数据的支持，包括从磁盘上文件中获得的数据以及通过HTTP的URL。XML数据是“粉碎”放到表格数据中的，然后它就可以在数据流中很容易地进行操纵。这个对XML的支持可以与对Web services 的支持一起使用。SSIS可以与控制流中的Web services进行交互以捕捉XML数据。
你可以从文件中、从Microsoft Message Queuing(MSMQ)中，以及通过HTTP从Web捕捉XML。SSIS使得可以操纵具有XSLT、XPATH、diff/merge、等等的 XML。并且可以将这个XML放到数据流中。
这个支持使得SSIS可以成为灵活的服务面向架构(SOA)的一部分。.
数据和文本挖掘
SSIS不只具有与分析服务数据挖掘功能的深度集成，它还具有文本挖掘组件。文本挖掘(也被成为文本分类)围绕确定商业种类和文本数据(单词和短语)之间的关系。这使得可以发现文本数据中的关键术语，并且基于此，自动地确认“感兴趣”的文本。这反过来可以驱使“闭环”动作以完成商业目的，例如增加客户满意度和增强产品和服务的质量。.
按需数据源
SSIS中的一个特有功能是DataReader 目的地，它将数据放到一个ADO.NET DataReader 中。当这个组件被包含进一个数据流管道中时，你可以使用包含了DataReader 目的地作为一个数据源的包，它作为ADO.NET DataReader 来显示。所以你可以将SSIS不仅作为一个传统的ETL来加载数据仓库，还可以作为一个可以按需地从多个数据源发送集成的、一致的和干净数据的数据源。例如，你可以通过使用一个SSIS包作为报表服务的数据源，从而帮助它使用从多个不同数据源而来的数据。
一个集成所有这些特性的可能场景包含从RSS feeds确认和发送感兴趣的文章作为一个常规报表的一部分。图7显示了一个SSIS包通过Internet 获得从RSS feeds而来的源数据，与从Web service 而来的数据相集成，执行文本挖掘从RSS feeds找到感兴趣的文章，然后将感兴趣的文章放到一个DataReader目的地中去，最后由一个报表服务的报表使用。
图8
 |
| 图1 |
在ETL工具透视图里，这个场景是非常不寻常的，因为没有数据提取、转换或加载。
3.2.5 SSIS，集成平台
SSIS超出了一个ETL工具的范畴，不只在使得非传统场景可用方面，还因为它是一个用于数据集成的真正平台。SSIS是SQL Server 商业智能(BI)平台的一部分，它使得开发端对端商业智能应用程序成为可能。
集成的开发平台
SQL Server 集成服务、分析服务，以及报表服务都使用一个基于通用的Microsoft Visual Studio®的开发环境，叫做SQL Server 商业智能(BI)开发套件。商业智能开发套件提供了一个用于商业智能应用程序开发的集成开发环境(IDE)。这个共享的基础构造使得可以在多个开发项目(集成、分析、和报表)之间进行元数据级别的集成。这个共享构造的一个例子是数据源视图(DSV)，它是一个脱机的数据源schema/view定义，并被所有的三种商业智能项目类型所使用。
这个IDE提供了与其它软件集成的工具，例如版本控制软件(例如VSS)，以及对基于团队的特性例如“check-in/check-out”的支持，而因此它满足了用于商业智能应用程序的企业级面向团队开发环境的需求。图9显示了一个商业智能开发套件解决方案，它包含了集成、分析和报表项目
图9
|
| 图1 |
它不只提供了一个单独的环境用于开发商业智能应用程序，它还用于开发其它的Visual Studio 项目(使用Visual C#®、Visual Basic® .NET等等)，并因此可以提供给开发人员一个真实的端对端开发体验。
除了集成的商业智能开发环境，商业智能开发套件还具有用于真实的运行时调试SSIS包的功能。这些包括了设置检查点和支持标准开发构造的能力，例如观察变量。一个真正的特有功能是Data Viewer，它提供了在数据流管道中集成服务处理数据记录时查看这些数据记录的能力。这个可视化的数据可以是常规的文本网格形式或一个图表展示，例如一个扩散图或条图。事实上，可以有多个连接的阅览器，它们可以同时地以多种格式显示数据。图10显示了一个使用扩散图和文本网格可视的地理数据例子。
图11
|
| 图1 |
这个可扩展性模型使得SSIS不仅仅是一个数据集成工具，还是一个集成总线，像数据挖掘、文本挖掘和统一维度模型(Unified Dimensional Model，UDM)这样的技术可以简单地插入其中，使得可以使用围绕许多任意数据操纵和结构的复杂集成场景。
4、使得数据集成易于得到
SSIS的灵活的、可扩展的架构使它可以解决该文之前提到的数据集成面临的大多数技术挑战。如图12所示，SSIS消除了(或至少降为最低)不必要的分级。因为它在一个单独的管道操作中执行复杂的数据操纵，它现在可以在一个对结束循环和采取行动很有用的时间框架中对数据的变更和格式快速反应。这是与依赖于数据分级的传统架构相比，传统架构不能结束循环和对数据采取有效行动。
图12
 |
| 图1 |
SSIS可扩展的本质使得公司可以利用它们已有的对定制数据集成代码的投入，只要将它封装为SSIS可重用的扩展，这样就可以充分利用这些功能，例如日志记录、调试、商业智能集成，等等。这极大地帮助解决一些文章中先前提到的公司挑战。
与其它高端数据集成工具相比，在SQL Server 产品中包含SSIS使得它的价格非常合理。不只是原始成本降低了，而且通过与Visual Studio和其余SQL Server商业智能工具的紧密集成，应用程序开发和维护的成本与其它类似工具相比显著降低了。SSIS(和SQL Server的其它部分)非常合理的总体拥有成本(TCO)使得企业级数据集成对于市场的所有层级都是易于得到的，不再是那些大型(富有)公司的独占领域。同时，SSIS的架构变为利用现代硬件和提供性能以及扩展为可满足最高端的客户需求。SSIS使得丰富的、可扩展的数据集成提供给所有客户，从最高端的企业到中小企业。与SQL Server中的其它功能联合起来，Microsoft客户支持基础构造(从宽广的测试，到丰富的在线团体到突出的支持合同)和一致性以及与Microsoft产品提供的其它部分的集成，SSIS真的是唯一打开了数据集成新边界的工具集。
5、总结
在现今的商业世界中，许多公司依赖于数据集成技术提供有用的、可靠的信息来维护竞争优势。SQL Server 2008集成服务(SSIS)帮助信息技术部门来满足他们公司对数据集成的要求。SQL Server 2008集成服务满足了清理、转换和匹配大型的多个数据源到可用格式的要求。新特性改进了它的能力来升级和提高性能，同时加快了开发速度和降低了TCO。