其实数据仓库术语的问题并不复杂,因此呢,今天小编就来为大家分享数据仓库术语的一些知识,希望可以帮助到大家,下面我们一起来看看这个问题的分析吧!
本文目录
数据湖和数据仓库的区别:
一个数据湖专门用于存储任何形式的数据,即结构化或非结构化。它还使我们能够以其本机格式保存大量原始数据,直到需要它为止。该术语主要与面向Hadoop的对象存储相关。在这种情况下,首先将组织的数据加载到Hadoop平台,然后再加载到业务分析。进一步,将数据挖掘工具添加到该数据中,该数据挖掘工具通常位于商用计算机的Hadoop群集节点中。
数据仓库
而数据仓库收集来自多个源(内部或外部),该数据被进一步用于商业目的优化的数据。以这种形式,数据大部分是结构化的,并来自关系数据库。但是,也可以收集非结构化数据,但是大多数情况是要收集结构化数据。
数据湖与数据仓库:两者都使用两种不同的策略来存储数据。
两者之间的主要区别之一是,在数据湖中没有特定的预定架构,它可以轻松容纳结构化或非结构化数据。数据湖的概念仅在2000年才开始兴起,国内数据湖的概念也是在2020年才由阿里在云栖大会上提出并展露锋芒,数据湖展示了如何存储数据以及如何同时节省成本。
但数据仓库却不是这种情况,数据仓库通常由确定的架构组成并处理主数据。
数据湖和数据仓库在处理非结构化数据方面足够有效,但是随着生成的数据量的增加,存储所有数据可能会变得昂贵。除此之外,这很耗时并且需要相当长的时间来进行分析和存储。数据湖之所以走到最前沿的众多原因之一。它可以最有效,最经济地处理非结构化数据。
作为数据分析专业人士,您需要了解以下两个术语之间的区别:
1.数据湖中使用的像大数据这样的技术是一个新概念,但是,像数据仓库这样的概念已经使用了数十年。
2.在数据湖中,无论其结构如何,都可以存储数据,并以原始形式保存数据,直到需要使用为止。但是在数据仓库中,提取的数据组成了定量指标,其中对数据进行了清理和转换。
3.数据湖具有存储所有数据的能力,可以存储当前数据和将来需要使用的数据。在数据仓库中,需要花费大量时间专门用于分析多个源。
4.数据湖可以收集所有类型的数据,包括结构化和非结构化。但是,在数据仓库中,它会收集结构化数据并将其按照专门为数据仓库设计的架构进行排列。
5.数据湖包含所有类型的数据,并促使用户在处理和清除数据之前访问数据。数据仓库提供对预定义数据类型的预定义问题的见解。
随着非结构化数据的不断增长,数据湖的兴起将变得越来越流行。但是,仍然需要数据仓库。因此,根据您的项目,您可能需要选择最佳的存储解决方案。
数据挖掘是从大量的数据中,抽取出潜在的、有价值的知识(模型或规则)的过程。
1.数据挖掘能做什么?
1)数据挖掘能做以下六种不同事情(分析方法):
分类()
估值(Estimation)
预言(Prediction)
相关性分组或关联规则(Affinitygroupingorassociationrules)
聚集(Clustering)
描述和可视化(Descriptionand)
2)数据挖掘分类
以上六种数据挖掘的分析方法可以分为两类:直接数据挖掘;间接数据挖掘
直接数据挖掘
目标是利用可用的数据建立一个模型,这个模型对剩余的数据,对一个特定的变量(可以
理解成数据库中表的属性,即列)进行描述。
间接数据挖掘
目标中没有选出某一具体的变量,用模型进行描述;而是在所有的变量中建立起某种关系
分类、估值、预言属于直接数据挖掘;后三种属于间接数据挖掘
3)各种分析方法的简介
分类()
首先从数据中选出已经分好类的训练集,在该训练集上运用数据挖掘分类的技术,建立分
类模型,对于没有分类的数据进行分类。
例子:
a.信用卡申请者,分类为低、中、高风险
b.分配客户到预先定义的客户分片
注意:类的个数是确定的,预先定义好的
估值(Estimation)
估值与分类类似,不同之处在于,分类描述的是离散型变量的输出,而估值处理连续值的
输出;分类的类别是确定数目的,估值的量是不确定的。
例子:
a.根据购买模式,估计一个家庭的孩子个数
b.根据购买模式,估计一个家庭的收入
c.估计realestate的价值
一般来说,估值可以作为分类的前一步工作。给定一些输入数据,通过估值,得到未知的
连续变量的值,然后,根据预先设定的阈值,进行分类。例如:银行对家庭贷款业务,运
用估值,给各个客户记分(Score0~1)。然后,根据阈值,将贷款级别分类。
预言(Prediction)
通常,预言是通过分类或估值起作用的,也就是说,通过分类或估值得出模型,该模型用
于对未知变量的预言。从这种意义上说,预言其实没有必要分为一个单独的类。
预言其目的是对未来未知变量的预测,这种预测是需要时间来验证的,即必须经过一定时
间后,才知道预言准确性是多少。
相关性分组或关联规则(Affinitygroupingorassociationrules)
决定哪些事情将一起发生。
例子:
a.超市中客户在购买A的同时,经常会购买B,即A=>B(关联规则)
b.客户在购买A后,隔一段时间,会购买B(序列分析)
聚集(Clustering)
聚集是对记录分组,把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先
定义好的类,不需要训练集。
例子:
a.一些特定症状的聚集可能预示了一个特定的疾病
b.租VCD类型不相似的客户聚集,可能暗示成员属于不同的亚文化群
聚集通常作为数据挖掘的第一步。例如,"哪一种类的促销对客户响应最好?",对于这一
类问题,首先对整个客户做聚集,将客户分组在各自的聚集里,然后对每个不同的聚集,回答问题,可能效果更好。
描述和可视化(Descriptionand)
是对数据挖掘结果的表示方式。
2.数据挖掘的商业背景
数据挖掘首先是需要商业环境中收集了大量的数据,然后要求挖掘的知识是有价值的。有
价值对商业而言,不外乎三种情况:降低开销;提高收入;增加股票价格。
1)数据挖掘作为研究工具(Research)
2)数据挖掘提高过程控制(ProcessImprovement)
3)数据挖掘作为市场营销工具(Marketing)
4)数据挖掘作为客户关系管理CRM工具(CustomerManagement)
3.数据挖掘的技术背景
1)数据挖掘技术包括三个主要部分:算法和技术;数据;建模能力
2)数据挖掘和机器学习(MachineLearning)
机器学习是计算机科学和人工智能AI发展的产物
机器学习分为两种学习方式:自组织学习(如神经网络);从例子中归纳出规则(如决
策树)
数据挖掘由来
数据挖掘是八十年代,投资AI研究项目失败后,AI转入实际应用时提出的。它是一个新兴
的,面向商业应用的AI研究。选择数据挖掘这一术语,表明了与统计、精算、长期从事预
言模型的经济学家之间没有技术的重叠。
3)数据挖掘和统计
统计也开始支持数据挖掘。统计本包括预言算法(回归)、抽样、基于经验的设计等
4)数据挖掘和决策支持系统
数据仓库
OLAP(联机分析处理)、DataMart(数据集市)、多维数据库
决策支持工具融合
将数据仓库、OLAP,数据挖掘融合在一起,构成企业决策分析环境。
4.数据挖掘的社会背景
数据挖掘与个人预言:数据挖掘号称能通过历史数据的分析,预测客户的行为,而事实上
客户自己可能都不明确自己下一步要作什么。所以,数据挖掘的结果,没有人们想象中
神秘,它不可能是完全正确的。
客户的行为是与社会环境相关连的,所以数据挖掘本身也受社会背景的影响。比如说,在
美国对银行信用卡客户信用评级的模型运行得非常成功,但是,它可能不适合中国
第一节基本概念术语
1article物品
2logistics物流
3logisticsactivity物流活动
4logisticsoperation物流作业
5logistic *** odulus物流模数
6logisticstechnology物流技术
7logisticscost物流成本
8logistic *** anagement物流管理
9logisticscenter物流中心
10logisticsnetwork物流网络
11logisticsinformation物流信息
12logisticsenterprise物流企业
13logisticsdocuments物流单证
14logisticsalliance物流联盟
15supplylogistics供应物流
16productionlogistics生产物流
17distributionlogistics销售物流
18returnedlogistics回收物流
19wastemateriallogistics废弃物物流
20environmentallogistics绿色物流
21internallogistics企业物流
22externallogistics社会物流
23militarylogistics军事物流
24internationallogistics国际物流
25ThirdPartLogistics(TPL)第三方物流
26customizedlogistics定制物流
27virtuallogistics虚拟物流
28value-addedlogisticsservice增值物流服务
29supplychain供应链
30barcode条码
31ElectronicDataInterchange(EDI)电子数据交换
32tangibleloss有形损耗
33intangibleloss无形损耗
二、物流作业术语
34transportation运输
35combinedtransport联合运输
36throuthtransport直达运输
37transfertransport中转运输
38dropandpulltransport甩挂运输
39containerizedtransport集装运输
40containertransport集装箱运输
41door-to-door门到门
42doortocy门到场
43doortocfs门到站
44FullContainerLoad(FCL)整箱货
45Less-thanContainerLoad(LCL)拼箱货
46storing储存
47storage保管
48articlereserves物品储存
49inventory库存
50cyclestock经常库存
51safetystock安全库存
52inventorycycletime库存周期
53leadtime前置期(或提前期)
54ordercycletime订货处理周期
55goodsstack货垛
56stacking堆码
57handlingcarrying搬运
58loadingandunloading装卸
59unitloadingandunloading单元装卸
60package/packaging包装
61salespackage销售包装
62packingofnominatedbrand定牌包装
63neutralpacking中立包装
64transportpackage运输包装
65palletizing托盘包装
66containerization集装化
67inbulk散装化
68crossdocking直接换装
69distribution配送
70jointdistribution共同配送
71distributioncenter配送中心
72sorting分拣
73orderpicking拣选
74goodscollection集货
75assembly组配
76distributionprocessing流通加工
77coldchain冷链
78inspection检验
第三节物流技术装配及设施术语
79warehouse仓库
80storehouse库房
81automaticwarehouse自动化仓库
82stereoscopicwarehouse立体仓库
83virtualwarehouse虚拟仓库
84bonedwarehouse保税仓库
85exportsupervisedwarehouse出口监管仓库
86cargoundercustom'ssupervision海关监管货物
87chillspace冷藏区
88freezespace冷冻区
89humiditycontrolledspace控湿储存区
90temperaturecontrolledspace温度可控区
91receivingspace收货区
92shippingspace发货区
93goodsshed料棚
94goodsyard货场
95goodsshelf货架
96pallet托盘
97forklifttruck叉车
98converyor输送机
99AutomaticGuidedVehicle(AGV)自动导引机
100boxcar箱式车
101container集装箱
102Twenty-feetEquivalentUnit(TEU)换算箱
103specifficcargocontainer特种货物集装箱
104fullcontainership全集装箱船
105railwaycontaineryard铁路集装箱场
106inlandcontainerdepot公路集装箱中转站
107containerterminal集装箱码头
108internationalthroughrailwaytransport国际铁路联运
109internationalmultimodaltransport国际多式联运
110landbridgetransport大陆桥运输
111linertransport班轮运输
112shippingbychartering租船运输
113shippingagency船务代理
114internationalfreightforwardingagent国际货运代理
115tally理货
116internationaltransportationcargoinsurance国际货物运输保险
117customsdeclaration报关
118custom *** roker报关行
119commodityinspection进出口商品检验
第四节物流管理术语
120logisticsstrategy物流战略
121logisticsstrategymanagement物流战略管理
122warehousemanagement仓库管理
123warehouselayout仓库布局
124inventorycontrol库存控制
125EconomicOrderQuantity(EOQ)经济订货批量
126FixedQuantitySystem(FQS)定量订货方式
127FixedIntervalSystem(FIS)定期订货方式
128ABCclassificationABC分类管理
129ElectronicOrderSystem(EOS)电子订货系统
130Just-in-time(JIT)准时制
131just-in-timelogistics准时制物流
132zero-inventorylogistics零库存技术
133logisticscostcontrol物流成本管理
134MaterialRequirementsPlanning(MRP)物料需要计划
135ManufacturingResourcePlanning(MRPⅡ)制造资源计划
136DistributionRequirementsPlanning(DRP)配送需要计划
137DistributionResourcePlanning(DRPⅡ)配送资源计划
138LogisticsResourcePlanning(LRP)物流资源计划
139EnterpriseResourcePlanning(ERP)企业资源计划
140SupplyChainManagement(SCM)供应链管理
141QuickResponse(QR)快速反应
142EfficientCustomerResponse(ECR)有效客户反应
143ContinuousReplenishmentProgram(CRP)连续库存补充计划
144ComputerAssistedOrdering(CAO)计算机辅助订货系统
145VendorManagedInventory(VMI)供应商管理库存
146outsourcing业务外包
第五节其他常见术语
147accountingcost会计成本
148accuracyaudit正确性审计
149ActivityBasedClassificationABC分类法
150actualweight实际重量
151addedvalue附加价值
152after-salesservice售后服务
153aggregateshipments合并出货
154airpollution空气污染
155airfreight空运货件
156ApplicationServiceProvider(ASP)应用供应商
157arbitrage套利
158assetrecovery资源回收
159AutomatedStorageandRetrievalSystem(ASRS)自动仓储系统
160AutomatedVehicleIdentification(AVI)自动车辆识别
161automatedwarehouse自动仓库
162AutomatedVehicleLocation(AVL)自动车辆位置
163availablevehiclecapacity车辆承载能力
164averageclearstackingheight平均净堆叠高度
165backhaul回程
166backwardation现货溢价
167barcodelabel条形码标签
168barcodescanner条形码扫描机
169basestock基本存货
170batchnumbers批号
171bay区域
172bear卖空者
173bearmarket熊市
174beltconveyor皮带式输送带
175bi-directionalread双向读取
176BillofLading(B/L)托运单
177BillofMaterials(BOM)物料用量清单
178brokencarton已拆箱
179broker经纪人
180bulkcarrier散装运送业
181bulkcontainer散装集装箱
182bull卖空者
183bullmarket牛市
184BusinessProcessReengineering(BPR)业务流程重组
185cancellationcharge取消订单费用
186cargo货物
187cargobooking预约托运
188cargoinspection检查货物
189cashdiscount现金折扣
190centralizeddispatching集中式派车
191centralizedprocurement集中采购
192channelofdistribution分销渠道
193checkin进货清点
194ChiefLogisticsOfficer(CLO)物流主管
195claim索赔
196closeddistributionsystem封闭式配送系统
197consumerphysicaldistribution消费者物流
198containerterminal集装箱码头
199cooperativebuying联合采购
200costcontrol成本控制
201crane起重机
202cubedout装载率
203customerservice客户服务
204CustomerRelationshipManagement(CRM)客户关系管理
205datawarehousing数据仓库
206deadhead空回头车
207decliningconveyor倾斜式输送机
208de-consolidationcenter分货中心
209deliverycosts配送成本
210deliverycycle配送周期
211deliveryerror误送
212deliverynote出货清单
213deliveryterminal配送站
214demandforecasting需求预测
215depalletizer卸托盘机
216designforlogistics为物流而设计
217directdistribution直接配送
218directstoredelivery直接配送到商店
219dispatctarea出货区
220DistributedResourcePlanning(DRP)分销资源计划
221DecisionSupportSystem(DSS)决策支持系统
222domesticintercitytrucking国内长途货运
223domesticlogistics国内物流
224doublefloorstacking双层堆积
225doublepalletshandling双托盘处理
226double-palletjack双托盘设备
227duty关税
228economicstock经济存货
229electronicclearance电子通关
230export出口
231exclusivedistribution独家分销
232ExecutiveSupportSystem(ESS)高层主管支持系统
233factta *** 品说明标签
234factoryprice出厂价
235firewall防火墙
236fixedrack固定式货架
237flatbedtrailer平台拖车
238fleet车(船)队
239furnitureremovalcarriers搬家公司
240gateway转运站
241GeographicInformationSystem(GIS)地理信息系统
242GlobalPositioningSystem(GPS)全球定位系统
243globallogistics全球物流
244handtruck手推车
245handheldscanner手提式扫描仪
246heatinsulatingmaterial隔热材料
247hottag紧急标签
248IndustrialEngineering(IE)工业工程
249integratedlogistics集成物流
250IntegratedServicesDigitalNetwork(ISDN)综合业务数据网
251interchangeterminal联运站
252inventorycontrol库存控制
253jointdistribution共同配送
254kanbansystem看板系统
255knowledgemanagement知识管理
256labelmakingmachine标签机
257laserscanner激光扫描仪
258logistician物流师
259logisticisengineering物流工程
260logistic *** anagement物流管理
261loosepackages散装
262maketoorder定单生产
263marketorientation市场导向
264markingmachine打标机
265marketshare市场份额
266materialshandingequipment物料搬运设备
267middleware中间件
268multi-storywarehouse多层仓库
269netweight净重
270noisepollution噪音污染
271numberplate牌照
272onseason旺季
273OpenDataBaseConnectivity(ODBC)开放数据库互联
274opticalscanners光学扫描仪
275orderprocessing定单处理
276OrderPointSystem(OPS)定货点法
277overload超载
278package包裹
279processcenter处理中心
280procurement采购
281qualitycontrol质量控制
282quarantine检疫
283quotas配额
284rack货架
285regionaldistributioncenter区域物流中心
286retailselling零售
287safetystock安全库存
288sealingmachine封装机
289supplychain供应链
290SupplyChainManagement(SCM)供应链管理
291tankcontainer罐装集装箱
292temporarylabor临时工
293TheoryofConstraint(TOC)约束理论
294vacuumpackaging真空包装
295vehicle车辆
296voicerecognition语音识别
297warehousing仓储
298waste废弃物
299wholesalers批发商
300zerostock零库存
元数据(MetaData)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息。
通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据。
发现和描述数据的来龙去脉,特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的数据流图,元数据是数据管控的基本手段。
元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业信息管理的润滑剂,不对元数据进行管理或管理不得当。
信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。
扩展资料
元数据分类
元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:
1、技术元数据技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节;
2、业务元数据业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;
3、管理元数据管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。
参考资料来源:百度百科-元数据
关于数据仓库术语的介绍到此结束,希望对大家有所帮助。