当前位置:首页 > 游戏笔记 > 正文

数据仓库术语 数据仓库和数据挖掘技术之间的区别

其实数据仓库术语的问题并不复杂,因此呢,今天小编就来为大家分享数据仓库术语的一些知识,希望可以帮助到大家,下面我们一起来看看这个问题的分析吧!

本文目录

  1. 数据湖和数据仓库的区别是什么
  2. 数据库,数据仓库和数据挖掘技术之间的区别
  3. 物流方面的英语专业术语、组织名称中英对照
  4. 什么是元数据(MetaData)及

数据湖和数据仓库的区别是什么

数据湖和数据仓库的区别:

一个数据湖专门用于存储任何形式的数据,即结构化或非结构化。它还使我们能够以其本机格式保存大量原始数据,直到需要它为止。该术语主要与面向Hadoop的对象存储相关。在这种情况下,首先将组织的数据加载到Hadoop平台,然后再加载到业务分析。进一步,将数据挖掘工具添加到该数据中,该数据挖掘工具通常位于商用计算机的Hadoop群集节点中。

数据仓库

而数据仓库收集来自多个源(内部或外部),该数据被进一步用于商业目的优化的数据。以这种形式,数据大部分是结构化的,并来自关系数据库。但是,也可以收集非结构化数据,但是大多数情况是要收集结构化数据。

数据湖与数据仓库:两者都使用两种不同的策略来存储数据。

两者之间的主要区别之一是,在数据湖中没有特定的预定架构,它可以轻松容纳结构化或非结构化数据。数据湖的概念仅在2000年才开始兴起,国内数据湖的概念也是在2020年才由阿里在云栖大会上提出并展露锋芒,数据湖展示了如何存储数据以及如何同时节省成本。

但数据仓库却不是这种情况,数据仓库通常由确定的架构组成并处理主数据。

数据湖和数据仓库在处理非结构化数据方面足够有效,但是随着生成的数据量的增加,存储所有数据可能会变得昂贵。除此之外,这很耗时并且需要相当长的时间来进行分析和存储。数据湖之所以走到最前沿的众多原因之一。它可以最有效,最经济地处理非结构化数据。

作为数据分析专业人士,您需要了解以下两个术语之间的区别:

1.数据湖中使用的像大数据这样的技术是一个新概念,但是,像数据仓库这样的概念已经使用了数十年。

2.在数据湖中,无论其结构如何,都可以存储数据,并以原始形式保存数据,直到需要使用为止。但是在数据仓库中,提取的数据组成了定量指标,其中对数据进行了清理和转换。

3.数据湖具有存储所有数据的能力,可以存储当前数据和将来需要使用的数据。在数据仓库中,需要花费大量时间专门用于分析多个源。

4.数据湖可以收集所有类型的数据,包括结构化和非结构化。但是,在数据仓库中,它会收集结构化数据并将其按照专门为数据仓库设计的架构进行排列。

5.数据湖包含所有类型的数据,并促使用户在处理和清除数据之前访问数据。数据仓库提供对预定义数据类型的预定义问题的见解。

随着非结构化数据的不断增长,数据湖的兴起将变得越来越流行。但是,仍然需要数据仓库。因此,根据您的项目,您可能需要选择最佳的存储解决方案。

数据库,数据仓库和数据挖掘技术之间的区别

数据挖掘是从大量的数据中,抽取出潜在的、有价值的知识(模型或规则)的过程。

1.数据挖掘能做什么?

1)数据挖掘能做以下六种不同事情(分析方法):

分类()

估值(Estimation)

预言(Prediction)

相关性分组或关联规则(Affinitygroupingorassociationrules)

聚集(Clustering)

描述和可视化(Descriptionand)

2)数据挖掘分类

以上六种数据挖掘的分析方法可以分为两类:直接数据挖掘;间接数据挖掘

直接数据挖掘

目标是利用可用的数据建立一个模型,这个模型对剩余的数据,对一个特定的变量(可以

理解成数据库中表的属性,即列)进行描述。

间接数据挖掘

目标中没有选出某一具体的变量,用模型进行描述;而是在所有的变量中建立起某种关系

分类、估值、预言属于直接数据挖掘;后三种属于间接数据挖掘

3)各种分析方法的简介

分类()

首先从数据中选出已经分好类的训练集,在该训练集上运用数据挖掘分类的技术,建立分

类模型,对于没有分类的数据进行分类。

例子:

a.信用卡申请者,分类为低、中、高风险

b.分配客户到预先定义的客户分片

注意:类的个数是确定的,预先定义好的

估值(Estimation)

估值与分类类似,不同之处在于,分类描述的是离散型变量的输出,而估值处理连续值的

输出;分类的类别是确定数目的,估值的量是不确定的。

例子:

a.根据购买模式,估计一个家庭的孩子个数

b.根据购买模式,估计一个家庭的收入

c.估计realestate的价值

一般来说,估值可以作为分类的前一步工作。给定一些输入数据,通过估值,得到未知的

连续变量的值,然后,根据预先设定的阈值,进行分类。例如:银行对家庭贷款业务,运

用估值,给各个客户记分(Score0~1)。然后,根据阈值,将贷款级别分类。

预言(Prediction)

通常,预言是通过分类或估值起作用的,也就是说,通过分类或估值得出模型,该模型用

于对未知变量的预言。从这种意义上说,预言其实没有必要分为一个单独的类。

预言其目的是对未来未知变量的预测,这种预测是需要时间来验证的,即必须经过一定时

间后,才知道预言准确性是多少。

相关性分组或关联规则(Affinitygroupingorassociationrules)

决定哪些事情将一起发生。

例子:

a.超市中客户在购买A的同时,经常会购买B,即A=>B(关联规则)

b.客户在购买A后,隔一段时间,会购买B(序列分析)

聚集(Clustering)

聚集是对记录分组,把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先

定义好的类,不需要训练集。

例子:

a.一些特定症状的聚集可能预示了一个特定的疾病

b.租VCD类型不相似的客户聚集,可能暗示成员属于不同的亚文化群

聚集通常作为数据挖掘的第一步。例如,"哪一种类的促销对客户响应最好?",对于这一

类问题,首先对整个客户做聚集,将客户分组在各自的聚集里,然后对每个不同的聚集,回答问题,可能效果更好。

描述和可视化(Descriptionand)

是对数据挖掘结果的表示方式。

2.数据挖掘的商业背景

数据挖掘首先是需要商业环境中收集了大量的数据,然后要求挖掘的知识是有价值的。有

价值对商业而言,不外乎三种情况:降低开销;提高收入;增加股票价格。

1)数据挖掘作为研究工具(Research)

2)数据挖掘提高过程控制(ProcessImprovement)

3)数据挖掘作为市场营销工具(Marketing)

4)数据挖掘作为客户关系管理CRM工具(CustomerManagement)

3.数据挖掘的技术背景

1)数据挖掘技术包括三个主要部分:算法和技术;数据;建模能力

2)数据挖掘和机器学习(MachineLearning)

机器学习是计算机科学和人工智能AI发展的产物

机器学习分为两种学习方式:自组织学习(如神经网络);从例子中归纳出规则(如决

策树)

数据挖掘由来

数据挖掘是八十年代,投资AI研究项目失败后,AI转入实际应用时提出的。它是一个新兴

的,面向商业应用的AI研究。选择数据挖掘这一术语,表明了与统计、精算、长期从事预

言模型的经济学家之间没有技术的重叠。

3)数据挖掘和统计

统计也开始支持数据挖掘。统计本包括预言算法(回归)、抽样、基于经验的设计等

4)数据挖掘和决策支持系统

数据仓库

OLAP(联机分析处理)、DataMart(数据集市)、多维数据库

决策支持工具融合

将数据仓库、OLAP,数据挖掘融合在一起,构成企业决策分析环境。

4.数据挖掘的社会背景

数据挖掘与个人预言:数据挖掘号称能通过历史数据的分析,预测客户的行为,而事实上

客户自己可能都不明确自己下一步要作什么。所以,数据挖掘的结果,没有人们想象中

神秘,它不可能是完全正确的。

客户的行为是与社会环境相关连的,所以数据挖掘本身也受社会背景的影响。比如说,在

美国对银行信用卡客户信用评级的模型运行得非常成功,但是,它可能不适合中国

物流方面的英语专业术语、组织名称中英对照

第一节基本概念术语

1article物品

2logistics物流

3logisticsactivity物流活动

4logisticsoperation物流作业

5logistic *** odulus物流模数

6logisticstechnology物流技术

7logisticscost物流成本

8logistic *** anagement物流管理

9logisticscenter物流中心

10logisticsnetwork物流网络

11logisticsinformation物流信息

12logisticsenterprise物流企业

13logisticsdocuments物流单证

14logisticsalliance物流联盟

15supplylogistics供应物流

16productionlogistics生产物流

17distributionlogistics销售物流

18returnedlogistics回收物流

19wastemateriallogistics废弃物物流

20environmentallogistics绿色物流

21internallogistics企业物流

22externallogistics社会物流

23militarylogistics军事物流

24internationallogistics国际物流

25ThirdPartLogistics(TPL)第三方物流

26customizedlogistics定制物流

27virtuallogistics虚拟物流

28value-addedlogisticsservice增值物流服务

29supplychain供应链

30barcode条码

31ElectronicDataInterchange(EDI)电子数据交换

32tangibleloss有形损耗

33intangibleloss无形损耗

二、物流作业术语

34transportation运输

35combinedtransport联合运输

36throuthtransport直达运输

37transfertransport中转运输

38dropandpulltransport甩挂运输

39containerizedtransport集装运输

40containertransport集装箱运输

41door-to-door门到门

42doortocy门到场

43doortocfs门到站

44FullContainerLoad(FCL)整箱货

45Less-thanContainerLoad(LCL)拼箱货

46storing储存

47storage保管

48articlereserves物品储存

49inventory库存

50cyclestock经常库存

51safetystock安全库存

52inventorycycletime库存周期

53leadtime前置期(或提前期)

54ordercycletime订货处理周期

55goodsstack货垛

56stacking堆码

57handlingcarrying搬运

58loadingandunloading装卸

59unitloadingandunloading单元装卸

60package/packaging包装

61salespackage销售包装

62packingofnominatedbrand定牌包装

63neutralpacking中立包装

64transportpackage运输包装

65palletizing托盘包装

66containerization集装化

67inbulk散装化

68crossdocking直接换装

69distribution配送

70jointdistribution共同配送

71distributioncenter配送中心

72sorting分拣

73orderpicking拣选

74goodscollection集货

75assembly组配

76distributionprocessing流通加工

77coldchain冷链

78inspection检验

第三节物流技术装配及设施术语

79warehouse仓库

80storehouse库房

81automaticwarehouse自动化仓库

82stereoscopicwarehouse立体仓库

83virtualwarehouse虚拟仓库

84bonedwarehouse保税仓库

85exportsupervisedwarehouse出口监管仓库

86cargoundercustom'ssupervision海关监管货物

87chillspace冷藏区

88freezespace冷冻区

89humiditycontrolledspace控湿储存区

90temperaturecontrolledspace温度可控区

91receivingspace收货区

92shippingspace发货区

93goodsshed料棚

94goodsyard货场

95goodsshelf货架

96pallet托盘

97forklifttruck叉车

98converyor输送机

99AutomaticGuidedVehicle(AGV)自动导引机

100boxcar箱式车

101container集装箱

102Twenty-feetEquivalentUnit(TEU)换算箱

103specifficcargocontainer特种货物集装箱

104fullcontainership全集装箱船

105railwaycontaineryard铁路集装箱场

106inlandcontainerdepot公路集装箱中转站

107containerterminal集装箱码头

108internationalthroughrailwaytransport国际铁路联运

109internationalmultimodaltransport国际多式联运

110landbridgetransport大陆桥运输

111linertransport班轮运输

112shippingbychartering租船运输

113shippingagency船务代理

114internationalfreightforwardingagent国际货运代理

115tally理货

116internationaltransportationcargoinsurance国际货物运输保险

117customsdeclaration报关

118custom *** roker报关行

119commodityinspection进出口商品检验

第四节物流管理术语

120logisticsstrategy物流战略

121logisticsstrategymanagement物流战略管理

122warehousemanagement仓库管理

123warehouselayout仓库布局

124inventorycontrol库存控制

125EconomicOrderQuantity(EOQ)经济订货批量

126FixedQuantitySystem(FQS)定量订货方式

127FixedIntervalSystem(FIS)定期订货方式

128ABCclassificationABC分类管理

129ElectronicOrderSystem(EOS)电子订货系统

130Just-in-time(JIT)准时制

131just-in-timelogistics准时制物流

132zero-inventorylogistics零库存技术

133logisticscostcontrol物流成本管理

134MaterialRequirementsPlanning(MRP)物料需要计划

135ManufacturingResourcePlanning(MRPⅡ)制造资源计划

136DistributionRequirementsPlanning(DRP)配送需要计划

137DistributionResourcePlanning(DRPⅡ)配送资源计划

138LogisticsResourcePlanning(LRP)物流资源计划

139EnterpriseResourcePlanning(ERP)企业资源计划

140SupplyChainManagement(SCM)供应链管理

141QuickResponse(QR)快速反应

142EfficientCustomerResponse(ECR)有效客户反应

143ContinuousReplenishmentProgram(CRP)连续库存补充计划

144ComputerAssistedOrdering(CAO)计算机辅助订货系统

145VendorManagedInventory(VMI)供应商管理库存

146outsourcing业务外包

第五节其他常见术语

147accountingcost会计成本

148accuracyaudit正确性审计

149ActivityBasedClassificationABC分类法

150actualweight实际重量

151addedvalue附加价值

152after-salesservice售后服务

153aggregateshipments合并出货

154airpollution空气污染

155airfreight空运货件

156ApplicationServiceProvider(ASP)应用供应商

157arbitrage套利

158assetrecovery资源回收

159AutomatedStorageandRetrievalSystem(ASRS)自动仓储系统

160AutomatedVehicleIdentification(AVI)自动车辆识别

161automatedwarehouse自动仓库

162AutomatedVehicleLocation(AVL)自动车辆位置

163availablevehiclecapacity车辆承载能力

164averageclearstackingheight平均净堆叠高度

165backhaul回程

166backwardation现货溢价

167barcodelabel条形码标签

168barcodescanner条形码扫描机

169basestock基本存货

170batchnumbers批号

171bay区域

172bear卖空者

173bearmarket熊市

174beltconveyor皮带式输送带

175bi-directionalread双向读取

176BillofLading(B/L)托运单

177BillofMaterials(BOM)物料用量清单

178brokencarton已拆箱

179broker经纪人

180bulkcarrier散装运送业

181bulkcontainer散装集装箱

182bull卖空者

183bullmarket牛市

184BusinessProcessReengineering(BPR)业务流程重组

185cancellationcharge取消订单费用

186cargo货物

187cargobooking预约托运

188cargoinspection检查货物

189cashdiscount现金折扣

190centralizeddispatching集中式派车

191centralizedprocurement集中采购

192channelofdistribution分销渠道

193checkin进货清点

194ChiefLogisticsOfficer(CLO)物流主管

195claim索赔

196closeddistributionsystem封闭式配送系统

197consumerphysicaldistribution消费者物流

198containerterminal集装箱码头

199cooperativebuying联合采购

200costcontrol成本控制

201crane起重机

202cubedout装载率

203customerservice客户服务

204CustomerRelationshipManagement(CRM)客户关系管理

205datawarehousing数据仓库

206deadhead空回头车

207decliningconveyor倾斜式输送机

208de-consolidationcenter分货中心

209deliverycosts配送成本

210deliverycycle配送周期

211deliveryerror误送

212deliverynote出货清单

213deliveryterminal配送站

214demandforecasting需求预测

215depalletizer卸托盘机

216designforlogistics为物流而设计

217directdistribution直接配送

218directstoredelivery直接配送到商店

219dispatctarea出货区

220DistributedResourcePlanning(DRP)分销资源计划

221DecisionSupportSystem(DSS)决策支持系统

222domesticintercitytrucking国内长途货运

223domesticlogistics国内物流

224doublefloorstacking双层堆积

225doublepalletshandling双托盘处理

226double-palletjack双托盘设备

227duty关税

228economicstock经济存货

229electronicclearance电子通关

230export出口

231exclusivedistribution独家分销

232ExecutiveSupportSystem(ESS)高层主管支持系统

233factta *** 品说明标签

234factoryprice出厂价

235firewall防火墙

236fixedrack固定式货架

237flatbedtrailer平台拖车

238fleet车(船)队

239furnitureremovalcarriers搬家公司

240gateway转运站

241GeographicInformationSystem(GIS)地理信息系统

242GlobalPositioningSystem(GPS)全球定位系统

243globallogistics全球物流

244handtruck手推车

245handheldscanner手提式扫描仪

246heatinsulatingmaterial隔热材料

247hottag紧急标签

248IndustrialEngineering(IE)工业工程

249integratedlogistics集成物流

250IntegratedServicesDigitalNetwork(ISDN)综合业务数据网

251interchangeterminal联运站

252inventorycontrol库存控制

253jointdistribution共同配送

254kanbansystem看板系统

255knowledgemanagement知识管理

256labelmakingmachine标签机

257laserscanner激光扫描仪

258logistician物流师

259logisticisengineering物流工程

260logistic *** anagement物流管理

261loosepackages散装

262maketoorder定单生产

263marketorientation市场导向

264markingmachine打标机

265marketshare市场份额

266materialshandingequipment物料搬运设备

267middleware中间件

268multi-storywarehouse多层仓库

269netweight净重

270noisepollution噪音污染

271numberplate牌照

272onseason旺季

273OpenDataBaseConnectivity(ODBC)开放数据库互联

274opticalscanners光学扫描仪

275orderprocessing定单处理

276OrderPointSystem(OPS)定货点法

277overload超载

278package包裹

279processcenter处理中心

280procurement采购

281qualitycontrol质量控制

282quarantine检疫

283quotas配额

284rack货架

285regionaldistributioncenter区域物流中心

286retailselling零售

287safetystock安全库存

288sealingmachine封装机

289supplychain供应链

290SupplyChainManagement(SCM)供应链管理

291tankcontainer罐装集装箱

292temporarylabor临时工

293TheoryofConstraint(TOC)约束理论

294vacuumpackaging真空包装

295vehicle车辆

296voicerecognition语音识别

297warehousing仓储

298waste废弃物

299wholesalers批发商

300zerostock零库存

什么是元数据(MetaData)及

元数据(MetaData)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息。

通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据。

发现和描述数据的来龙去脉,特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的数据流图,元数据是数据管控的基本手段。

元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业信息管理的润滑剂,不对元数据进行管理或管理不得当。

信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。

扩展资料

元数据分类

元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:

1、技术元数据技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节;

2、业务元数据业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;

3、管理元数据管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。

参考资料来源:百度百科-元数据

关于数据仓库术语的介绍到此结束,希望对大家有所帮助。

最新文章