当前位置:首页 > 经验 >

华为10plus存储模式(华为10plus怎么调三个键)

来源:原点资讯(www.yd166.com)时间:2022-10-28 15:59:27作者:YD166手机阅读>>

本文分享自华为云社区《对象存储只能按文件名搜索? 用 DWR ElasticSearch 实现文件名、文件内容、图片文字的模糊搜索!》,作者:云存储开发者支持团队 。

众所周知,由于对象存储的架构限制,要想检索对象存储里的文件,只能使用前缀的方式过滤,然后一页一页的列举,限制多,效率低,要是桶内对象实在太多,可能光列举就要列举一两天。你可能会问,不少大公司的一个桶里都是几亿几十亿的对象,那他们都是怎么检索的呢?很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里,如 Elasticsearch、MongoDB、MySOL 等,然后在数据库里检索。

这种方案虽然见到有效,但修改成本极高,如果在业务设计初期没有考虑到,或系统运行过程中想要添加些新的字段,那就只能修改业务代码并重新部署,要是再碰上有已分发客户端的情况下还要推动客户端升级才能解决。

有没有升级简单,不用改动业务代码的方案呢?还真有,把存数据库的过程转移到对象存储来做就好了,每次上传对象之后,让对象存储帮你把对象信息存一份到你指定的位置。本文我们尝试通过 DWR 平台来进行解决。DWR 是华为云推出的一个近数据计算平台,简单来说,通过 DWR 平台,我们可以在不改动业务系统的情况下实现对对象的处理。如图片上传时把图片转成 JPG 格式并存储在另一个桶里、在获取图片时给图片加上水印等。DWR 将这一个个的能力都封装成了“算子”,除了官方和第三方伙伴提供的算子外,我们也可以编写自定义算子来实现我们的其他定制类要求。

1. 架构总览1.1 数据库选型

对象存储中一个对象(Object)由对象名(Key)、元数据(Metadata)、对象内容(Data)三部分组成。从原始需求出发,为了实现对象的模糊搜索,我们首先要把对象名存起来。进一步的,元数据中也包含了许多可以进行过略、排序用的信息,如对象大小、最后修改时间、上传时间、对象 Content-Type、自定义元数据等。其中自定义元数据中包含的 Key 的数目、value 类型都是可变的。为了方便存储和检索自定义元数据,不在每次想增加一个字段时都去修改数据库,我们首先就排除了传统的关系型数据库。

非关系型数据库(NoSQL)中,比较符合我们要求的是两款文档型数据库——MongoDB 与 Elasticsearch。从定位上来说,MongoDB 更偏向于数据库,可以用作数据管理和数据搜索; CSS 则偏向于数据搜索服务。具体到我们这个场景,从访问便捷度、最小规格价格几个维度对比,最终选择了选择 CSS 服务。下表为华为云上的 DDS、CSS、GaussDB for NoSQL 的对比,大家也可以根据自己具体场景选择合适的服务。

1.2 存储对象信息的整体流程

总的流程分 3 步:

1. 上传文件到对象存储

2. DWR 自动触发,保存需要的信息到 CSS

3. 通过 API、kibana 等方式检索 CSS 中存储的数据

其中第二步还可以进行些进阶的操作,例如上传图片时,检测图片中的文字信息,一并存入数据库;上传视频时,检测把视频大小、码率、清晰度等信息抽取出来存入数据库…

2. 购买与配置 CSS2.1 购买 CSS

1.配置集群 控制台找到 CSS 服务,点击创建集群,集群版本选择了 7.10.2,在此我们先选择最低配的单节点。存储选了超高 IO。

华为10plus存储模式,华为10plus怎么调三个键(1)

2.配置网络 需要注意,安全组一定要允许 9200 端口,集群在创建后不支持修改安全组,只能删除重新创建。如果只是在 VPC 内网访问可以不开安全模式,要是想开放给公网访问就必须开启完全模式。

华为10plus存储模式,华为10plus怎么调三个键(2)

3.配置备份 建议开启下数据备份,OBS 本身价格也不贵,还可以通过转冷存储进一步降低成本,数据多一份保护,万一哪天误删了不用从头挨个列举。

华为10plus存储模式,华为10plus怎么调三个键(3)

4.完成配置 至此就完成了初始的配置,点击立即申请即开始创建集群。

华为10plus存储模式,华为10plus怎么调三个键(4)

栏目热文

华为10plus的otg在哪里(华为plus10otg怎么打开)

华为10plus的otg在哪里(华为plus10otg怎么打开)

*本文来自花粉俱乐部论坛-洛阳牡丹甲天下1.什么是手机的OTG 功能OTG是On-The-Go的缩写,是近些年来发展起来...

2022-10-28 15:51:42查看全文 >>

华为10plus悬浮按钮开关在哪里(华为10plus隐藏按键)

华为10plus悬浮按钮开关在哪里(华为10plus隐藏按键)

由于个人喜好,今年刚刚买的一个华为 p10 plus,今天拿起手机,倒腾一下,不知道怎么就出现跟苹果一样的小圆点,就是我...

2022-10-28 15:52:56查看全文 >>

华为10plus镜像怎么开(华为10plus自带软件有哪些)

华为10plus镜像怎么开(华为10plus自带软件有哪些)

很多花粉都知道华为mate10的手机投屏功能,今天我们就来看看那Mate10投屏功能吧!华为Mate 10系列手机投屏操...

2022-10-28 15:45:41查看全文 >>

华为mate10怎样开启hd模式(华为mate10上的hd怎么去掉)

华为mate10怎样开启hd模式(华为mate10上的hd怎么去掉)

1.华为平板华为MatePad 11搭载10.95英寸TFT LCD(IPS)屏幕,最高支持120Hz刷新率,分辨率25...

2022-10-28 16:05:27查看全文 >>

华为10plus调出功能键(华为10plus隐藏按键)

华为10plus调出功能键(华为10plus隐藏按键)

我们平常都会使用手机,一般我们使用手机时都会用音量键来调节音量大小,开关键来开关或者重启手机,其实我们使用的华为手机还有...

2022-10-28 15:46:18查看全文 >>

华为10plus时间在哪里设置(华为10plus怎么设置时间24小时)

华为10plus时间在哪里设置(华为10plus怎么设置时间24小时)

今天我要跟大家分享的是,手机在熄屏的状态下,如何设置显示时间还有日期。熄屏的意思呢,就是咱们按了这个手机的关机键以后,那...

2022-10-28 16:27:36查看全文 >>

华为10plus游戏空间怎么开(华为10plus怎么开两个空间)

华为10plus游戏空间怎么开(华为10plus怎么开两个空间)

手机内存多大才够用?这也是个让人苦恼的问题,近年来64GB及以下容量的手机基本被淘汰,很多人用上了128GB甚至256G...

2022-10-28 16:26:26查看全文 >>

华为10x隐藏空间怎么打开(华为10x怎么打开游戏空间)

华为10x隐藏空间怎么打开(华为10x怎么打开游戏空间)

今天无意间听一个律师讲起,华为有个类似于双系统的功能可牛逼,他说一些隐私类的东西可以放到那个私密的系统里,因为两个系统不...

2022-10-28 15:56:48查看全文 >>

华为手机下拉状态栏不见了(华为手机下拉栏图标不见了怎么调)

华为手机下拉状态栏不见了(华为手机下拉栏图标不见了怎么调)

大家好,欢迎来到黑马公社在这里,黑马问大家几个问题,你换5G手机了吗?你平时开着5G网络吗?一开始,黑马换了5G手机的时...

2022-10-28 16:22:49查看全文 >>

华为手机如何关闭hd(华为手机hd在哪里关闭)

华为手机如何关闭hd(华为手机hd在哪里关闭)

用华为手机的小伙伴应该都和我有一样的遭遇,手机明明只是放在口袋里,动都没动过,等到拿出来的时候,却显示10分钟再尝试解锁...

2022-10-28 16:04:31查看全文 >>

文档排行