Poseidon 系统是一个日志搜索平台——认证看链接ppt,本质是索引的倒排列表和原始日志数据都存在HDFS,而文档和倒排的元数据都在NOSQL里,同时针对单个filed都使用了独立索引,使用MR来索引和搜索

null Poseidon 系统是一个日志 搜索平台,可以在百万亿条、100PB 大小 日志数据中快速分析 检索。360 公司是一个安全公司,在追踪 APT(高级持续威胁)事件,经常需要在海量 历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:10 回复:0

插值搜索——本质和二分无异,是利用数据分布的规律来定查找点,其基本假设是数据分布均匀

null2.2 插值查找这是一种 二分比较相似 查找 算法, 不过不同 是, 对于分布比较均匀 较大 数组, 插值查找有时能够一次就 搜索到位..&为什么能够这么快呢`? 看网上没有什么关于这种算法 描述, 我就来描述一下吧 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:8 回复:0

开放搜索文档数和数据源的文档数不一样 - 开放搜索

如果用户导入数据后,在控制台上查看文档数 预计 对不上,可以排查:1.是否在基本配置-数据源上设置了过滤条件,比如RDS 过滤条件 。2.检查应用 主键设置,是否存在多条数据有相同 主键 情况。相同主键 数据是会覆盖 。3.用户可以在控制台里查-统计及日志-错误日志,检查一下导入数据 时间段内是否有错误日志。如问题还未解决,请联系售后技术支持。 ...
推荐

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
广告

阿里集团搜索和推荐关于效率&稳定性的思考和实践

通常我们提到“效率”更多 是关注开发效率或迭代效率,我们这里称之为“业务效率”。大家通常容易忽视“资源效率”,在阿里集团 搜索 推荐现有业务规模下,忽视资源效率 将付出很大 成本 ...
来自: 开发者社区 > 博客 作者: 李伟-剑豪 浏览:44 回复:0

搜索和推荐统一存储层的新进展和思考

我们在2017年统一了 搜索 推荐场景下 HA3、iGraph、RTP DII四大引擎 存储层(参见统一之战),帮助它们取得了 更迅速 迁移能力、更快速 数据恢复能力 更丰富 数据召回能力。 最近一年来,我们在统一 存储框架上又做了进一步 演进,下面将分别 ...
来自: 开发者社区 > 博客 作者: 老牌良民 浏览:14 回复:0

2月11日云栖精选夜读:阿里集团搜索和推荐关于效率&稳定性的思考和实践

效率。效率 稳定性兼顾,也就变成了一个巨大 挑战。 ## 我们理解 效率 通常我们提到“效率”更多 是关注开发效率或迭代效率,我们这里称之为“业务热点热议阿里集团 搜索 推荐关于效率&amp ...
来自: 开发者社区 > 博客 作者: yq传送门 浏览:65 回复:0

【双11背后的技术】基于深度强化学习与自适应在线学习的搜索和推荐算法研究

作者:灵培、霹雳、哲予1.  搜索算法研究与实践1.1 背景淘宝 搜索引擎涉及对上亿商品 毫秒级处理响应,而淘宝 用户不仅数量巨大,其行为特点以及对商品 偏好也具有丰富性 多样性。因此,要让搜索引擎对不同特点 用户作出针对性 ...
来自: 开发者社区 > 博客 作者: 云木西 浏览:5059 回复:0

使用Solr搭建“小”数据集群的搜索和推荐功能

量特别大结构特别复杂 系统来说 搜索 推荐是一个技术含量相对较高 工作。一般 应用通过现有 Apache 开源项目做一些简单 配置也可以实现。在实际 使用中这样 搭配在功能上性能上 可扩展性上能够满足现有 需求。 Solr User’s ...
来自: 开发者社区 > 论坛 作者: 猪小羊羊小猪 浏览:174 回复:1

B2C平台推荐搜索的实践和思考 -京东技术开放日-刘尚堃

链接:http://pan.baidu.com/s/1dDB1Vnr 密码: 游客,本帖隐藏 内容需要积分高于 200 才可浏览,您当前积分为 0 ...
来自: 开发者社区 > 论坛 作者: 城里的月光个 浏览:170 回复:7

hive和hbase本质区别——hbase本质是OLTP的nosql DB,而hive是OLAP 底层是hdfs,需从已有数据库同步数据到hdfs;hive可以用hbase中的数据,通过hive表映射到hbase表

CUD操作,要知道HIVE是需要从已有 数据库或日志进行同步最终入到hdfs文件系统中,当前要做到增量实时同步都相当困难。 mysql,oracle完全不是相同 应用场景。这个是结构化数据库,针对 更多 是结构化,事务一致性要求高,业务规则逻辑复杂 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:7 回复:0

搜索引擎——用户搜索意图的理解及其难点解析,本质是利用机器学习用户的意图分类

null用户 搜索意图 理解及其难点解析搜索引擎涉及 技术非常 繁复,既有工程架构方面 ,又有算法策略方面 。综合来讲,一个搜索引擎 技术构建主要包含三大部分:对 query 理解对内容(文档) 理解对 query 内容(文档) ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:7 回复:0

elasticsearch聚合操作——本质就是针对搜索后的结果使用桶bucket(允许嵌套)进行group by,统计下分组结果,包括min/max/avg

": "interests" } } }}all_interests聚合已经变成只包含 查询语句相匹配 文档了: ... "all_interests" ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:10 回复:0

大数据DDos检测——DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然! 和一个句子的分词算法CRF没有区别!

nullDDos攻击 本质上是时间序列数据,t+1时刻 数据特点 t时刻强相关,因此用HMM或者CRF来做检测是必然!—— 一个句子 分词算法CRF没有区别!注:传统DDos检测直接基于IP数据发送流量来识别,通过硬件防火墙搞定 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:10 回复:0

关于新等级的内容和划分 - 云大使推荐返现

新等级按近3个月 累积云气值,简化为4级,依次划分为:[0,10万) 弟子级,[10万,100万)香主级,[10万,1000万)舵主级,(1000万,+∞)掌门级。 ...

云气的积累和使用 - 云大使推荐返现

云大使可以通过拉新老客户、任务、特定行为等累积云气,获取 云气也可以兑换现金(100云气=1元)等多项权益。 特别说明:不同等级对应积累云气值不同。同时云气可以按100:1比例兑换现金,需历史拉新订单满1单且云气到账。 ...

lucene倒排索引瘦身的一些实验——merge的本质是减少cfx文件 变为pos和doc;存储term vector多了tvx和tvd文件有337M

nullstore NO&压缩后 原始数据 原始数据大小 索引大小 索引时间 单词 搜索时间 266 791 594 176 0.2 文件组成见后 运行forceMerge(3)后 merge 本质是减少cfx文件 变为pos ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:3 回复:0

C++中引用和匿名对象的理解和本质剖析

变量对应 内存联系起来,使程序员可以通过变量名来操作内存。引用怎么用?语法:Type& name = var;规则:1、普通引用在声明时必须用其它 变量进行初始化2、引用作为函数参数声明时不进行初始化(后面将通过引用 本质来 ...
来自: 开发者社区 > 博客 作者: 行者武松 浏览:88 回复:0

从手淘搜索到优酷短视频,阿里巴巴是如何在搜索推荐领域下应用深度学习的?

深度学习是一个既可以处理特征、学习特征又可以实现最后 排序打分 一套整体解决方案,借助深度学习 解决方案, 搜索 推荐 工作方式将发生巨大 变化。想知道阿里巴巴如何将在 搜索 推荐领域下应用深度学习技术 吗?想知道手淘 优酷 搜索结果 个性化又是如何实现 吗?本文 ...
来自: 开发者社区 > 博客 作者: 萌萌怪兽 浏览:23 回复:0

优就业C/C++教程-C++中引用和匿名对象的理解和本质剖析

参数声明时不进行初始化(后面将通过引用 本质来解释原因)为什么需要引用?1)引用作为其它变量 别名而存在,因此在一些场合可以代替指针2)引用相对于指针来说具有更好 可读性 实用性引用为java等高级 语言程序员提供了很大便利,其不需要了解C ...
来自: 开发者社区 > 博客 作者: ujiuye 浏览:708 回复:0

Batch Normalization的算法本质是在网络每一层的输入前增加一层BN层(也即归一化层),对数据进行归一化处理,然后再进入网络下一层,但是BN并不是简单的对数据进行求归一化,而是引入了两个参数λ和β去进行数据重构

网络训练 过程中,参数会不断 调整,除了输入层数据之外,后面网络每一层 输入分布在不断变化 (因为后面层 输入时前面层 输出,前面层 参数调整了,后面层 输入数据分布就会发生变化)。这样就会降低网络训练 速度。因此,BN算法就被提出。BN 算法 本质是在 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:17 回复:0

go语言笔记——包的概念本质上和java是一样的,通过大小写来区分private,fmt的Printf不就是嘛!

.1 包 概念、导入与可见性Go 标准库包含了大量 包(如:fmt os),但是你也可以创建自己 包(第 8 章)。如果想要构建一个程序,则包 包内 文件都必须以正确 顺序进行编译。包 依赖关系决定了其构建顺序。属于同一个包 源文件必须全部 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:4 回复:0

从手淘搜索到优酷短视频,阿里巴巴是如何在搜索推荐领域下应用深度学习的?

深度学习是一个既可以处理特征、学习特征又可以实现最后 排序打分 一套整体解决方案,借助深度学习 解决方案, 搜索 推荐 工作方式将发生巨大 变化。想知道阿里巴巴如何将在 搜索 推荐领域下应用深度学习技术 吗?想知道手淘 优酷 搜索结果 个性化又是如何实现 吗?本文 ...
来自: 开发者社区 > 博客 作者: 萌萌怪兽 浏览:23 回复:0

优就业C/C++教程-C++中引用和匿名对象的理解和本质剖析

参数声明时不进行初始化(后面将通过引用 本质来解释原因)为什么需要引用?1)引用作为其它变量 别名而存在,因此在一些场合可以代替指针2)引用相对于指针来说具有更好 可读性 实用性引用为java等高级 语言程序员提供了很大便利,其不需要了解C ...
来自: 开发者社区 > 博客 作者: ujiuye 浏览:708 回复:0

技海无涯:正则表达式相关的知识和技术(3)——编程技巧:堆栈的本质探讨

;…剩下 就请各位自己分析了)细心 大侠们可能会发现,上面 处理步骤 分析过程是一样 ,也就是说通过堆栈让计算机模拟了人 思维。 综合以上两个例子,我们可以得出堆栈真正 本质:改变计算机 顺序处理,让计算机能够模拟人 处理步骤 ...
来自: 开发者社区 > 博客 作者: 华仔爱技术 浏览:911 回复:0

go语言笔记——多值函数,本质上和nodejs的回调很像,不过nodejs是回调的第一个参数是err,而golang里是第二个!

null5.2 测试多返回值函数 错误Go 语言 函数经常使用两个返回值来表示执行是否成功:返回某个值以及 true 表示成功;返回零值(或 nil) false 表示失败(第 4.4 节)。当不使用 true 或 false 时候,也可以使用 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:6 回复:0

计算的本质:有关表示,编译,赋值,异步和流的杂谈

null1.计算:序列 变换写了这么久 程序,不少人肯定会疑问,计算 本质是什么?对一台图灵机来说,那就是无限长 纸带 能够自如移动 读写头,这太抽象了。我们今天尝试换一种方式去理解计算:计算 本质是通过有限 步骤,读入数据,将一串序列,转换 ...
来自: 开发者社区 > 博客 作者: 长征6号 浏览:9 回复:0

技术驱动:医疗、生命科学领域的本质是对数据的处理和反馈

、浙江大学国际医院副院长、浙江加州国际纳米技术研究院精准医学中心副主任、中华医学会国际数字医学学会副主席、中国非公立医疗机构协会医院管理分会副会长。《颠覆医疗》 推荐序作者、《未来医疗》译者。在IT互联网、数字医疗、健康管理 投资具有丰富 经验;多年致力于 ...
来自: 开发者社区 > 博客 作者: sheeta 浏览:3589 回复:0

mongodb底层存储和索引原理——本质是文档数据库,无表设计,同时wiredTiger存储引擎支持文档级别的锁,MMAPv1引擎基于mmap,二级索引(二级是文档的存储位置信息『文件id + 文件内offset 』)

多个底层 数据文件组成。(参见下文data files存储原理)& &&wiredTiger引擎:3.0新增引擎,官方宣称在read、insert 复杂 update下具有更高 性能。所以后续版本,我们建议使用 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:9 回复:0

sphinx 源码阅读之分词,压缩索引,倒排——单词对应的文档ID列表本质和lucene无异 也是外部排序再压缩 解压的时候需要全部扫描doc_ids列表偏移量相加获得最终的文档ID

。为了防止相同 分词重复查找,这里采用二层循环,先来判断这个分词之前是否 搜索过, 搜索过就记下 搜索那个词 位置。没 搜索过,就 搜索。xxx代码略!&看了这个代码, 我想 有点出入,但是总体思路还是一样 。它是把所有 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:12 回复:0

sphinx 源码阅读之分词,压缩索引,倒排——单词对应的文档ID列表本质和lucene无异 也是外部排序再压缩 解压的时候需要全部扫描doc_ids列表偏移量相加获得最终的文档ID

。为了防止相同 分词重复查找,这里采用二层循环,先来判断这个分词之前是否 搜索过, 搜索过就记下 搜索那个词 位置。没 搜索过,就 搜索。xxx代码略!&看了这个代码, 我想 有点出入,但是总体思路还是一样 。它是把所有 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:7 回复:0

lucene中facet实现统计分析的思路——本质上和word count计数无异,像splunk这种层层聚合(先filed1统计,再field2统计,最后field3统计)lucene是排序实现

://wandzk.iteye.com/blog/2187858http://wandzk.iteye.com/blog/2187975http://wandzk.iteye.com/blog/2188229摘录最核心 本质 东西:例子中有如下 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:6 回复:0

BGP揭秘:动态和静态BGP线路的本质区别

稳定、高效。所以,动态BGP网络被称为真正意义上 BGP。BGP线路 普通线路 本质区别一个自治系统 经典定义是在一个管理机构控制之下 一组路由器,它使用IGP 普通度量值向其他自治系统转发报文。在BGP中使用自治系统这个术语是为了强调这样一个事实 ...
来自: 开发者社区 > 博客 作者: 反向一觉 浏览:28 回复:0

刨根究底:XML的本质和作用探讨

                 刨根究底:XML 本质 作用探讨要是有人 你说起 ...
来自: 开发者社区 > 博客 作者: 华仔爱技术 浏览:755 回复:0

赵文银:从云计算谈财富和权力的本质

,比如经济、政治、精神、意识形态、民主等。任何客观存在 事物都包含现象 本质两个属性,社会学家从所观察 现象上对名词概念进行描述,而科学家是从 本质上对名词概念进行描述。 本质是指事物内在 构建规则。3、关于财富词典对财富 解释是,指具有价值 东西就 ...
来自: 开发者社区 > 博客 作者: 青衫无名 浏览:108 回复:0

OC语言类的本质和分类

OC语言类 深入 分类一、分类(一)分类 基本知识 概念:Category 分类是OC特有 语言,依赖于类。分类 作用:在不改变原来 类内容 基础上,为类增加一些方法。添加一个分类:文件结构图:在分类中添加一个方法 ...
来自: 开发者社区 > 博客 作者: 文顶顶 浏览:604 回复:0

大佬们,云桌面产品和云服务器到底有啥本质的不同?

云桌面产品 云服务器到底有啥 本质 不同?看了文档 介绍,都是可以进行远程登录进行管理 ,那么两者 本质上到底有啥不一样呢,希望通俗 语言解释回答下,谢谢大佬们 ...
来自: 开发者社区 > 问答 作者: suntime 浏览:26 回复:0

神经网络和反向传播算法——反向传播算法本质上是随机梯度下降,链式求导法则而来的

null原文:https://www.zybuluo.com/hanbingtao/note/476663写得非常好,适合入门!神经元神经元 感知器 本质上是一样 ,只不过我们说感知器 时候,它 激活函数是阶跃函数;而当我们说神经元时,激活函数 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:15 回复:0

神经网络和反向传播算法——反向传播算法本质上是随机梯度下降,链式求导法则而来的

null原文:https://www.zybuluo.com/hanbingtao/note/476663写得非常好,适合入门!神经元神经元 感知器 本质上是一样 ,只不过我们说感知器 时候,它 激活函数是阶跃函数;而当我们说神经元时,激活函数 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:9 回复:0

软件定义数据中心的本质:网络可视性和可编程性

导读:网络团队需要使得适当 技能 技术能够在企业虚拟环境中运行,以便使得企业能够获得部署虚拟化 全部好处,真正实现软件定义 数据中心。 关键词:软件定义数据中心 软件, 定义, 数据中心, 网络 ...
来自: 开发者社区 > 论坛 作者: 情定三生石 浏览:289 回复:3

AT&T的malloc实现--malloc的基础和本质

释放就说完了,是不是很简单呢?上面 合并操作 目的 伙伴系统 一样,只不过伙伴系统合并 是大小固定 内存块,而这里 合并是只要相邻有合并 可能就合并而不管内存块 大小。注意上述 代码没有考虑并发 需要锁 情况,但是这就是最纯真,也是最 本质 东西,不是吗 ...
来自: 开发者社区 > 博客 作者: 科技小能手 浏览:7 回复:0

推荐的套路

做推荐是有套路的。本文根据在国际短视频业务的经验,总结一些个人的思考。本文不涉及具体算法。1. 推荐的本质是什么?是内容和数据。内容就是你要提供给用户的东西,例如你的视频库,UGC、PGC什么的。用户最根本的目的还是消费优质内容。没有好的内容库,是推不出东西的。数据指的是用户的行为数据。没米是做不...
来自: 开发者社区 >博客

奈学教育《百万架构师》课程大纲(1)

第一阶段:基础架构设计与实践之道篇 第一单元 通过架构演进掌握架构设计核心思维模式 智能互联网之总体架构设计(上) 第二单元 通过架构演进掌握架构设计核心思维模式 智能互联网之总体架构设计(下) 第三单元 掌握高可用架构设计基本原则 智能互联网之核心技术实践篇(上) 第四单元 掌握核心技术之分布式...
来自: 开发者社区 >博客

《中国人工智能学会通讯》——7.11 深度学习在推荐算法上的应用进展

7.11 深度学习在推荐算法上的应用进展 最近几年是深度学习发展的黄金时间,其在多个领域取得了重要进展,包括图像领域、语音领域、文本领域等。深度学习为科研工作者提供了一种非常有效的技术途径,其本质上是对数据特征进行深层次的抽象挖掘,通过大规模数据来学习有效的特征表示以及复杂映射机制,从而建立有效的...
来自: 开发者社区 >博客

【活动精彩回顾】搜索&推荐技术分享沙龙电商专场(附视频)

1月9日,阿里云搜索&推荐技术分享会顺利举办。活动期间,我们收集了许多来自行业用户的反馈,并从中精选了10个热点问题,请专家做出解答,为读者应用搜索&推荐技术提供参考。同时,我们整理了活动过程中,嘉宾分享的干货内容,以飨读者。 十大精选问答 1、搜索技术具体使用产品以及常用的场景?...
来自: 开发者社区 >博客

专访阿里巴巴徐盈辉:深度学习和强化学习技术首次在双11中的大规模应用

12月6日-7日,由阿里巴巴集团、阿里巴巴技术发展部、阿里云云栖社区联合主办,以“2016双11技术创新”为主题的阿里巴巴技术论坛(Alibaba Technology Forum,ATF)将在线举办。(https://yq.aliyun.com/promotion/139) 系列文章陆续发布...
来自: 开发者社区 >博客

推荐系统那点事

推荐系统的误区 回想起来,我也算是国内接触推荐系统较早的人之一了,最近和人聊天,觉得不少人对推荐系统有所误解,以为需要多么高大上的算法才能搭建起来的,我只想说我经常说的那句话【不是这样的】,所以有了这篇文章。 第一次接触【推荐系统】是在两年前在某高校的互联网信息处理实验室的时候,那时候,【机器学...
来自: 开发者社区 >博客

面向索引、模型、检索联合优化的下一代推荐技术 | NIPS 2019 论文解读

面向索引、模型、检索联合优化的下一代推荐技术 点击下载论文 一. 背景 搜索,推荐和广告是互联网内容提供商进行价值创造的核心业务,在阿里巴巴这一世界上最大的电子商务交易平台上,搜索,推荐和广告业务同样具有举足轻重的意义和价值。搜索、推荐和广告看似业务形态不同,其实技术组成却是非常相通的。从推荐的视...
来自: 开发者社区 >博客

【客户案例】用户点击率提升57%?| 智能推荐&开放搜索的实践分享

本文字数:2206阅读时间:5~8分钟 您将了解:直销系统架构的演变过程智能推荐和开放搜索的如何集成到客户架构中在服务实施后给客户带来的本质变化 以下是正文 (本文内容来自阿里云生态服务商上海联蔚科技的侯炜康,在云栖大会推荐与搜索工程技术专场上的分享) (侯炜康,侯总) 直销系统的演讲之...
来自: 开发者社区 >博客

淘宝千人千面背后的秘密:搜索推荐广告三位一体的在线服务体系AI·OS

作者:阿里巴巴搜索推荐事业部高级研究员 沈加翔 一、三位一体的在线服务体系AI·OS介绍 AI·OS(Artificial Intelligence Online Serving)是由阿里巴巴搜索工程团队打造,集个性化搜索、推荐、广告三位一体的在线服务平台。AI·OS引擎体系所支撑的业务场景包括...
来自: 开发者社区 >博客

淘宝千人千面背后的秘密:搜索推荐广告三位一体的在线服务体系AI·OS

作者:阿里巴巴搜索推荐事业部高级研究员 沈加翔 一、三位一体的在线服务体系AI·OS介绍 AI·OS(Artificial Intelligence Online Serving)是由阿里巴巴搜索工程团队打造,集个性化搜索、推荐、广告三位一体的在线服务平台。AI·OS引擎体系所支撑的业务场景包括...
来自: 开发者社区 >博客
< 1 2 3 4 ... 9754 >
共有9754页 跳转至: GO
产品推荐
图像搜索 云服务器 物联网无线连接服务 商标 SSL证书 轻量应用服务器 短信服务
这些文档可能帮助您
视频活体检测 阿里云视觉智能开放平台-Python Java SDK RESTFUL API 内容审核介绍 人脸属性识别

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场