文章 2024-09-04 来自:开发者社区

Java IO异常处理:在Web爬虫开发中的实践

在当今的互联网时代,Web爬虫技术已经成为数据采集的重要手段之一。它们能够自动地从网页中提取信息,为数据分析、搜索引擎优化、内容聚合等提供了强大的支持。然而,Web爬虫在执行过程中可能会遇到各种输入/输出(IO)异常,如网络错误、文件读写问题等。因此,有效地处理这些异常对于确保爬虫的稳定性和可靠性至...

文章 2022-02-17 来自:开发者社区

基于文件存储UFS的Pytorch训练IO五倍提升实践

我们在协助某AI客户排查一个UFS文件存储的性能case时发现,其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距(后面内容有具体性能对比数据)。让我们感到困惑的是:UFS文件存储,我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下&...

基于文件存储UFS的Pytorch训练IO五倍提升实践
文章 2022-02-17 来自:开发者社区

postgres+socket.io+nodejs实时地图应用实践

nodejs一直以异步io著称,其语言特性尤其擅长于在realtime应用中,如聊天室等。在进行实时应用开发时,必不可少的需要用到 socket.io库,可以说,nodejs+socket.io在实时应用中具有较好的表现能力。   本文既然选择以实时地图应用做个小例子,那么选择经典的PostgreSQL/PostGIS作为地图的数据库。希望实现的是模拟数据库数据插入了新的GPS坐标,而一旦数...

文章 2022-02-17 来自:开发者社区

socket.io实践干货

一、前言 socket.io 实现了实时双向的基于事件的通讯机制,是基于 webSocket 的封装,但它不仅仅包括 webSocket,还对轮询(Polling)机制以及其它的实时通信方式封装成了通用的接口,并且在服务端实现了这些实时机制的相应代码 socket.io 是跨平台的,可以实现多平台的即时通讯 由于 iOS 端进行 socket 编程主要使用 GCDAsyncSock...

文章 2022-02-16 来自:开发者社区

java对象序列化java.io.Serializable 接口实践

$stringUtil.substring( $!{XssContent1.description},200)...

文章 2022-02-15 来自:开发者社区

[转载]postgres+socket.io+nodejs实时地图应用实践

标签 PostgreSQL , 服务端编程接口 , pl language , 小程序 , PostGIS , 异步消息 , notify , listen , nodejs , socket.io 背景 转载自: https://my.oschina.net/freegis/blog/761713 是使用PostgreSQL+node.js+socket.io实现的一个实时地图,其中用到了...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。