返回首页
最新
我制作了一个超级简单的 Product Hunt 爬虫。选择一个日期(默认是今天),它将返回该排行榜上的所有产品,包括创作者及其链接,以及从该网站抓取的所有电子邮件。
<p>每个产品提供的信息
• 名称
• 链接
• 简短和详细描述
• 创作者列表及其链接(X、LinkedIn、其他)
• 电子邮件
<p>我为什么要制作它
• 其他爬虫都存在很多漏洞,速度慢,或者无法获取我需要的信息
<p>它是如何工作的
• 每次请求时轮换 IP
• 考虑时区(PST 截止时间)
• 使用 Playwright + Crawlee 构建
• 与 Apify 兼容,并采用按事件计费的定价方式,因此非常便宜
<p>这对于获取潜在客户(在 X 或 LinkedIn 上发送冷私信)非常有帮助
<p>链接:<a href="https://apify.com/maximedupre/product-hunt-scraper" rel="nofollow">https://apify.com/maximedupre/product-hunt-scraper</a>
<p>如果你希望我添加某个字段,请告诉我!我也在寻找抓取每个产品网站以获取电子邮件的方法。
htvend 是一款旨在以更可信和可靠的方式简化(或至少使之成为可能)构建 OCI(即 Docker)镜像的工具。<p>也就是说,它能够严格控制所引入的资源,以便在无需互联网连接的情况下轻松重建镜像,这适用于隔离网络的情况,或者仅仅是希望在对私有脚本进行小幅修改时,不会无意中引入上游的变化。<p>它的工作原理是启动一个本地的 HTTP/HTTPS 代理服务器,然后启动一个子进程,并设置适当的环境变量和证书文件。它特别支持将这些信息传递到构建镜像的 RUN 上下文中,因此现有的 Dockerfile 可以在不修改的情况下使用。<p>请告诉我你的想法。