<div dir="ltr">Nice to know that.<div>In my case, I just want to take advantage of Enhanced Networking since my jobs demands that.</div><div>In the near future, when you think your AMI is ready and if you want to share... just tell us.</div>
<div><br></div><div>All best,</div><div><br>Sergio</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jan 9, 2014 at 11:25 PM, Rayson Ho <span dir="ltr">&lt;<a href="mailto:raysonlogin@gmail.com" target="_blank">raysonlogin@gmail.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">As far as I know, not yet. I just created my own AMI using<br>
non-standard procedure...<br>
<br>
Both the Enhanced Networking feature &amp; the new GPU instance family<br>
require new drivers / AMIs. Thus if one wants to take full advantage<br>
of the new features in the c3, i2, and g2 instance families, a new set<br>
of AMIs (with the Intel or NVidia drivers installed) need to be<br>
created.<br>
<br>
I just came back from my vacation a few days ago, and I will need to<br>
get back on the SC IRC and see what remaining work needs to be done.<br>
<div class="im HOEnZb"><br>
Rayson<br>
<br>
==================================================<br>
Open Grid Scheduler - The Official Open Source Grid Engine<br>
<a href="http://gridscheduler.sourceforge.net/" target="_blank">http://gridscheduler.sourceforge.net/</a><br>
<a href="http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html" target="_blank">http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html</a><br>
<br>
<br>
</div><div class="HOEnZb"><div class="h5">On Thu, Jan 9, 2014 at 7:59 PM, Sergio Mafra &lt;<a href="mailto:sergiohmafra@gmail.com">sergiohmafra@gmail.com</a>&gt; wrote:<br>
&gt; Hi Rayson,<br>
&gt;<br>
&gt; Is there any AMI with the Intel ixgbevf Virtual Function drive ready for<br>
&gt; StarCluster?<br>
&gt; I think that this should be part of StarClusterīs public AMIs.<br>
&gt;<br>
&gt; All best,<br>
&gt;<br>
&gt; Sergio<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Jan 8, 2014 at 3:52 PM, Rayson Ho &lt;<a href="mailto:raysonlogin@gmail.com">raysonlogin@gmail.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; The Enhanced Networking feature provides much better latency for all<br>
&gt;&gt; instance types that support it. For the c3.8xlarge instance type,<br>
&gt;&gt; Enhanced Networking allows the instance to utilize over 95% of the<br>
&gt;&gt; 10Gbit Ethernet bandwidth:<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; <a href="http://blogs.scalablelogic.com/2013/12/enhanced-networking-in-aws-cloud.html" target="_blank">http://blogs.scalablelogic.com/2013/12/enhanced-networking-in-aws-cloud.html</a><br>
&gt;&gt;<br>
&gt;&gt; <a href="http://blogs.scalablelogic.com/2014/01/enhanced-networking-in-aws-cloud-part-2.html" target="_blank">http://blogs.scalablelogic.com/2014/01/enhanced-networking-in-aws-cloud-part-2.html</a><br>
&gt;&gt;<br>
&gt;&gt; Rayson<br>
&gt;&gt;<br>
&gt;&gt; ==================================================<br>
&gt;&gt; Open Grid Scheduler - The Official Open Source Grid Engine<br>
&gt;&gt; <a href="http://gridscheduler.sourceforge.net/" target="_blank">http://gridscheduler.sourceforge.net/</a><br>
&gt;&gt; <a href="http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html" target="_blank">http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Mon, Nov 25, 2013 at 12:42 PM, Rayson Ho &lt;<a href="mailto:raysonlogin@gmail.com">raysonlogin@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Thanks Sergio, I check the docs the day when c3 was announced, there&#39;s<br>
&gt;&gt; &gt; no mention of placement group support for c3. I think I was reading<br>
&gt;&gt; &gt; the older version of the doc.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Yuichi, we can&#39;t take advantage of SR-IOV (yet) as we don&#39;t run in a<br>
&gt;&gt; &gt; VPC.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Rayson<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; ==================================================<br>
&gt;&gt; &gt; Open Grid Scheduler - The Official Open Source Grid Engine<br>
&gt;&gt; &gt; <a href="http://gridscheduler.sourceforge.net/" target="_blank">http://gridscheduler.sourceforge.net/</a><br>
&gt;&gt; &gt; <a href="http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html" target="_blank">http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; On Mon, Nov 25, 2013 at 9:39 AM, Yoshiara, Yuichi<br>
&gt;&gt; &gt; &lt;<a href="mailto:yoshiara@amazon.co.jp">yoshiara@amazon.co.jp</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Hi Sergio,<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; There is a new feature called Enhanced Networking which is available in<br>
&gt;&gt; &gt;&gt; C3 instances.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Please read through the link below and see if it helps you.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; <a href="http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/enhanced-networking.html" target="_blank">http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/enhanced-networking.html</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; <a href="http://aws.amazon.com/ec2/faqs/#What_networking_capabilities_are_included_in_this_feature" target="_blank">http://aws.amazon.com/ec2/faqs/#What_networking_capabilities_are_included_in_this_feature</a><br>

&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Yuichi Yoshiara<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; From: <a href="mailto:starcluster-bounces@mit.edu">starcluster-bounces@mit.edu</a> [mailto:<a href="mailto:starcluster-bounces@mit.edu">starcluster-bounces@mit.edu</a>]<br>
&gt;&gt; &gt;&gt; On Behalf Of Sergio Mafra<br>
&gt;&gt; &gt;&gt; Sent: Monday, November 25, 2013 8:16 PM<br>
&gt;&gt; &gt;&gt; To: Rayson Ho; <a href="mailto:starcluster@mit.edu">starcluster@mit.edu</a><br>
&gt;&gt; &gt;&gt; Subject: Re: [StarCluster] MIT StarCluster and the new C3 instances<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Hi Rayson,<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; I noticed that StarCluster didnīt allocate a placement group for C3<br>
&gt;&gt; &gt;&gt; instances and did it by myself in the code.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; But this was not helpfull since C3 instances uses high throughput<br>
&gt;&gt; &gt;&gt; insted of the 10 giga network.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; In my tests, using C3 or CC2 in a cluster config where MPI is required<br>
&gt;&gt; &gt;&gt; will be equal to same processing time.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Hope that AWS put them on 10 Giga net in the near future.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Compute optimized<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; c3.8xlarge<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 64-bit<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Intel Xeon E5-2680<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 32<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 108<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 60.00<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 640 GB (2 x 320 SSD)<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; -<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 240<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; High<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Compute optimized<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; cc2.8xlarge<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 64-bit<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Intel Xeon E5-2670<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 32<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 88<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 60.50<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 3370 GB (4 x 840)<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; -<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 240<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 10 Gigabit<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Mon, Nov 18, 2013 at 7:13 PM, Sergio Mafra &lt;<a href="mailto:sergiohmafra@gmail.com">sergiohmafra@gmail.com</a>&gt;<br>
&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Hi Rayson,<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Iīll try to do that.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; All best,<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Sergio<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Mon, Nov 18, 2013 at 1:27 PM, Rayson Ho &lt;<a href="mailto:raysonlogin@gmail.com">raysonlogin@gmail.com</a>&gt;<br>
&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; It&#39;s in the development branch:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; <a href="https://github.com/jtriley/StarCluster/pull/325" target="_blank">https://github.com/jtriley/StarCluster/pull/325</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; It&#39;s a few lines of code, and you can merge the changes into your<br>
&gt;&gt; &gt;&gt; local version very easily.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Rayson<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; ==================================================<br>
&gt;&gt; &gt;&gt; Open Grid Scheduler - The Official Open Source Grid Engine<br>
&gt;&gt; &gt;&gt; <a href="http://gridscheduler.sourceforge.net/" target="_blank">http://gridscheduler.sourceforge.net/</a><br>
&gt;&gt; &gt;&gt; <a href="http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html" target="_blank">http://gridscheduler.sourceforge.net/GridEngine/GridEngineCloud.html</a><br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Mon, Nov 18, 2013 at 8:29 AM, Sergio Mafra &lt;<a href="mailto:sergiohmafra@gmail.com">sergiohmafra@gmail.com</a>&gt;<br>
&gt;&gt; &gt;&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt; Hi everyone,<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; I attended AWS Re:Invent this year and liked a lot. Right place to<br>
&gt;&gt; &gt;&gt; &gt; go.<br>
&gt;&gt; &gt;&gt; &gt; AWS announced there the new C3 family of HPC instances.<br>
&gt;&gt; &gt;&gt; &gt; Iīm anxious to test them in my models but I understand that<br>
&gt;&gt; &gt;&gt; &gt; StarCluster must<br>
&gt;&gt; &gt;&gt; &gt; take aware of them in the code.<br>
&gt;&gt; &gt;&gt; &gt; So when will be the C3s available?<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; All the best,<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; Sergio Mafra<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt; _______________________________________________<br>
&gt;&gt; &gt;&gt; &gt; StarCluster mailing list<br>
&gt;&gt; &gt;&gt; &gt; <a href="mailto:StarCluster@mit.edu">StarCluster@mit.edu</a><br>
&gt;&gt; &gt;&gt; &gt; <a href="http://mailman.mit.edu/mailman/listinfo/starcluster" target="_blank">http://mailman.mit.edu/mailman/listinfo/starcluster</a><br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;<br>
&gt;<br>
</div></div></blockquote></div><br></div>